Hadoop平台的分布式数据平台系统研究     

郭建伟  杜丽萍  李瑛  赵桂芬  蒋继娅 《中国科技信息》2013,(10):97-98

随着web2.0、云计算、物联网等概念和技术的提出与快速发展,信息时代越来越体现出它的"大数据"特征。为了发挥大数据的价值,数据仓库、数据挖掘技术在商业、军事、经济、学术等众多领域越来越收到重视,正发挥着越来越大的作用。与此同时,庞大的数据规模也向传统的数据挖掘工作提出了重大的挑战。依靠云计算等分布式计算平台所提供的强劲处理能力,将数据挖掘与云计算相结合正在成为行业的趋势,正不断地显现出其强大的优势和潜力。  相似文献   

基于hadoop平台的分布式数据挖掘系统研究     

郭建伟  李瑛  杜丽萍  赵桂芬  蒋继娅 《中国科技信息》2013,(13):81-83

以Hadoop为代表的分布式系统,正在逐渐成为大数据挖掘系统必要组成部分。因此,就是在Hadoop分布式系统上完成数据挖掘任务的一次实践。主要任务是使用Hadoop搭建分布式集群环境,并在该环境上部署数据挖掘任务。研究Hadoop系统架构,对其分布式文件系统HDFS和MapReduce并行编程模型的原理和实现进行深入理解。系统掌握数据挖掘过程,将传统的数据挖掘算法使用MapReduce编程实现,并针对Hadoop平台的数据挖掘算法的执行情况进行研究,主要分析其执行效率和可扩展性。选择数据挖掘中的数据聚类任务作为代表,并选择K-means聚类算法做深入研究,掌握其原理并编写其MapReduce版本,在Hadoop平台上测试并验证其效果。通过不同集群规模和不同数据规模的对比试验得出,使用Hadoop分布式系统进行数据挖掘任务具有良好地加速比和效率,计算能力的扩展性能分析也显示了其具有较大的潜力。  相似文献   

基于开源架构的网络期刊信息采集与推送系统研究     

刘宇  蒋继娅 《中国科技信息》2015,(1):77-79

本文提出并实现了一个基于开源架构的网络期刊论文跟踪与热点推送方法,面向科研工作者个性化的需要,有针对性地定期自动跟踪最新期刊,并对这些期刊论文进行热点分析,当发现用户关注的主题有新论文发布时可以自动推送给用户,  相似文献   

基于搜索引擎优化技术与模板引擎技术的网站优化策略   总被引：3，自引：1，他引：2  

蒋继娅  刘彤  刘宇 《情报理论与实践》2010,33(5)

采用搜索引擎优化技术和模板引擎技术,对网站优化方案进行了详细设计,提出了基于策划层次、基于开发层次、基于界面层次以及基于内容维护层次的整套解决方案,并给出了该方案的应用实例,证实了方案的可行性和实效性。  相似文献   

竞争情报 WAP 网站的应用与设计研究     

刘彤  蒋继娅 《情报理论与实践》2011,34(3)

本文在分析现有竞争情报网站功能的基础上,给出了利用WAP技术构建竞争情报WAP网站的建设策略和系统实现方法,以湖南竞争情报网为例,探讨了如何利用WAP网站的特点提供优质的竞争情报服务.最后用浏览器、模拟器、实际环境3种方式对WAP网站进行了测试.  相似文献