排序方式： 共有45条查询结果，搜索用时 15 毫秒
1.
李萍 《大学图书情报学刊》2014,32(5):35-41
文章通过使用Hadoop计算平台,以K-Means算法为例,分析其在Mahout中的并行化策略。通过对读者的借阅数据进行分析研究,应用数据挖掘技术逐步建立应用模型,有效地将数据挖掘技术与图书馆个性化服务紧密地结合在一起。 相似文献
2.
分析大量的非结构化文本数据已经成为各类研究及数据分析中的重要任务。本文借助Hadoop分布式计算平台,搭建了一个基于IKAnalyzer开源工具的文本分析应用系统框架,系统基于Spring Boot架构进行了Web应用平台搭建,结合node.js技术构建了数据驱动的Web前端UI呈现。研究实践了从文档收集、文档预处理、分布式计算、中文分词及词频分析、可视化呈现的初步流程。借助该系统平台,研究分别以金庸小说文本数据及采集的贵州省极贫乡镇教育基础数据作为语料数据进行了相关文本统计分析实践。 相似文献
3.
以大数据应用技术和能源-经济-环境协调发展理论为基础,融合大数据和能源-经济-环境三位一体两种思维,提出能源-经济-环境(3E)大数据平台的框架构想和运营模式,为大数据背景下分析能源、经济、环境复杂系统,挖掘大数据背后所隐藏的关联规则,将不规则、散乱的数据变成政府、企业、研究机构等各类组织的信息资源提供数据支撑、工具支撑、方法论支撑等研究平台。 相似文献
4.
为了解决日益增长的海量测震波形数据在存储和管理方面存在的性能瓶颈问题,基于测震波形数据管理的
业务需求,选取基于Hadoop大数据技术的分布式文件系统HDFS 和分布式计算Spark架构进行数据的存储和计算,并开
发基于Web 的测震波形数据存储和管理系统,实现对海量测震波形数据的可视化管理和数据运行率检索。 相似文献
5.
作为深受开发者青睐的主流大数据平台,Hadoop在数据的处理、分析及应用上拥有着其他平台不可比拟的优势。在介绍了大数据定义和Hadoop生态系统架构的基础上,分别对基于Hadoop提出的大数据存储、分析、管理、安全及应用等关键问题的解决方案进行了研究和综述。最后,对基于Hadoop的大数据平台的研究和应用发展方向进行了展望。 相似文献
6.
HDFS;肯容错性好、传输效率高等优点。MapReduce对数据采用海量处理的方式。文章根据笔者对HDFS和MapReduce的理解发表一些自己的看法。 相似文献
7.
In Information Retrieval (IR), the efficient indexing of terabyte-scale and larger corpora is still a difficult problem. MapReduce has been proposed as a framework for distributing data-intensive operations across multiple processing machines. In this work, we provide a detailed analysis of four MapReduce indexing strategies of varying complexity. Moreover, we evaluate these indexing strategies by implementing them in an existing IR framework, and performing experiments using the Hadoop MapReduce implementation, in combination with several large standard TREC test corpora. In particular, we examine the efficiency of the indexing strategies, and for the most efficient strategy, we examine how it scales with respect to corpus size, and processing power. Our results attest to both the importance of minimising data transfer between machines for IO intensive tasks like indexing, and the suitability of the per-posting list MapReduce indexing strategy, in particular for indexing at a terabyte-scale. Hence, we conclude that MapReduce is a suitable framework for the deployment of large-scale indexing. 相似文献
8.
基于Map/Reduce的分布式搜索引擎研究 总被引：1，自引：0，他引：1
在对Map/Reduce算法进行分析的基础上，利用开源Hadoop软件设计出高容错高性能的分布式搜索引擎，以面对搜索引擎对海量数据的处理和存储问题。 相似文献
9.
针对传统HDFS在存取海量小文件时出现的I/O性能瓶颈问题,本文提出了一种优化的HDFS存取策略.通过文件预处理、增加元数据信息和元数据批处理操作等优化策略,比较好地解决了传统HDFS处理海量小文件的性能问题.并通过试验证明了该方法的有效性. 相似文献
10.
随着通信技术的发展,移动终端的随时接入,大数据如排山倒海之势充斥着我们的生活,如何处理大数据以及对大数据的利用是我们未来所面临的主要问题。文章对大数据的概念及特点进行了简要分析与介绍,主要针对目前大数据分析与处理的常用六大工具进行深入剖析与比较,旨在为大数据方向的科研工作者提供一些理论依据。 相似文献