共查询到20条相似文献，搜索用时 178 毫秒
1.
开发海量数据处理系统时存在技术框架选择不确定问题。从理论及应用角度对两种主流的海量数据处理架构MPP和Hadoop进行对比,分析各自技术特点,阐述其与传统数据处理的优势。分析结果表明,Hadoop在存储数据规模上可轻松支持PB级别,而MPP架构大多只支持TB级别;Hadoop对海量半结构化、非结构化数据存储和处理有一定优势,但在处理速度和易用性上不及MPP;在结构化数据处理、响应性能和衍生工具等方面MPP 则占优,适用于查询业务场景较多项目。通过分析两大框架底层核心技术以及归纳优缺点,为企业相关应用的技术选型提供参考。 相似文献
2.
随着网络技术飞速发展,海量数据已随处可见并且不断增长,现有的查询处理技术在应用于海量数据时已经显现出种种不足。以海量数据所处的复杂环境为切入点,从各个不同的角度出发研究分析了已有的查询处理方法,在此基础之上提出了使用海量数据的改进算法,改进的Limits算法有利于海量数据查询性能的提高。 相似文献
4.
针对如何存储图书馆数字信息资源的问题,通过分析现有的海量存储技术,提出了存储区域网络技术,利用存储区域网络技术能很好地解决图书馆海量数据的存储问题。 相似文献
5.
6.
桂早芳 《黄冈职业技术学院学报》2007,9(1):91-94
解决海量数据查询分析系统存在的数据量与查询速度,数据访问局部性与数据无限制性需求间的矛盾,提出一种备份和恢复策略,备份加载前的数据,并将业务数据的时间属性与备份任务关联,与基于DBMS的备份和恢复方式相比,降低了海量数据对磁盘阵列空间和备份操作对系统资源的占用,增加了恢复数据的可操作粒度和配置灵活性。 相似文献
7.
远程教育资源具有数据量大,增长迅速的特点,对这些海量数据资源进行低成本存储和基于内容的高效检索,是远程教育云平台建设面临的一大难题。本文基于Hadoop设计了一套对远程教育海量资源进行存储和检索的方法,解决了这个难题。 相似文献
8.
本文针对敦煌石窟数字化海量数据在实际工作数据传输过程中出现的问题,认为海量数据无差错传输技术,在敦煌石窟数字化过程中是非常重要的一项技术。敦煌石窟海量数据无差错传输系统的设计与开发,为了开发出实用性强的软件,首先针对敦煌石窟壁画数字化工作流程、分析摄影采集、图像处理和数据存储各阶段的特点,提出了敦煌石窟海量数据无差错传输系统的需求;其次,设计了敦煌石窟海量数据传输校验方案,针对敦煌石窟壁画数字化工作流程提出了层级式校验,依据该校验思想,设计了数据校验的整体框架并做了优化,最后设计出数据传输校验的详细模型,确保了数据传输的完整性;最后,基于上述方案,设计并实现了敦煌石窟海量数据无差错传输系统,利用 VisualStudio2010开发平台、C++程序开发语言完成系统的开发。此系统已在敦煌壁画数字化工作中实际应用,效果良好。 相似文献
9.
当前各网络学习系统和资源库之间存在着信息孤岛现象.文章以大数据时代为背景,首先认为造成这种现象的原因主要包括数据的多源异构性和新兴网络技术的应用,如系统的异构,模式的异构和物联网技术等.为了解决这个问题,必须构建异构数据共享系统,该系统包括应用层、数据服务层和数据层.与此相关的关键技术应该具备完成海量数据的存储和海量数据运算的功能.其主要解决策略是从非结构化数据库入手解决异构数据融合问题,其中具有代表性的就是noSQL技术,它具有易扩展、高性能、数据模型灵活等特点.在此基础上,通过数据的表示及格式转换、数据互操作和直接数据访问模式等方式,完成异构数据的集成,最终实现网络学习环境之间“直通车”目的.总之,该论文对网络学习环境中的异构数据和集成进行初步的探讨,希望对今后的相关研究起到抛砖引玉的作用. 相似文献
10.
11.
旅行时间计算是智能交通系统研究的重要内容,准确的旅行时间计算结果可以为交通管控部门提供决策支持,缓解交通拥堵情况。近年来,随着监测水平的提高,交通监测数据呈现海量增长趋势。传统的关系型数据库应对海量数据时存在高并发读写和扩展性不足等瓶颈。为解决智能交通因数据规模过大带来的存储和查询问题,提出了一种基于HBase的交通旅行时间计算方法,设计了面向查询优化的行键策略,并在此基础上提出了单时段及多时段旅行时间计算方法。实验表明,该计算方法与传统的基于Oracle的算法相比,时间效率提高2~3倍,并且有较高的读写性能及良好的可扩展性。 相似文献
12.
对分布式存储的异构数据源来说,通过LDAP与各数据库的集成能够更好地提高系统的效率。从系统设计、系统模型、LDAP与异构数据库的集成3个方面,对异构分布式数据查询系统的设计进行了分析。 相似文献
13.
14.
李铁彪 《陕西广播电视大学学报》2015,(2):91-93
本文在对企业信息系统发展现状分析的基础上,根据某企业信息系统实际需求并参照国内某大型企业数据存储方案,提出了海量数据存储和极高数据处理能力、可横向扩展的企业信息数据集群建设方案,并深入探讨了私有云建设方案细节,为该企业信息系统建设提供了有力的依据。 相似文献
15.
16.
《中国现代教育装备》2009,(3):156-156
如何解决高校网络建设过程中的存储的问题,海量数据在整个校园网络的应用过程中如何能克服诸如人为操作失误、病毒、自然灾害等造成的安全隐患。据统计,该海量数据中的70％需要时刻处在网络中供分享和应用,剩余的30％可以考虑暂时离线存储以备不时之需;期望通过离线的磁带存储、等量的硬件存储空间提供数据存储、大量的双机提供不同部门的业务连续性似乎都会对高校的人力和财力造成巨大的压力。 相似文献
17.
随着互联网与信息化的普及,数据数量、数据来源与数据格式的复杂性愈加突出。互联网、传感器、人工收集等多种来源产生了海量异构数据,为解决多源异构数据处理问题,设计一种将海量异构数据自动化集成到同一数据仓库的方法。通过建立元数据模型（以数据集为单位）将来源数据按数据集分类,映射整合到数据仓库中,通过CRF序列标注模型、Skip-Gram神经网络、TF*IDF等机器学习技术,解决了数据仓库集成中语义映射的难题,实现了海量多源异构数据的自动化入库,为之后的数据分析挖掘提供了良好基础。 相似文献
18.
海量数据的MapReduce相似度检测 总被引：1，自引：0，他引：1
张敏 《实验室研究与探索》2014,33(9):132-136
针对当前海量数据的相似重复问题,提出了MapReduce下通过SimHash算法检测相似文档的方法:即首先将存储在分布式文件系统的海量文档集进行分类,然后进行特征提取,由SimHash算法生成SimHash指纹和生成Sequence File;最后,计算相似度产生检测结果;通过实验测试可知,提出的检测方法和设计的相似度算法能很好适应海量数据相似检测,并能有效地提高工作效率。 相似文献