首页 | 本学科首页   官方微博 | 高级检索  
相似文献
 共查询到20条相似文献，搜索用时 280 毫秒
1.
采用传统分布式数据库架构存储和管理海量数据,效率不高且系统的存储能力受制于所依赖的数据库管理系统的能力.Hadoop作为一种开源的架构,适合在廉价机器上对各种资源数据进行分布式存储和分布式管理,具有可伸缩性和高容错性.本文在研究开源框架Hadoop的基础上,提出了基于Hadoop的海量数据处理模型,并在不同数量的Datanode的情况下对副本系数与块大小对HDFS的I/O性能的影响进行测试,试验结果表明,提供的模型较高效率地实现了对大数据量的日志的快速预处理.  相似文献   

2.
为解决传统电能质量监测系统数据接入可靠性不高,海量数据存储和统计分析能力不足的缺点,采用类数据库的事务处理机制设计数据调度采集过程,搭建基于 Cloudera 大数据平台的电能质量监测分析系统,对数据进行分布式存储、计算分析,实现对 TB 级电能质量数据的监测点指标与运行状态统计,以及对暂态事件的统计聚合分析等功能。实验证明该系统可靠、海量数据统计处理能力强,提高了数据存储可拓展性,为供电方提供了解决海量电能质量数据存储与分析的有效方案。  相似文献   

3.
综合论文训练管理系统中海量数据上载的设计与实现   总被引：2，自引：2，他引：0  
清华大学综合论文训练管理系统面向本科生教学,通过基于B/S的海量数据上载方法实现了电子论文的提交和审核.海量数据上载采用Hibernate的大数据字段访问、文件缓存的海量数据传输、大文件传输的并发访问控制和Oracle数据库的海量数据存储等关键技术,解决了传统海量数据上载在存储、断点续传、网络传输、并发控制等多方面的不足,在清华大学的实践中获得了良好的应用.  相似文献   

4.
物联网中的数据具有海量、异构性的特点,数据存储关系到数据共享、数据查询等后续工作,对存储方式的研究一直备受关注。在介绍存储策略和查询技术的基础上,着重探讨查询算法,为海量异构传感采样数据存储提供可参考的解决方案。  相似文献   

5.
本文以多主机集群方式和存储区域网SAN为基础。探索多并发用户大数据传输量、大容量文件系统共享存储的应用，提出网上评卷系统的网络应用与数据库存储方案。这一方案能有效地管理存储开销，整合储存设备资源，全面增强数据访问的效率和数据访问的安全性能。适应网上评卷系统等大并发访问与海量存储的需要。  相似文献   

6.
提出了基于HBase的海量钻井数据存储技术。将HBase的分布式存储特点和钻井工程的实际需求相结合,设计了一个快速、高效、安全的海量钻井数据存储方案。介绍了HBase的存储模型以及系统架构,详细描述了钻井数据在HBase分布式存储系统中的存储过程。  相似文献   

7.
《中国教育网络》2006,(3):75-75
教育网络建设对存储设备的要求越来越高。而以往主要集中于高端存储行业的厂商们，也纷纷把目光投向了这个行业。富士通新一代的ETERNUS存储系统提供优化了的解决方案，具备了更高的性能和更灵活的配置，可满足海量存储容量、可持续的数据访问以及稳定运行所需的高性能。  相似文献   

8.
如何解决高校网络建设过程中的存储的问题,海量数据在整个校园网络的应用过程中如何能克服诸如人为操作失误、病毒、自然灾害等造成的安全隐患。据统计,该海量数据中的70％需要时刻处在网络中供分享和应用,剩余的30％可以考虑暂时离线存储以备不时之需;期望通过离线的磁带存储、等量的硬件存储空间提供数据存储、大量的双机提供不同部门的业务连续性似乎都会对高校的人力和财力造成巨大的压力。  相似文献   

9.
当前各网络学习系统和资源库之间存在着信息孤岛现象.文章以大数据时代为背景,首先认为造成这种现象的原因主要包括数据的多源异构性和新兴网络技术的应用,如系统的异构,模式的异构和物联网技术等.为了解决这个问题,必须构建异构数据共享系统,该系统包括应用层、数据服务层和数据层.与此相关的关键技术应该具备完成海量数据的存储和海量数据运算的功能.其主要解决策略是从非结构化数据库入手解决异构数据融合问题,其中具有代表性的就是noSQL技术,它具有易扩展、高性能、数据模型灵活等特点.在此基础上,通过数据的表示及格式转换、数据互操作和直接数据访问模式等方式,完成异构数据的集成,最终实现网络学习环境之间“直通车”目的.总之,该论文对网络学习环境中的异构数据和集成进行初步的探讨,希望对今后的相关研究起到抛砖引玉的作用.  相似文献   

10.
陈巧  施佺  邵叶秦 《现代教育技术》2013,23(10):111-114
针对当前学习模式下海量数字教育资源的流转过程中存在的不足,结合云存储的特性提出了基于云存储的个人云资源柜的构建,以期为教育大数据时代下的学生提供泛在的学习支持,提高学生的学习效率.文章重点阐述了由应用访问层、管理层、存储层等构成的个人云资源柜的系统体系结构、分层功能及实现过程.同时通过实验模拟,对传统模式和个人云资源柜支持下的两种学习模式的效果进行了比较分析及性能测试.  相似文献   

11.
近几年技术的进步使得许多领域(如医疗保健传感器、客户端、互联网和金融企业、以及商业系统)产生了海量数据.相比传统数据,除了其庞大的数据量,大数据也表现出其他特性.例如,大的数据通常是非结构化的,需要更精确的实时分析.这意味着需要新的系统架构对数据进行采集、传输、存储以及大规模数据处理的机制.提出了大数据的定义和未来大数据面临的挑战,将大数据系统分为四个连续的模块,即数据生成、数据获取、数据存储和数据分析,这四个模块可以形成大数据的价值链.对研究和产业机构提出的许多方法进行了分析和总结并列出了一些大数据系统潜在的研究方向.  相似文献   

12.
从云计算的定义与云存储的数据模型,GML的空间数据特征等方面探究云计算环境下GML空间数据存储方法.搭建单机与分布式的平台并对两者的存储性能进行对比,得出云计算环境下对GML空间的海量数据存储和访问采用分布式的存储优于采用单机存储的结论.  相似文献   

13.
大数据时代的到来,给海量数据的存储与管理带来了更为严峻的挑战。HDFS能够有效缓解飞速增长的海量数据存储需求。最初HDFS被设计用于同构的硬件环境,然而随着集群硬件的迭代更新,存储介质的硬件异构特性愈发明显。为了充分利用高性能存储介质,提升HDFS的数据访问性能,设计了一种基于层次分析法的异构存储的HDFS副本选择策略,并在扩展的CloudSim仿真系统中实现了该策略。实验结果表明,该策略在HDFS数据访问性能方面优于HDFS默认副本选择策略。  相似文献   

14.
开发海量数据处理系统时存在技术框架选择不确定问题。从理论及应用角度对两种主流的海量数据处理架构MPP和Hadoop进行对比,分析各自技术特点,阐述其与传统数据处理的优势。分析结果表明,Hadoop在存储数据规模上可轻松支持PB级别,而MPP架构大多只支持TB级别;Hadoop对海量半结构化、非结构化数据存储和处理有一定优势,但在处理速度和易用性上不及MPP;在结构化数据处理、响应性能和衍生工具等方面MPP 则占优,适用于查询业务场景较多项目。通过分析两大框架底层核心技术以及归纳优缺点,为企业相关应用的技术选型提供参考。  相似文献   

15.
针对档案管理系统对非字符型数据进行存储和访问的一些技术难题,本文首先讨论了对现有的纸质档案扫描采集,以及对电子格式文件直接入库,在数据库中对存储这些非字符文件数据的表和索引进行分区存储管理,以提高查询和操作大量非字符数据的系统性能.最后,采用基于Autovue的组件技术进行预览查看,保证了系统风格整体一致.  相似文献   

16.
太阳风是从恒星上层大气射出的超声速等离子体带电粒子流。为了正确高效地存储太阳风粒子海量数据,使之结构化并为后续研究所用,本文通过研究云存储架构模型及其关键技术,构建太阳风数据私有云存储模型,设计出一种基于云存储的太阳风数据资源管理系统SWDCS。基于云存储模型的SWDCS系统能够较好地解决太阳风粒子海量数据的高效存储问题,为进一步研究和建立太阳风粒子系统仿真体系提供了物质基础。  相似文献   

17.
本文针对敦煌石窟数字化海量数据在实际工作数据传输过程中出现的问题,认为海量数据无差错传输技术,在敦煌石窟数字化过程中是非常重要的一项技术。敦煌石窟海量数据无差错传输系统的设计与开发,为了开发出实用性强的软件,首先针对敦煌石窟壁画数字化工作流程、分析摄影采集、图像处理和数据存储各阶段的特点,提出了敦煌石窟海量数据无差错传输系统的需求;其次,设计了敦煌石窟海量数据传输校验方案,针对敦煌石窟壁画数字化工作流程提出了层级式校验,依据该校验思想,设计了数据校验的整体框架并做了优化,最后设计出数据传输校验的详细模型,确保了数据传输的完整性;最后,基于上述方案,设计并实现了敦煌石窟海量数据无差错传输系统,利用 VisualStudio2010开发平台、C++程序开发语言完成系统的开发。此系统已在敦煌壁画数字化工作中实际应用,效果良好。  相似文献   

18.
将嵌入式数据库(Berkeley DB)应用到网络性能管理系统(NPMS)当中,较好地解决了网络性能管理系统当中海量数据的存储问题,大大提高了系统的数据存取速度,改善了系统的整体性能.  相似文献   

19.
介绍了Oracle的应用程序接口OCI,分析了SQL的执行过程。针对常规数据存储方法在海量数据存储和系统并发用户较多时效率低下的问题,定义一种简洁的数据结构,创建存储过程并完成对SQL信息的压缩。对比优化前后的实验数据,可以发现此方法能显著提高Oracle的数据存储效率。  相似文献   

20.
基于Hadoop技术开发了数字化校园海量数据存储系统,提出了基于Hadoop的大数据存储模型。将整个系统设计为系统管理、业务应用、数据处理、数据采集等4个大模块,采用开源分布式数据处理框架,高效处理海量数据。系统具有可伸缩性、高可靠性、低成本和高效性等优点,解决了传统数据处理成本高、数据管理困难、可靠性低、效率低、并行处理程序编写困难等诸多问题。  相似文献   

设为首页 | 免责声明 | 关于勤云 | 加入收藏

Copyright©北京勤云科技发展有限公司  京ICP备09084417号