首页 | 本学科首页   官方微博 | 高级检索  
相似文献
 共查询到20条相似文献,搜索用时 588 毫秒
1.
统计是利用尽可能少的局部样本数据来发现总体规律,处理对象往往数据规模小且数据结构单一。在大数据环境下,面临海量数据的采集与统计,传统方法已无法满足大规模数据集处理。基于Hadoop系统,利用其分布式存储和并行处理机制,设计了大数据环境下的统计分析模型,从海量数据中提取出有用的信息特征,实现数据资源共享,为相关部门决策提供信息服务。  相似文献   

2.
太阳风是从恒星上层大气射出的超声速等离子体带电粒子流。为了正确高效地存储太阳风粒子海量数据,使之结构化并为后续研究所用,本文通过研究云存储架构模型及其关键技术,构建太阳风数据私有云存储模型,设计出一种基于云存储的太阳风数据资源管理系统SWDCS。基于云存储模型的SWDCS系统能够较好地解决太阳风粒子海量数据的高效存储问题,为进一步研究和建立太阳风粒子系统仿真体系提供了物质基础。  相似文献   

3.
雷涛 《丽水学院学报》2008,30(1):125-128
针对如何存储图书馆数字信息资源的问题,通过分析现有的海量存储技术,提出了存储区域网络技术,利用存储区域网络技术能很好地解决图书馆海量数据的存储问题。  相似文献   

4.
为提高压力管道数据存储性能,改善数据存储效率,增强压力管道后期的可维护性,构建一种基于Hadoop的压力管道数据存储系统.该系统利用HDFS分布式存储框架建立压力管道数据的存储模型,采用MapReduce对压力管道海量数据进行分析和处理,从而完成数据写入HBase数据库的低延迟响应.在实验中,采用压力管道数据对MySQL、Oracle、Spark SQL、MongoDB和Rasdaman进行性能对比.结果表明,在相同数据量的情况下,系统运行时间更短,占用内存更少,其在存储压力管道海量数据方面具有较好的优越性.  相似文献   

5.
物联网中的数据具有海量、异构性的特点,数据存储关系到数据共享、数据查询等后续工作,对存储方式的研究一直备受关注。在介绍存储策略和查询技术的基础上,着重探讨查询算法,为海量异构传感采样数据存储提供可参考的解决方案。  相似文献   

6.
针对未来物联网农业产生的海量数据采集、管理和挖掘问题,本文提出了基于Hadoop集群分布式存储与传统MySQL数据库相结合的农业大数据云端系统。通过无线传感器网络构建农作物生长环境参数,如温度、湿度、光照度、土壤湿度及图像视频等数据采集和传输平台,数据最后汇聚到云端通过H adoop分布式计算框架和MapReduce编程模型对农业海量数据进行存储、检索、管理和决策,为农作物生长过程实时监测和最优化生产提供指导,实现方便、快捷、高效和低成本的农业管理系统。  相似文献   

7.
针对电子档案存储中的问题,提出了分级存储数据的方法,解决了海量数据的存储难题。  相似文献   

8.
研发了一种基于虚拟仪器技术的电能质量实验教学系统。系统包括稳态电能质量信号实时监测、暂态电能质量信号发生与监测、电能质量信号分析等模块,为实验教学提供了稳态电能质量信号在线监测和暂态电能质量信号模拟测试2种实验模式,具有波形显示、数据读取、信号分析、基于国标判断、数据管理等功能,实现了电能质量在线监测和实验教学的全要素集成。  相似文献   

9.
下一代互联网的大数据挖掘平台是一套以监测分析为手段,同时面向业务与应用和数据挖掘的综合平台.平台按三层架构进行建设,分别是采集层、存储和处理层、应用层,使用云计算和云存储,最大程度排除设备故障,优化网络,提升用户体验,挖掘各种业务海量数据带来的最大价值,帮助运营商等解决网络面临的最大问题.  相似文献   

10.
提出了基于HBase的海量钻井数据存储技术。将HBase的分布式存储特点和钻井工程的实际需求相结合,设计了一个快速、高效、安全的海量钻井数据存储方案。介绍了HBase的存储模型以及系统架构,详细描述了钻井数据在HBase分布式存储系统中的存储过程。  相似文献   

11.
电压质量监测分析仪,是一种测量电压和电压畸变率、分析电压质量的仪表,能对读入的电压信号进行转换处理,在时钟的同步控制下,自动监测、统计和分析各项统计值并存储,供用户选择读出,同时可对多种电压信号进行采集、显示、分类统计,是电力系统监测、考核电网电压质量的必备工具之一.但是,现有的电压质量监测分析仪在测量电压时,是通过单独的模数转换器芯片采样后,再经过CPU处理完成的,采用模数转换器芯片对测量信号采样的成本高,同时外围电路庞大而复杂.该文研究并实现了电压质量监测分析仪,给出了主要硬件电路和软件实现方法,在不采用单独的模数转换器芯片的前提下,依然可以准确的测量电压和电压畸变率,分析电压质量,同时内部的电路结构得到了简化,成本得到了降低.  相似文献   

12.
开发海量数据处理系统时存在技术框架选择不确定问题。从理论及应用角度对两种主流的海量数据处理架构MPP和Hadoop进行对比,分析各自技术特点,阐述其与传统数据处理的优势。分析结果表明,Hadoop在存储数据规模上可轻松支持PB级别,而MPP架构大多只支持TB级别;Hadoop对海量半结构化、非结构化数据存储和处理有一定优势,但在处理速度和易用性上不及MPP;在结构化数据处理、响应性能和衍生工具等方面MPP 则占优,适用于查询业务场景较多项目。通过分析两大框架底层核心技术以及归纳优缺点,为企业相关应用的技术选型提供参考。  相似文献   

13.
三相电网运行过程中的电参量精确检测是实施电能质量控制、提高能源利用率的重要环节.本文设计了一种基于ARM为核心控制器,DSP为辅助处理器的新型智能手持信号采集系统,能够实时处理、显示、存储和远程传输数据,还可以查看监测的历史信息数据.通过实验验证,该系统具有采集数据丰富、工作稳定可靠、测量精度高、实用性强的特点.  相似文献   

14.
分析近期供电企业用电管理需求,考虑系统通信特点与通信安全性,提出GPRS与APN相结合的通信方案,并根据该方案成功开发了一个电力需求侧管理系统。系统包括计量监测、负荷控制、数据统计分析、信息发布与参数配置等功能模块。其中计量监测模块可以远程监测电能计量装置运行信息,分析计量故障|负荷控制模块可以动态监测客户负荷,为电力需求侧管理提供准确、及时的负荷数据|数据统计分析模块可以进行线损分析及供电质量分析。应用结果表明,电力需求侧管理系统可以帮助管理人员及时、准确地获得电表数据,发现表计故障与窃电行为,提高用户用电质量。  相似文献   

15.
统计数据的质量是统计工作的生命 .本文提出了建立统计数据质量监控体系的基本思路 :即建立统计工作质量监控体系、市场监控体系以及法律监控体系 .工作质量监控体系主要包括统计数据搜集质量、加工整理质量、存储保管质量及提供质量等四个环节的质量监控 .市场监控体系着重讨论统计信息市场对统计数据产品发生的市场监督、约束及控制 ;法律监控体系主要从完善统计法、强化执法力度和增强法律意识三方面论述 .  相似文献   

16.
在现行统计管理体制和制度下,河北省域统计数据质量监控存在诸多困境,尚未实现全方位监控,缺乏明确的管控目标和统一规范。应采取科学的统计数据质量监控方法,并切实拟订并实施有效的统计数据质量监控的对策,以应对河北省统计数据质量监控的新要求。  相似文献   

17.
针对当前军校教学管理过程中长期积累的大量业务数据得不到充分利用的现状,本文采用数据仓库和联机分析及数据挖掘技术,建立了军校教学管理多维数据模型,并进行了多维分析系统的设计与实现,从而支持教学管理者对大量繁杂的业务数据进行多角度的综合分析,为军校教学资源的优化配置和教学训练方案的科学制定提供决策支持。  相似文献   

18.
基于 ELK 在智慧运维大数据分析平台实现海量数据分析,对 ELK 的部署结构进行优化,并在日志采集和日志处理中间增加 Kafka 消息处理队列,减轻 Logstash 压力,增加集群高可用性。通过 Logstash 的 Filter 插件利用正则表达式实现日志数据拆分,将拆分后的字段在 Elasticsearch 中存储,最终利用 Kibana 对日志数据进行搜索、绘图和展示。使用基于 ELK 的智慧运维大数据平台解决了运维过程中日志采集、日志处理、日志可视化问题,同时在数据处理上实现了接近 1s的延迟搜索。  相似文献   

19.
为改善水准测量内业数据处理、存储、分析及共享业务,结合C#编程语言和SQL server 2008设计并实现了水准测量内业数据一键式处理系统。系统在水准测量数据一键添加、一键计算上采用基于面向对象的程序设计(OOP)实现对象添加,大大降低了系统开发难度。运行测试表明,该系统能简单、智能地实现内业数据处理,满足常规水准测量数据业务需求。  相似文献   

20.
基于虚拟仪器技术的分布式过电压在线监测系统   总被引:2,自引:0,他引:2  
提出了一种基于虚拟仪器的分布式过电压在线监测系统.监测系统由数字测量仪器组成实现数据采集、分析处理、过电压诊断和报警等功能,其网络通信采用CORBA技术实现在异构环境下中心监控站和各个工控机之间的远程访问和监控.系统的仿真研究和现场测试均表明该系统能够基本实现电能质量各项指标的监测和分析功能,并具有实时性好,可靠性高,开发成本低等特点.  相似文献   

设为首页 | 免责声明 | 关于勤云 | 加入收藏

Copyright©北京勤云科技发展有限公司  京ICP备09084417号