共查询到20条相似文献，搜索用时 15 毫秒
1.
旅行时间是交通系统中一个重要的测量指标,精确的旅行时间预测对智能交通系统和先进交通信息系统发展有重要意义。数据采集技术为旅行时间计算提供了海量实时交通数据,如何利用海量实时交通数据精确且快速预测旅行时间成为当前旅行时间研究中的一个热点问题。基于海量的车牌识别数据,在Hadoop框架下,用MapReduce编程模型,应用卡尔曼滤波法实现对路段旅行时间的预测,和其它算法对比,该算法预测准确性有显著提高。 相似文献
2.
随着网络技术飞速发展,海量数据已随处可见并且不断增长,现有的查询处理技术在应用于海量数据时已经显现出种种不足。以海量数据所处的复杂环境为切入点,从各个不同的角度出发研究分析了已有的查询处理方法,在此基础之上提出了使用海量数据的改进算法,改进的Limits算法有利于海量数据查询性能的提高。 相似文献
3.
桂早芳 《黄冈职业技术学院学报》2007,9(1):91-94
解决海量数据查询分析系统存在的数据量与查询速度,数据访问局部性与数据无限制性需求间的矛盾,提出一种备份和恢复策略,备份加载前的数据,并将业务数据的时间属性与备份任务关联,与基于DBMS的备份和恢复方式相比,降低了海量数据对磁盘阵列空间和备份操作对系统资源的占用,增加了恢复数据的可操作粒度和配置灵活性。 相似文献
4.
《实验室研究与探索》2018,(10)
为了对遥感影像数据进行高效地存储与管理,解决传统的存储与查询效率不高的问题。设计一种基于猫群算法的遥感影像并行存储算法,采用线性四叉树对地理空间进行划分和编码,利用MapReduce并行计算框架和猫群优化算法来构建金字塔,把地物标识码、四叉树索引ID两种信息作为行键,采用HBase分布式数据库对影像数据进行存储。实验表明,该方法在金字塔构建的过程中有效的提高了遥感影像的存储效率且保证了数据的完整性。在查询方面,改进的行键不仅达到了筛选数据的目的而且提高了读取效率。研究成果可满足对海量影像高效存储、管理的需求,具有很好的可行性和可扩展性。 相似文献
5.
6.
7.
大数据时代,传统的移动图书馆服务已跟不上时代的发展,为提高图书馆资源的利用率和用户体验,基于高校图书馆手机APP智能化平台探讨了多种特色服务。并从高校移动图书馆手机APP智能化平台的提升构想、登录、馆藏资源查询辅助功能的注意事项、特色馆藏资源的利用、自习室与阅览室人数在线查询、学术资源查询与下载及诚信度机制建立等方面进行了分析与讨论。 相似文献
8.
针对关系型数据库无法满足海量活断层探测文件入库效率要求与存储无法横向线性扩展的问题,基于MongoDB非关系型数据库的海量活断层探测文件存储入库方法,充分利用MongoDB内存文件映射方式,可动态增加节点以扩展性能、提高负载。以南水北调中线核心水源区活断层管理系统为例进行测试,与传统关系数据库存储入库文件方式进行性能对比试验分析,结果表明：该方法显著提高了海量活断层探测文件的存储入库与查询效率,能有效解决关系数据库存取非结构化数据时的性能瓶颈问题。 相似文献
9.
通过对Web大数据库的访问,提高数据库的查询和信息调度能力。传统方法采用基于信息流减法聚类和模糊C均值调度的数据库访问算法,对数据库访问过程中的稀疏度均衡能力不好。提出一种基于稀疏度均衡调度的数据库优化访问算法,分析了数据库中海量数据存储结构模型,进行数据融合和冗余信息滤除处理。采用稀疏度均衡调度方法进行特征提取和数据库访问过程中的均衡调度,提高数据查准率。仿真结果表明,利用该算法进行数据库访问的均衡性能较好,数据的查准率和查全率较高。 相似文献
10.
违章查询是交通管理部门提供的一项便民服务,方便驾驶人对违章信息进行在线查询及处理。移动互联网发展快速、移动设备种类繁多且设备资源有限,为解决移动互联网背景下异构客户端的违章查询服务接入和高并发服务性能问题,提出一种基于Express的违章查询REST Web Service解决方案,为交通管理部门和用户提供便捷高效的违章查询服务。通过Apache JMeter进行压力测试,实验结果表明,该方法实现简单,有效地提高了违章查询服务的扩展性和系统性能。 相似文献
11.
12.
随着大数据时代的到来,针对Apriori算法和FP Growth算法在挖掘海量规模数据频繁项集时,存在内存不足、计算效率低等问题,提出一种Aggregating_FP算法。该算法结合MapReduce并行计算框架与FP Growth算法,实现频繁项集的并行挖掘,对每个项进行规约合并处理,仅输出包含该项的前K个频繁项集,提高了海量数据决策价值的有效性。在Hadoop分布式计算平台上对多组规模不同的数据集进行测试。实验结果表明,该算法适合大规模数据的分析和处理,具有较好的可扩展性。 相似文献
13.
随着云计算、移动计算等互联网技术的快速发展,海量数据分析已成为企业战略决策、营销推广的基础,海量数据挖掘愈显重要。传统的K均值算法作为一种硬聚类算法存在诸多问题,例如数据划分武断、准确率较低等。引入模糊数学思想,提出了一种模糊K均值算法,基于隶属度关系对数据进行了有效的聚类分析,以提高数据挖掘的准确度。 相似文献
14.
基于XML数据立方的面向对象扩展 总被引：3，自引：0，他引：3
数据仓库为海量数据提供了一种有效的存储管理和查询分析的数据平台 ,随着应用需要和万维网的发展应用 ,数据仓库中的数据模式会随着时间而发生变化 ,需要对数据仓库重组或者重建 ,会耗费大量的人力物力 .本文提出了基于XML的数据立方数据模型 .通过对数据仓库技术、面向对象技术和XML技术的结合的探讨 ,提出了基于XML的数据立方以及定义在这种数据模型上的OLAP操作 ,从而为基于Web数据仓库的应用提供了一种新的表示和实现方法 ,解决了数据仓库中模式演化所带来的重组问题 ,保证了数据仓库系统的稳定性、灵活性和可扩展性 ,适应了新一代Web应用的需要 相似文献
15.
企业级检索不同于普通的数据检索和网站检索,它包括复杂结构的数据检索、安全检索、高可靠的查全和查准、智能化的数据检索服务和实时的数据更新服务等。虽然可以利用已有数据检索系统提供的站内数据检索功能来构建企业级数据检索系统,但这种站内检索功能难以满足绝大多数企业自身检索需求。随着大数据时代来临,为处理海量数据,建立大数据平台成为趋势,使用分布式文件存储系统,通过云计算技术来分析海量数据,开发企业级智能云检索系统是提高企业综合效益的关键。基于自然语言的智能云检索,研究开发了基于Hadoop平台的分布式数据检索系统,实现了分布式文件系统和传统关系数据库协同运行的高效数据检索系统。 相似文献
16.
17.
周建华 《西安文理学院学报》2014,(4):75-81
海量数据给微博舆情实时监控预警带来了严峻的挑战,将Hadoop关键技术引入微博舆情分析研究领域,以探寻分布式环境下的高效率短文本数据查询与推理方法,以微博数据结构为基础,结合云计算Hadoop关键技术特性,提出了一种海量微博数据分析预警框架.HDFS为海量微博的数据提供了存储,而MapReduce为海量微博的数据提供快速运算.采用Map(映射)和Reduce(规约)规则,对微博用户关系和内容数据的大规模数据集进行并行运算,以实现并行化高效预处理、深度分析和舆情实时五级预警.为验证计算效率与Reduce任务数之间关系,对Reduce任务数进行实验,结果表明,在Map一定的情况下,随微博数据集的增大到2 GB后,多任务数Reduce执行时间相比少任务数Reduce大大缩短. 相似文献
18.
LBS的广泛应用带来海量的位置信息数据,如何充分利用这些数据并从中挖掘出隐含其中的知识为决策提供数据支持,已经成为空间数据挖掘技术的重要内容。本文重点研究了空间数据挖掘中的聚类分析算法,以此提出了基于LBS的定位系统。该系统分析了DBSCAN和K-means算法,并提出了一种改进算法,实现异常位置检测。基于上述研究设计实现了基于LBS的定位系统,实现了实时定位查询,时空查询,异常轨迹分析等功能。 相似文献
19.
通讯管线资源管理是城市地理信息的重要组成部分。基于ARCSERVER平台,运用分布式技术,将传统关系型数据库所表现的管线资源信息建立成以Geodatabase为中间件的管网信息库。采用空间数据引擎,利用数据处理后的图形信息直观显示光纤及电缆的跳接状态。对光缆铺设、管线预警、电话号码查询定位和局站业务流量分析四个方面采用流动系统的动力学关系架构及网络空间数据的几何拓扑分析,进行最优路径查询统计。利用网络环境下多台计算机处理能力的集成来完成地理信息海量数据的网格计算,快速动态地提供管线监测、管网业务流操作,为管理者提供决策支持信息。 相似文献
20.
结合交通警察在交通管理工作中对车辆信息远程实时查询的需求,构建了车辆远程实时查询系统,提出了基于GSM及数据调制解调器的信息查询原理,并依系统的组成,选择了短信息数据调制解调器,给出其与服务器RS232端口联接方法,列出了系统的程序开发伪代码.系统经过运行实验能够满足使用需求. 相似文献