HBase大对象数据调度自整定控制算法     

王静蕾  孔德武 《科技通报》2015,(2)

提出一种基于趋化重采样的HBase大对象数据调度自整定控制算法,在数据接收端进行数据包接受、重组并解码,提高拆包、组包的效率,构建基于UDP协议的HBase大对象数据调度总体结构模型。定义趋化值与量化值之间的差值进行熵编码,在接收端先把数据包进行重组,得到HBase大对象数据的实时传输系统,实现数据调度自整定控制。仿真实验表明,采用了该自整定控制算法,HBase大对象数据传输的准确性和稳定性都有明显的提高,自整定控制方法能有效降低丢包数,避免延时与丢帧,能有效地对冗余信息和失稳波动信息进行整定处理。  相似文献   

云计算中两类主流数据库的比较研究     

范永胜 《绵阳师范学院学报》2012,31(8):68-71

主要研究了Bigtable和HBase两个云计算的主流数据库;从数据模型的比较可以看出它们都采用了行、列和时间戳三要素;系统的主要架构也基本相似,只是在实现中有细微的差别,表现在对列族的处理上,Bigtable采用了锁的方式,而HBase则采用了节点方式来完成数据的协同访问;在性能的比较中可以知道,Bigtable的性能明显优于HBase,尤其在如数据错误安全和数据中心间的数据复制等关键性能是HBase所不能支持的;但由于HBase的开源性,使得用户可以获得更多的自由,方便开发个性应用。  相似文献   

基于大数据技术的网络舆情文本挖掘研究   总被引：1，自引：0，他引：1  

李金海  何有世  熊强 《情报杂志》2014,(10)

通过分析大数据与网络舆情数据的相似特征,基于大数据思想构建网络舆情的文本挖掘模块,并在此基础上构建预警模型,对关系型数据库与分布式数据库进行了融合,使之适应模型从数据采集到分析查询的全部流程;并对大数据核心技术MapReduce进行扩展,改进的MapReduce贯穿于数据处理模块的文本特征向量提取与舆情指数的矩阵-向量乘积运算。通过仿真实验,证明该模型具有一定的准确性与良好的时效性。  相似文献   

一种基于校园物联网实验平台的大数据存储模型     

农健  卢在盛  陆广泉 《梧州学院学报》2014,(6):1-6

针对物联网传感数据具有的多样性、时空性及大数据特性等特征,在校园物联网实验平台环境下,提出一种基于HBase和My SQL的物联网大数据存储模型。根据平台实际应用的特点,该模型首先通过传统关系数据库接收并存储物联网传感数据,然后通过Sqoop数据转存,实现物联网数据在HBase和HDFS存储架构下的分布式存储,最后在物联网实验平台中应用该模型,并取得了较好的效果。  相似文献   

基于HBase的彩虹表MD5哈希密码解密     

张悦 《深圳职业技术学院学报》2015,(1):18-22

基于时间-内存平衡(Time-Memory Trade-Off)技术的彩虹表已经成为破解MD5哈希(HASH)密码的有效手段,但由于彩虹表文件庞大,彩虹表的生成、存储和分析使用都十分复杂和耗时.本文提出使用HBase作为彩虹表存储和分析使用的技术方案,实验验证了该方案的可行性和有效性.  相似文献   

HBase数据库行键设计及验证     

李兴菊  赵建军  聂红梅  王迎 《教育技术导刊》2019,18(10):178-181

HBase列式非关系型数据库行键设计决定了海量数据存储与查询效率。针对目前存在的数据存储问题及检索效率问题,对现有5种主流方法进行数据测试后,选择了相对较优的哈希前缀法,并在原有基础上根据智慧水务系统中的数据结构特性,使用重要字段提升法结合逆序行键方法进行设计。验证结果显示,该行键组合法针对智慧水务中的时序性数据,在存储方面解决了写入热点与存储分散相矛盾的问题,检索效率在原有哈希前缀法基础上也有了一定提升。  相似文献