共查询到20条相似文献，搜索用时 15 毫秒
1.
在一些大型的数据库中,数据的种类和数量形成海量,一些复杂的强冗余数据给需要查询的关联数据带来了干扰,一旦干扰过大,会造成关联属性弱化,挖掘耗时,严重影响数据库查询的准确性和高效性.为了解决此问题,提出一种基于弱关联数据修补技术的数据库优化查询算法,在数据查询过程中,利用关联查询过程中实时数据对之前的数据进行关联修补;然后利用可修复的关联特征建立最有可能的数据关联,从而进一步地完成对海量数据弱关联环境下的数据库优化查询.实验表明,该方法能够较好地完成弱数据的关联,提高了查询的效率. 相似文献
2.
研究海量信息存储过程中的数据库性能优化问题.假设数据库中存在海量信息,则数据库信息查询需要耗费大量的时间,无法满足当今社会的信息需求.因此,需要对数据库性能进行优化处理,提高数据库查询的效率.为此,提出了一种基于云计算的数据库性能优化方法.建立云计算数据关系模型,描述数据库中相关数据之间的联系,从而为数据查询提供依据.计算数据节点的负载状态,从而实现数据库中信息的快速查询.实验结果表明,这种算法能够有效提高数据库查询效率,取得了令人满意的效果. 相似文献
3.
《科技创业月刊》2017,(5)
随着计算机技术和互联网的飞速发展,Web2.0的成熟与广泛应用,数据呈现爆炸式增长,传统的数据挖掘算法在处理海量数据时效率低下,云计算的出现为其改进带来了新的方式。云计算通过集群威力,实现了对海量数据的可靠存储和高速计算。Hadoop作为一款比较成熟的开源云计算框架,以其高效、可扩展、低成本等优点在数据挖掘的相关领域得到了广泛应用。通过对改进算法的详细阐述和设计,结合实例论证了改进算法的可行性,并对改进算法进行了分析。通过实例分析,得到改进算法具有更高的效率,降低了时间复杂度和空间复杂度。云计算给数据挖掘算法的改进带来了新的方式,数据挖掘将成为未来的研究趋势。 相似文献
4.
分布式云计算环境下的海量数据有效查询方法 总被引：1，自引：0，他引：1
《科技通报》2015,(8)
在对分布式云环境下的海量数据进行查询的过程中,容易出现带宽有限、能量有限、链路频繁断接的特点,导致传统的查询方法由于采用自适应分发数据机制来减少数据的通信量,不能有效实现海量数据查询,提出一种基于查询节点动态轮换的分布式环境下海量数据有效查询方法,将分布式云计算环境下的网络看作是一个带权的无向图,给出分布式云计算环境下单位数据传输时延计算公式,分析了系统模型及海量数据查询的问题描述。将每次剩余能量最高的节点作为查询节点,当接收到一个查询请求时,各节点需感应同时采集该节点所覆盖区域的数据源,对其进行计算、处理等操作,获取趋于请求的结果集,每个节点沿各自路径将数据传输至查询节点,在传输的过程中,各节点将接收到的数据进行融合处理。仿真实验结果表明,所提方法具有很高的查询命中率。 相似文献
5.
【目的/意义】关联数据发现与个性化信息推送是未来智慧图书馆建设的核心内容。大数据环境下,为了提
高图书馆推送信息的精准度,本文把适合个性化信息推送服务的强关联规则挖掘技术引入到高校图书馆智慧化信
息服务中,研究在图书馆集成管理系统的基础上实现图书的智能查询和个性化信息推送。【方法/过程】在具体的研
究中,由于经典关联规则挖掘需要多次扫描数据库,生成大量的冗余关联规则信息,因此需要重新定义领域内强关
联规则和频繁项目集,提出处理海量数据需要的强关联规则算法。【结果/结论】将改进的算法应用到图书借阅和信
息查询数据的分析中,以减少图书频繁项集的产生,避免冗余规则的挖掘和生成,从而实现关联图书信息的高效挖
掘和个性化推送。 相似文献
6.
对个人网上银行数据仓库的数据处理中使用了Birch算法Birch算法充分考虑到数据分布的不均衡性,利用簇对数据对象进行划分,将对数据对象的聚类转变为对簇的聚类,给出了Birch算法的改进算法,井将其应用在个人网上银行数据仓库的数据处理中,论证了其在处理海量数据时显著的优越性。 相似文献
7.
介绍了蚁群爬山法(ACH)的基本原理和方法,分析了该算法存在的不足之处,提出了针对这种算法的并行化改进方案,从整体性能和局部性能上都进行了良好的并行改进处理.改进后的算法有较强的并行化能力,实现了很好的负载平衡,并且在很大程度上减少了计算量和网络通信量,提高了算法的效率,可广泛应用于对海量数据的挖掘和处理. 相似文献
8.
随机森林算法在数据挖掘领域中得到了广泛的应用,该算法通过构建多个不同的决策树可以获得更高的分类结果。但是,随着数据规模的增大,人们开始接触到各大规模的数据以及更高维度的数据属性。传统的随机森林构建算法不能有效、快速地处理海量高维数据,严重影响了数据的分类效率,从而影响预测效率。本文针对高维、海量数据下随机森林构建算法,改进并提高了该算法的效率,提出了基于云计算平台的随机森林构建算法。该算法可以快速的完成数据分类预测,并通过实验结果进一步展示了该算法的效率以及可扩展性。 相似文献
9.
变异遗传散布控制执行算子的数据库分类查询 总被引：1，自引：0，他引：1
为提高数据查询的寻优能力和查询准确度,对数据库查询进行优化改进。提出一种新型的变异遗传散布控制执行算子数据库分类查询算法。设计遗传散布执行算子,实现对遗传算法数据库查询中的迭代控制,通过定义数据库查询散布值,通过对数据文本的最佳特征提取,通过散布分类查询系数的控制遗传迭代循环,对遗传算法的变异处理,实现最优数据信息相关匹配,可以很好地指导数据查询结果,实现数据库查询的准确性和有效性。仿真实验表明,新算法可以提高半连接下分布式数据库查询的效率,特征呈现高聚敛性匹配,数据查询特征相关匹配度达到97.3%,比传统算法提高了25.6%,寻优时间较传统算法大幅缩短。算法有效提高了数据库查询准确率和效率,具有较强的应用价值。 相似文献
10.
本文对个人网上银行数据仓库的数据处理中使用了Birch算法Birch算法充分考虑到数据分布的不均衡性.利用簇对数据对象进行划分,将对数据对象的聚类转变为对簇的聚类,给出了Birch算法的改进算法,并将其应用在个人网上银行数据仓库的数据处理中,论证了其在处理海量数据时显著的优越性. 相似文献
11.
在对海量高光谱遥感图像数据库进行挖掘的过程中,容易出现数据缺失与噪声干扰的情况,导致传统主元分析方法由于依据数据差异特征进行挖掘,无法实现海量高光谱遥感图像数据库的高效挖掘,提出一种时空二维联合的海量高光谱遥感图像数据库挖掘方法,分析了海量高光谱遥感图像数据库的挖掘原理,将数据库与背景结合起来,获取最佳分组次数,依据所提方法的基本原理,采用Apriori算法对高光谱遥感图像层与层之间的关系进行处理,按照顺序对由查询方案引起的候选数据存储空间的干扰进行消除,引入空间维度,完成各种监测点的层次划分,采用适应度函数对所提方法的效率进行改进,避免陷入局部最优解,从而实现海量高光谱遥感图像数据库的高效挖掘。实验结果表明,所提方法具有很高的挖掘效率和精度。 相似文献
12.
由于传统的数据分类查询方法查询失效所承担的额外操作代价不同,无法有效实现优化分类查询,提出一种基于变异遗传散布的云计算环境下海量数据优化分类查询方法,对于含有云计算环境下海量数据的数据库,给出遗传迭代查询散布及数据间的查询响应函数,获取云计算环境下海量数据灰度散布值,融入遗传执行算子数据,获取遗传变异散布分类查询系数,在充分宽的尺度和平移区域中获取最大类别之间的匹配值,得到数据查询响应函数,将其转换成变异遗传散布控制量,从而实现云计算环境下海量数据的优化分类查询。仿真实验结果表明,所提方法具有很高的精度。 相似文献
13.
14.
云计算数据预取算法设计是实现云平台环境下通信链路优化和任务调度均衡分配的基础技术。在传统的云计算据查询模式下,当由于缓存空间不足而导致新的缓存数据无法进入缓存时,导致数据预取拥堵,性能不好。提出一种基于Monte Carlo熵权决策的云计算数据预取算法,构建云计算数据查询模板模型,进行Hybrid缓存置换数据预取前置处理,采用Monte Carlo熵权决策方法,把云计算预取信号从缓存域变换到波束域,构建置换函数,实现了对算法的改进。仿真实验研究得出,该算法通过熵权特征提取,进行云计算数据预取决策,提高了云计算数据预取性能,大数据访问延迟率降低,云计算数据存取和调度效率提高,保真率较好。 相似文献
15.
提出一种基于数据倾斜关联度的数据高效算法,首次给出数据倾斜度的概念,利用数据类间特征进行数据倾斜程度的判断,对相似数据进行类间聚类,将数据库中数据特征进行信息相似度计算,计算概念总出现次数时应累加其所有子概念的出现次数。在查询的过程中,充分考虑同一数据属性的多样性,对数据特征加入模型的数量进行约束,减少不必要的繁琐数据特征。判断符合查询条件的数据类别,根据不同的数据类别进行数据查询,实现数据结构的优化。实验结果表明,利用这种算法进行数据库查询优化,能够有效提高海量数据库信息查询的效率。 相似文献
16.
在一些大型的数据库中,数据的种类和数量形成海量,一些复杂的强冗余数据给需要查询的关联数据带来了干扰,一旦干扰过大,会对正常的查询行为带来干扰,使得查询较为耗时,准确性也不高.为了解决此问题,提出一种由多层搜索树推广而来的用于多维检索的树的结构形式,设计一种查询分辨器的功能,对数据进行多层树结构划分,运用层层过滤技术,排除干扰,从进一步地完成对海量数据弱关联环境下的数据库优化查询.实验表明,该方法能够较好的完成弱数据的关联,提高了查询的效率. 相似文献
17.
在信息资源的价值和实用性被不断挖掘并得以应用于实际工作中,大数据技术的发展迎来了高速发展期,这是由于通过信息不断的生成、更新和变化,产生了海量规模的数据信息,人们需要利用大数据的处理技术和分析能力来应对海量的数据。这在移动通信的发展领域中体现得尤为显著,人们采用了很多的具体策略来进行网络优化和改进,力求提升大数据的处理分析技术在通信网络中的应用能力,从而不断促进移动通信的进步。 相似文献
18.
在3DGIS领域中,空间数据结构占有突出的地位,它直接关系到GIS的功能和效率。为了对3DGIS海量数据进行有效地存储和管理,本文讨论了3DGIS栅格数据结构线性八叉树编码压缩技术,并在原来压缩技术基础上,对其压缩过程进行了改进,同时给出了改进后的压缩和解压缩算法。通过对改进前后算法的比较,发现改进后的算法在压缩时间和数据压缩率上都有显著提高。 相似文献
19.