共查询到20条相似文献，搜索用时 421 毫秒
1.
为有效精确地挖掘海量数据流特征,提出采用数据集中位分割和冗余数据碎片合并的方法设计决策树并构建云平台数据特征挖掘模型。传统的云平台下数据挖掘中对碎片信息不做处理,使文本碎片成几何级增长,导致有用信息的丢失。通过挖掘冗余信息中符合挖掘条件的碎片特征,使用KD树进行数据挖掘索引,在迭代过程中,对数据进行层进中位分割,并结合碎片合并技术,构建数据挖掘云平台模型,对中位数进行维度匹配分箱,使数据的挖掘和传输率最大限度地得到利用。仿真实验证明了采用碎片合并的方法能有效提取冗余碎片中的有用特征信息,数据挖掘性能得到大幅度提升,在数据信息提取和管理中具有很好的推广意义。 相似文献
2.
《科技通报》2015,(10)
通过挖掘生物信息大数据,从生物信息大数据库中提取感兴趣的数据特征,分析生物信息大数据集的细节结构,提高对生物信息的采集、处理、存储、传播,分析能力。传统的生物信息大数据挖掘模型采用基于小波多窗谱提取的生物信息挖掘算法,由于生物特征的属性权重需求各异,数据挖掘精度不高,提出一种基于梯度采样局部收敛的生物信息大数据挖掘模型。首先构建生物信息大数据库模型和生物信息特征挖掘实体模型,采用提取采样局部收敛方法实现对数据挖掘模型的改进,通过求解最优输入控制序列以及索引系统最优目标函数,实现系统的控制输入和预测,使用梯度采样局部收敛的方法进行生物信息大数据挖掘检测,得到生物信息大数据的梯度采样局部收敛属性集合。仿真结果表明,能实时准确地实现对生物信息的储存、检索和分析,提高数据挖掘能力,收敛精度较高。 相似文献
3.
在CStor云数据库访问中,细粒度云存储数据的信息特征存在个体较大差异,访问路径产生多频偏移,数据访问调度性能受限。传统方法中采用PSO局部搜索方法进行访问路径修正,搜索效率低,个体更新较慢。提出一种基于细粒度云存储数据迭代恢复匹配的云数据库访问路径偏移修正算法,以PSO多信息融合Pareto支配集为指导,构建多信息融合细粒度数据的主特征模型,采用迭代恢复匹配方法增加了局部搜索提高搜索到全局最优解的几率,实现路径偏移修正。仿真实验采用3组测试集对CStor云数据库进行访问调度和路径偏移修正,结果表明采用该算法,实现对访问路径的动态实时修正,收敛距离较小,提高了CStor云数据库访问和数据挖掘性能。 相似文献
4.
基于最优化网格分配的资源数据库访问控制 总被引：1，自引：0，他引：1
《科技通报》2015,(8)
对网络资源数据库的优化调度和访问控制是实现大型数据库管理和构建的关键技术,传统方法中采用非对称补偿的单模态资源数据库网络控制算法,受到网格分配不均衡的限制,访问控制性能不好。提出一种基于最优化网格分配的资源数据库访问控制方法,构建网格分配下的网络资源数据库结构模型,提取数据信息的最大熵,表征信号含有有用信息饱和量的有效特征,有效反映资源数据的特征信息,通过网格分配,求得的资源数据库的功率谱优化分配概率密度函数,通过概率分析生成具有反应数据显著特征的特定随机数产生序列,满足之前的概率密度的随机调配需求,实现最优化网格分配,实现资源数据库访问控制改进。仿真实验表明,该算法具有较好的资源数据库访问性能,控制精度较传统方法提升,控制的鲁棒性较好,在数据库访问和调度中应用价值高。 相似文献
5.
《科技通报》2015,(8)
通过对智能数据库的特征优化挖掘,实现特征数据融合,优化数据库分组访问信道,提高数据调度效率。当前的智能数据库特征挖掘算法采用相关度匹配的特征级联挖掘技术,当分层特征之间的具有较大的相似度时,挖掘效果不好。提出一种基于小波多窗谱提取的智能数据库特征挖掘算法。构建数据库模型,建立GMS方法以最小的代价和以最小的样本偏差来实现最高质量的样本数据集,采用粗糙概念格的生成算法进行数据流的频繁访问特征分区,构建小波函数,得到智能数据库的特征双曲调频母小波,提取数据库信息流的多窗谱特征,进行智能数据库特征挖掘算法改进。仿真结果表明,该算法进行数据库特征挖掘的运行时间较短,数据库特征挖掘精确度较高,提高了对数据库的访问和数据调度的精度和效率。 相似文献
6.
7.
传统数据挖掘方法对数据挖掘时必须为高速通信网络,而且还导致系统响应时间延长,对数据安全性产生威胁。文中以分布式环境为背景,提出基于熵值思想的聚类挖掘改进方法,实现网络多层次数据挖掘。设定网络多层次数据聚类参数,计算产生新聚类数,将该数据值作为聚类搜索范围的上限值kmax,选取合适的有效性Silhouette指标,结合最大最小距离理论设置的聚类中心,获得最佳聚类数目;运用熵值理论及动态规划思想形成改进聚类挖掘方法,运用熵值理论判定数据属性权重值,并获取多层次数据对象与邻近数据间的权重关系,将欧氏距离当作数据相似度衡量依据;利用动态规划思想计算获得最大k个数据对象,确定多层次数据挖掘聚类中心。实验证明,利用文中改进数据挖掘方法可有效挖掘网络多层次数据中的有价值信息。 相似文献
8.
从系统设计目标、总体构架设计、Hadoop分布式构架和智慧服务设计,以及服务平台构建、线路推荐算法和旅游信息大数据挖掘等关键实现技术等方面,研究和分析基于大数据的旅游信息智慧服务云平台的构建。 相似文献
9.
在软件故障测试和数据库访问中,对非显著特征数据的挖掘是难点,通过对非显著特征数据的挖掘,处理数据分布比较稀疏且呈现模式分布不规则的数据访问问题。提出一种基于链距离估计的非显著特征数据挖掘算法,在时域上对链距离估计模型进行平移处理,给出非显著特征数据的离群因子概念,提取关联度主特征量,基于链距离估计结果,得到有效特征挖掘概率密度值,实现对非显著特征数据挖掘算法改进。仿真实验表明,该算法使得无论是不同密度的点簇相互靠近还是出现模式偏离的情况,都能有效的挖掘出非显著特征点,从而增强了数据挖掘算法的有效性和通用性,采用该法能有效提高非显著特征数据的挖掘性能,数据挖掘的命中率较高,在数据库访问和软件故障测试等领域具有应用价值。 相似文献
10.
提出采用残差数据合并技术的冗余数据优化挖掘算法,利用训练集建立决策树模型,引入C4.5决策树模型进行冗余数据主特征建模,在主分量特征决策树下,引入残差数据合并技术,设定数据残差特征伴随追踪模式,把传统方法中用于滤除的数据信息进行拼接伴随追踪定位,实现了冗余数据特征的优化挖掘。把方法应用到网络流量时间序列数据处理中实现网络异常监测,仿真实验表明,新的数据挖掘算法能有效提取到冗余数据特征作为有用检测特征,数据挖掘效率大幅提高,有效促进了海量数据隐藏特征的挖掘和应用,设计的网络流量监测软件能提高网络管理和监测实效性。 相似文献
11.
以Hadoop为代表的分布式系统,正在逐渐成为大数据挖掘系统必要组成部分。因此,就是在Hadoop分布式系统上完成数据挖掘任务的一次实践。主要任务是使用Hadoop搭建分布式集群环境,并在该环境上部署数据挖掘任务。研究Hadoop系统架构,对其分布式文件系统HDFS和MapReduce并行编程模型的原理和实现进行深入理解。系统掌握数据挖掘过程,将传统的数据挖掘算法使用MapReduce编程实现,并针对Hadoop平台的数据挖掘算法的执行情况进行研究,主要分析其执行效率和可扩展性。选择数据挖掘中的数据聚类任务作为代表,并选择K-means聚类算法做深入研究,掌握其原理并编写其MapReduce版本,在Hadoop平台上测试并验证其效果。通过不同集群规模和不同数据规模的对比试验得出,使用Hadoop分布式系统进行数据挖掘任务具有良好地加速比和效率,计算能力的扩展性能分析也显示了其具有较大的潜力。 相似文献
12.
对网络隐晦词汇的挖掘是从网络平台上成功提取先进信息的重要方法,传统的网络隐晦词汇挖掘方法采用基于词频和访问次数统计分析的方法,在小数据量时可以很好的实现挖掘,但数据量大时,效果很差。提出一种基于异层迭代算法的网络隐晦词汇深挖技术,首先对所有的网络词汇进行分层,对于分层结果,每层单独进行数据挖掘,在层数据挖掘的基础上,通过层与层之间的迭代方法,实现全局的隐晦词汇挖掘。最后采用一组热门加隐晦的词汇及进行测试实验,结果显示,采用基于异层迭代算法的网络隐晦词汇深挖技术,隐晦词汇被很好的挖掘出来,具有很好的应用价值。 相似文献
13.
《科技通报》2015,(10)
内容中心网络中,Internet用户通常更加关心移动终端的数据内容,需要对此进行有效挖掘,传统的内容中心网络移动终端数据挖掘模型采用关联性辅助挖掘算法,由于内容中心网络的数据之间的关联性是自反的和传递的,导致挖掘效果不好。提出一种基于压缩频谱联合特征识别的内容中心网络移动终端数据优化挖掘模型。构建网络模型和数据挖掘结构模型,进行移动终端数据提取预处理,该内容块被划分成多个分片,把特征数据并行化地存储到不同的存储服务器中,实现对移动终端数据的压缩频谱联合特征识别,达到数据挖掘的目的。仿真实验表明,采用该模型进行数据挖掘,具有较大数据挖掘吞吐量,使得数据存储对象数目有明显提升,数据挖掘精度和收敛性能得到提高。 相似文献
14.
15.
很多应用中需要对海量信息进行数据处理、动态分析,但目前还无法从大量数据中自动提取定性规则。因此,迫切需要一种能够从海量数据中自动提取有效信息、及动态分析的方法。数据挖掘技术可以实现上述功能,但难以对海量数据空间进行有效划分。本文将云模型应用到数据挖掘领域,克服了传统数据挖掘方法在数据空间划分上的不足,提出一种二维尺度云变换方法,有效地实现了定性规则提取。 相似文献
16.
《科技通报》2015,(12)
在嵌入式云信息网络平台中,物理层数据传输容易受到外界攻击变异成坏数据,威胁网络安全,传统方法采用最小延时数据聚集算法实现对该类算数据的检测,算法数据的不均匀性和时延性,检测性能不好。提出一种基于数据链距离估计和时间窗口重排的网络坏数据检测算法。进行嵌入式云信息平台构建和数据采集,采用统计信号分析方法对数据进行信息链构建,对数据链距离进行估计,采用时间窗口重排方法对坏数据的谱特征进行空间重组,提高坏数据检测性能。仿真结果表明,采用该算法进行嵌入式云信息网络平台通信传输的坏数据进行检测,准确检测概率提高34.56%,检测算法的收敛性和鲁棒性较好,保证了网络系统安全。 相似文献
17.
针对桥梁健康监测获取海量数据却无法实时精确地监测评估桥梁结构状态的困难性,本立足数据挖掘算法理论,在Hadoop平台下运用KNN文本分类算法对桥梁结构缩尺模型加速度数据进行分类分析,采用分布式文件系统HDFS对监测数据进行存储和访问,应用Map/Reduce并行计算框架对桥梁各环境参数进行计算,并据此判断监测点属于何种工况,实现了桥梁监测海量数据的存储、访问、分类以及桥梁结构健康状况的判别,通过实验室缩尺模型工程实例验证了理论的有效性。实验结果表明,与传统的串行分类算法相比,基于Hadoop平台的并行分类算法具有较好的扩展性,并取得了基于大数据理论的桥梁监测技术研究的革新。 相似文献
18.
在大型流媒体数据库数据集中,交叉性数据的鲁棒性挖掘结构建立是实现对数据库差异属性分类和数据访问的基础。传统方法对大型数据库中的交叉性数据的鲁棒性挖掘结构建模采用基于遗传算法的数据集聚调度方法,存在较大的路径损耗,数据挖掘的鲁棒性不好。提出改进的基于局部离群点检测遗传进化的大型数据库交叉型数据挖掘模型,构建基于遗传算法的大型流媒体数据库挖掘结构,进行大型流媒体数据库中交叉型数据信息流特征预处理,结合交叉性型数据的离群因子概念,调整流媒体数据调度的位置变换策略,实现交叉性数据的鲁棒性挖掘算法改进。仿真实验结果表明,该算法能有效数据挖掘的a最大匹配率和局部离群点检测性能,保证了数据挖掘的鲁棒性,各项参数指标优于传统方法,展示了较好的应用价值。 相似文献
19.
《科技通报》2015,(12)
随着Web数据库技术的发展,需要对云数据进行索引管理,提高Web数据库访问能力。传统方法采用高斯边缘化路径控制方法进行索引,在无法及时获知Web云数据的先验语义特征信息时,索引精度不高。提出一种基于自适应特征映射的云数据管理索引算法。构建云数据管理模型,提取云数据自适应特征,采用语义相似度特征分析方法实现特征映射,采用一维搜索方法进行峰值搜索,初始化数据库索引起始时间点,设置语义高斯边缘化索引复激活函数,对本层链路和跨层链路进行均衡处理,达到云数据管理和优化索引的目的。仿真结果表明,采用该算法能有效提高云数据管理索引精度,提高云数据的准确调度和访问能力。 相似文献