共查询到15条相似文献，搜索用时 250 毫秒
1.
为提升电网系统日志故障诊断效率,在 Spark 环境下,基于并行 Apriori 算法构建分布式日志故障挖掘系统,针对电网系统相关设备后台日志数据,构建频繁项集并挖掘关联规则,形成系统故障规则库,用于系统故障诊断。系统对 50 万条真实日志数据进行检验。结果表明,该系统可有效发现相关故障日志。同时,该系统在 80G 内存、10 个虚拟节点的集群上以 50s 的速度完成了故障挖掘工作,准确率达 90%,同时提升了原单机系统效率,实现了预期效果。 相似文献
2.
金可仲 《温州大学学报(社会科学版)》2008,(1):56-60
日志是计算机取证、入侵检测分析的重要数据来源,运用关联规则挖掘算法对日志进行分析是获取日志中所蕴含有用信息的重要方法,针对基于置信度-支持度框架的常用关联规则挖掘算法在日志分析中存在的不足,引入日志关键属性的概念,提出了基于关键属性约束的关联规则挖掘算法。实验结果表明,该算法能有效阻止无趣规则的产生,提高挖掘结果的有效性。 相似文献
3.
针对传统关联规则 Apriori 算法难以适应大数据的问题,为提高可信计算平台日志数据分析效率, 提出了一种基于Hadoop的可信计算平台日志分析模型。构建了日志分析模型总体框架,对非结构化原始日志数据进行垂直划分,采用分布式文件存储系统,结合MapReduce编程模式给出一种分布式Apriori并行垂直算法。通过日志挖掘建立用户行为关联规则库,并采用规则匹配实现对用户异常行为的检测。理论分析和实验数据证明,该模型在大数据环境下能够有效提高日志分析效率。 相似文献
4.
为了解决服务器运行过程中由于性能故障造成服务质量下降的问题,提出一种基于决策树的日志分析方法,以服务器日志文件中记录服务器关键性能指标的数据为研究对象,利用决策树中常用的ID3、C4.5和CART 3种算法预测服务器未来性能指标发展趋势。实验结果表明,在实际运行过程中,C4.5算法对服务器性能指标数据预测的准确率和召回率最好,分别达到了92.23%和95.37%,在3种决策树算法中拥有最高的准确率与召回率,且相比传统开发人员从日志文件中寻找故障的方法,准确率提高了20%左右,因此能够更好地预测服务器系统性能指标发展趋势。通过该方法可提前感知系统运行状况,并及时作出调整,从而有效降低实际生产过程中服务器故障发生概率,提高服务质量。 相似文献
5.
介绍了Web日志挖掘的模型,分析了使用关联规则挖掘Web日志时遇到的规则数量大且存在冗余等问题,提出了基于频繁闭项集的挖掘办法来减少规则数量．同时引入最小关联规则的概念,从而避免了冗余规则的产生．最后用实验验证了算法的有效性,并以周口师范学院校园网为例,对该网站日志数据进行分析,得到了有价值的规则,并对该网站提出了相应的建议和意见． 相似文献
6.
针对传统入侵检测系统存在的问题,提出将数据挖掘技术应用到入侵检测系统中,分析了常用于入侵检测技术中的数据挖掘方法,并将关联分析与分类分析应用到基于主机日志的异常检测中,对数据挖掘算法和如何将数据挖掘算法应用到入侵检测系统进行了研究.实现了一个基于主机日志数据的挖掘模块,通过对IIS日志文件的挖掘,生成访问异常关联规则,为入侵检测系统服务. 相似文献
7.
介绍电子商务和Web数据挖掘的概念,并介绍Web使用挖掘中应用最多的技术——Web日志挖掘.重点阐述了日志挖掘算法——关联规则的有关知识,以及改进的频繁项目集生成算法Apriori和强关联规则生成算法,并结合实例进行了分析研究. 相似文献
8.
针对FP-Growth算法在处理海量数据时需要耗费大量系统资源无法实现快速的挖掘出关联规则,提出基于Map-Reduce框架的FP-Growth算法.通过使用Map-Reduce计算框架实现FP-Growth算法对数据的并行处理,提高算法的执行效率.最后通过实验证明所提出的算法在处理海量数据方面具有较好的性能. 相似文献
9.
10.
鲍晓娟 《赤峰学院学报(自然科学版)》2011,27(4):45-47
数据库系统在运行的过程中可能会产生各种故障,使数据库处于不稳定的状态.所以DBMS必须提供一种功能用以恢复数据库中的正确数据,使数据准确无误.这种功能就是数据库的恢复.数据库系统常见的故障有三种即事故故障、系统故障和介质故障.基于日志文件的数据库恢复技术用以恢复事务故障和系统故障. 相似文献
11.
在概念层次里进行关联规则的挖掘,并考虑到用户感知与主观判断所产生的认知不确定性;结合模糊分割法与FP-Growth方法,应用于概念层次架构中找出关联规则方法,主要分为两个阶段:层级架构的顺序将数据项做抽象化,找出高频模糊格;由高频模糊格来产生多层次模糊关规则。最后通过比较验证所提方法可提高算法的执行效率、缩短计算时间。 相似文献
12.
13.
关联规则是数据挖掘的重要内容之一.Apriori算法是关联规则挖掘的经典算法,本文对Apriori算法和改进后的FP-Growth算法进行了深入的研究,并以实际的案例进行了算法解析,通过对两种算法的比较与分析,选择FP-Growth算法应用到毕业生信息管理系统中,从大量的毕业生信息出发,找出就业信息与教育信息之间的关系,从而为决策者提供指导或数据支持,指导目前的专业建设、课程改革,促进学校的教学改革,提高人才培养质量. 相似文献
14.
为实时监控类矩形盾构偏心刀盘工作状态,提出一种基于遗传算法（GA）优化BP神经网络模型的在线故障预测方法。首先,利用现场检测的相关测量数据,建立“特征—故障”数据集;然后,利用最优权值与阈值由遗传算法获取的BP神经网络对数据集进行自我学习,构建工作期故障预测模型;最后,开发偏心刀盘监控系统,对刀盘工作状态进行在线预测。实验结果表明,GA-BP网络模型预测准确率达到93.3%,与传统BP网络模型相比提高6%。基于GA-BP网络的偏心刀盘在线故障预测方法可精准预测刀盘工作状态,满足应用设计要求,为盾构施工安全提供有力保障。 相似文献
15.
程淑玉 《宜宾师范高等专科学校学报》2013,(6):82-85
个性化推荐系统被越来越多地应用到各类网站中,以解决信息增长带来的信息迷失和信息过栽问题,而协同过滤算法是个性化推荐系统的重要算法之一,但是传统的协同过滤算法存在数据稀疏、冷启动等问题,为了解决这些问题,在综合WEB日志挖掘和聚类两个因素基础上,提出基于WEB日志和聚类的协同过滤算法,并将该算法与传统的协同过滤算法进行分析比较,验证了该算法能够提高推荐的精确度和实时性． 相似文献