首页 | 本学科首页   官方微博 | 高级检索  
相似文献
 共查询到20条相似文献,搜索用时 31 毫秒
1.
为提高BP神经网络算法的运行效率,利用遗传算法和并行编程思想,提出了Hadoop平台下基于MapReduce的遗传算法优化BP神经网络的并行化设计及实现方法。利用遗传算法优化BP神经网络的初始权值和阈值,提高算法分类准确率;采用MapReduce并行编程模型实现算法的并行化处理,解决BP神经网络在处理大规模样本数据集时存在的硬件开销和通信开销大的问题。选用Caltech256图像数据集,与传统的串行遗传算法优化BP神经网络算法实验对比,验证了并行化GA BP神经网络算法的优越性。  相似文献   

2.
针对现有命名实体识别存在数据处理效率低的问题,该文提出了一种并行化Block-BAC模型.提出了前处理中的数据分块优化算法,并基于Hadoop实现并行化的运作机制;采用局部注意力优化机制,有效减少模型的隐层节点.与已有的BERT-BAC模型相比,在确保较高F1值(精确率和召回率的调和平均数)的情况下,该模型训练时间和实...  相似文献   

3.
提出了一个基于统计分析的数据分类算法.通过使用从训练集中提取的信息,对支持集选择问题进行建模,以得到具有良好分离能力的小型支持集.采用混合整数规划模型计算最优的权重值和分类阈值,通过将样式加权和与分类阈值进行比较来对数据进行分类.并使用真实数据集对本算法进行性能评估.实验结果表明:本算法不仅能提高分类的精度,还能有效减少分类所需的计算时间.  相似文献   

4.
为了提高数据集中相似重复记录的检测效率,提出一种基于属性权值的分组聚类算法。该方法在记录集中选取特征属性,通过设定的权值对记录进行聚类,在形成的数据子集中进行字段匹配和记录匹配,来识别相似重复记录,并给出了相关算法。实验表明,该方法能减少字段的匹配次数和记录的匹配范围,节省运行时间,具有较高的查全率和查准率。  相似文献   

5.
GA—BP神经网络在高校教学评价中的应用   总被引:1,自引:0,他引:1  
针对BP神经网络在学习训练过程中容易陷入局部最优的问题,利用GA算法对其权值和阈值进行优化.构造了一个基于GA—BP神经网络的课堂教学质量评价模型,并将该算法具体运用于某高校的教学质量评价中。实验表明,该模型能比较客观地对课堂教学质量进行综合评价。  相似文献   

6.
为进一步提高QRS波检测算法性能,提出一种基于小波变换的自学习QRS特征提取方法。使用小波变换进行信号去噪,在选取阈值时依据各层数细节系数添加阈值系数,充分保留心电信号有用特征成分,降低小波重构失真度。在QRS波检测过程中使用自学习差分阈值法实时对R点阈值进行更新,能提高算法抗干扰能力。通过对MIT-BIH数据库心律失常信号处理的实验表明,该算法得到了较高的SNR值与较低的MSE值,QRS波识别精度达到了99.554%,具有更高的有效性。  相似文献   

7.
针对FP-Growth算法在处理海量数据时需要耗费大量系统资源无法实现快速的挖掘出关联规则,提出基于Map-Reduce框架的FP-Growth算法.通过使用Map-Reduce计算框架实现FP-Growth算法对数据的并行处理,提高算法的执行效率.最后通过实验证明所提出的算法在处理海量数据方面具有较好的性能.  相似文献   

8.
针对现有BP神经网络选取权值和阈值不精确问题,采用改进量子粒子群优化算法优化BP神经网络权值和阈值。首先在改进的量子粒子群优化算法中,采用双层多种群优化策略提高整个种群的寻优能力,然后在每个子群中使用混沌反向学习和Levy飞行增强子群寻优能力,最后利用改进的量子粒子群优化BP神经网络权值和阈值。实验结果表明,改进的量子粒子群优化算法能有效提高BP神经网络的全局寻优能力和收敛性,对数控高速铣削加工的铣削力进行准确预测。  相似文献   

9.
传统基于统计的命名实体识别方法存在需要大量人工标注的缺陷,导致识别准确率较低。为了提升识别效果,提出一种基于条件随机场的半监督学习方法(S-CRF)对命名实体进行识别。该方法将实体识别看作序列标注问题,对少量数据进行人工标注并构建实体集,通过K-means聚类算法选取有代表性的未标注数据文本进行自动标注,采用条件随机场对语料进行训练测试。选取中文应急预案文档进行实验,该方法在各个标签上的识别效果分别达到93.52%、93.04%、95.81%。实验结果表明,该方法优于传统规则方法,能有效提高应急预案命名实体的识别效果。  相似文献   

10.
一种deep web数据源下重复记录识别模型   总被引:1,自引:0,他引:1  
使用deep web数据源下重复记录识别模型对从多个deep web数据源中抽取出来的半结构化和无结构化的数据进行处理.首先,在数据预处理模块中将所抽取的数据生成实体记录的形式,然后,在异构记录处理模块中利用在同构记录处理模块所得到的权值,计算各实体记录的相似度,得到重复记录.与传统的重复记录识别模型不同,所提方法是在模式匹配未知的前提下实现的;并且采用带有可选算法的多个相似度估算器以达到更好的匹配效率.实验证明,该重复记录识别模型是可行且有效的.  相似文献   

11.
面对海量数据的信息系统,通过引入MapReduce模型,重构Map和Reduce函数,本文提出了基于云计算的属性重要度约简算法,较好地实现了海量数据集中的属性约简,为属性约简研究提供了新思路.最后,实例分析表明,该约简算法是有效可行的.  相似文献   

12.
针对海量或高维数据进行异常检测实验时,往往检测速度较慢、效率较低。针对此问题,设计了一种基于Spark分布式计算的扩展孤立森林异常检测算法改造实验。实验基于Spark框架,分别在数据抽样、训练、预测等阶段设计并行化改造方法,通过与单核条件下的算法对比,验证了并行化方法在保证准确性的前提下执行效率得到大大提高。此实验对加深学生对大数据分布式并行处理知识的理解,引导其对海量数据挖掘相关技术的学习兴趣具有积极作用。  相似文献   

13.
机群环境下的并行K-means算法   总被引:2,自引:0,他引:2  
针对串行K-means算法已难以适应海量数据的聚类分析,基于机群环境下提出了一种并行K-means算法,采用数据并行策略,引入自适应的数据划分思想,动态地实现了各节点间的负载平衡,从理论分析以及实验结果两个方面验证了该算法的高效率。  相似文献   

14.
扈钰  马硕 《德州学院学报》2023,(4):16-21+38
时域射电领域观测活动经常产生海量的数据,而随着深度学习技术近几年来的不断发展,以在海量的数据流中识别可能的单脉冲侯选体成为主流方法。相对于传统的脉冲星搜寻方法,使用深度学习领域的技术可以缩短搜寻时间,提高搜寻效率,同时能达到极高的预测精度。本文提出了一种像素偏移值信号增强算法,采用经ImageNet预训练、以EfficientNet-B0为骨干网络的迁移学习模型,可以直接处理来自射电望远镜的原始、高时间分辨率的数据集,不需要消色散,此方法亦可以应用于FRB侯选体的发现。实验证明,在来自FAST官方网站的数据集测试中,该模型可达到92.0%的召回率以及90.1%的精确率。经对比,本文提出的像素偏移值信号增强算法使得模型的Recall提高了45.8%,Precision提高了17.5%,Accuracy提高了26.3%,以及F1-score提高了31.1%。  相似文献   

15.
《实验技术与管理》2019,(10):127-130
基于Visual Studio集成开发环境和C#语言,开发了数字岩心数值实验演示系统。该系统具有数字岩心扫描图像的输入输出、二值化处理、分形分析、孔径分布统计、数据保存等功能。系统的软件设计采用大量类实现,在具体功能实现上只需调用相应类方法,便于系统功能的增加和扩展。数字岩心图像的二值化采用Otsu算法以及改进的分形算法,可根据阈值进行二值化处理,通过调整二值化阈值观察数字岩心的孔径分布曲线的变化。进行二值化处理和边缘识别后的图像与原图并列显示以进行比较,通过调整二值化阈值观察孔径的变化。  相似文献   

16.
社交网络的快速发展,微博成为主要的社交媒体平台,针对如何预测微博文本的未来互动数,对微博进行有效的分发控制的问题,提出一种基于并行决策树的微博互动数所属级数预测的方法。首先,对用户以往发表的微博进行用户特征和微博文本特征的处理;然后,使用并行决策树分类算法对训练数据进行分类模型的构建;最后使用得到的分类模型对新微博文本的互动数所属级数进行分类预测。通过对比算法的实验,验证了所提方法具有较高的分类精度和较好的可扩展性,能够对微博所属级数进行有效的分类预测。  相似文献   

17.
安妮 《教育技术导刊》2015,14(8):193-196
采用数字图像处理技术,针对高压线及其环境图像的特点,提出一种基于局部自适应阈值分割算法的高压线图像检测方法。利用灰度图像特性,采用图像算术运算方法去除图像背景,以降低后续处理的难度。在检测高压线和滤除“虚假边缘”时,采用图像局部自适应阈值分割算法,弥补Hough变换算法的不足。实验结果表明,该算法能在复杂背景中对高压线进行有效识别。  相似文献   

18.
针对气象无人机探测数据量大、野值剔除和数据补偿困难、准确率低等问题,提出了一种自适应阈值的野值识别和基于探空数据经验模型的野值补偿算法。仿真结果表明:该算法简单、野值处理效果明显,能够满足探空的实际应用要求,很大程度上消除了野值对测量精度的影响。  相似文献   

19.
为提高销售预测准确率,提出一种基于改进 XGBoost 的销售预测方法。首先对销售量影响因素进行特征分析,通过改进灰色关联分析方法对训练数据进行降维处理|然后采用基于 XGBoost 算法的销售预测方法对降维后的特征数据进行监督训练|最后使用训练后的模型对销售情况进行预测评估。实验结果表明,基于灰色关联分析和 XGBoost 模型的销售预测方法正确率达到 95%以上,比传统的经典预测方法提高 35%以上,比 XG?Boost 预测方法提高 19.6%。基于灰色关联分析与 XGBoost 模型的销售预测方法不仅能有效处理海量数据,提高销售预测准确率,还能为制造企业实现产品精准投放提供决策依据。  相似文献   

20.
针对模糊、光照不均情况下获得的低质量QR码难以识别的问题,设计一种低质量QR码识别算法,包括加权平均值法灰度化、中值滤波算法降噪、二值化、基于位置探测图形定位、基于透视变换法的旋转矫正,以及基于Zbar开源库的译码算法等。重点研究针对模糊、光照不均QR码图像的二值化算法,提出一种基于Bernsen算法思想的改进算法,将全局阈值引入该算法中,实现对图像的二值化处理。在VS2010环境下基于Opencv2.4.9图像处理库对识别算法进行验证,结果表明,通过该算法得到的QR码图像完整且噪声少,有效克服了低质量QR码的影响,提高了图像识别率,具有一定的实用性。  相似文献   

设为首页 | 免责声明 | 关于勤云 | 加入收藏

Copyright©北京勤云科技发展有限公司  京ICP备09084417号