排序方式： 共有45条查询结果，搜索用时 218 毫秒
31.
以运行Hadoop云计算软件平台的异构机群中服务器的硬件指标作为模糊输入,设计了一种自动配置本地服务器的工具.该工具改变了传统云计算平台下的配置方法,以服务器运行历史数据作为参考,引入异构配置方法,通过对异构机群特性的分析,实现对机群的自动配置.仿真实验证明,在保证机群高效的基础上,该工具降低了云计算异构机群的维护成本,具有较高的通用性和可扩展性,对一般的云计算平台也具有参考价值. 相似文献
32.
整合科技项目所产出成果的信息能间接反映项目的研究内容,可以弥补项目查重过程中申报书难以获取的不足,具有重要的研究意义。本文提出一种整合科技项目相关产出信息的数据模型。该模型通过整合项目产出的科技报告、学术论文和科技成果等信息,抽取其中的关键词、标题和摘要等对项目的研究内容进行准确的描述,并强化了项目负责人和承担机构等辅助信息对项目查重的重要性,从而为解决项目查重问题提供客观的数据支撑。 相似文献
33.
当前,高职教育正在实现由规模扩张向提高质量转变。教学质量管理是规模扩张向高质量转变的核心,信息化建设有助于高职院校提高教学质量管理的工作效率和管理水平。高职院校教学质量管理信息化工作开展得比较晚,在很多方面还是基于纸质存档的形式。为了提升高职院校教学质量管理效率和水平,构建了基于Hadoop的教学质量管理平台:使用SSM(Spring+Spring MVC+MyBatis)技术完成平台开发,使用Hadoop的核心组件HDFS存储教学质量管理文件,使用MySQL存储后台数据,使用Docker完成分布式部署。 相似文献
34.
为了提升电商大数据平台复杂数据操作性能,通过分析电商业务特点,从数据重新组织与平台参数调优两个方面对数据平台进行优化。在数据重新组织方面,使用 ORC 数据格式存储数据,并对数据表进行合理的分区、分桶;在平台参数调优方面,对业务涉及到的主要组件参数进行针对性调节。最后,通过搭建具有 32个节点的 Hadoop 集群,并使用 TPC-DS 测试集进行仿真实验,验证调优思路及方法的有效性。结果表明,调优之后的平台性能大约是未进行任何优化平台的 7.5 倍,优化效果显著。 相似文献
35.
随着网络规模的不断扩大,为了保障网络安全、稳定运行,需要一种更高效的网络故障预警算法。通过对传统网络故障预警算法优缺点的分析,针对其缺点进行优化改进,采用离群点检测算法建立网络故障预警模型。对异常检测算法数据进行预处理,在 Hadoop 平台上计算数据异常指数,并不断调整阈值参数。实验结果表明,改进型离群点检测算法故障检测率达到 98%,可对网络故障进行有效预警。 相似文献
36.
37.
Hadoop中的HDFS是大数据存储处理的关键技术,HDFS在存储海量数据集中有着高效、可靠的优点。为解决图书馆传统关系型数据库在海量数据存储和访问效率中存在的瓶颈问题,本文提出了一种基于Hadoop的图书馆复合大数据存储系统。该复合大数据存储系统能够满足图书馆大数据存储需求,提高大数据存储效率,可高效保障图书馆大数据决策的需求。 相似文献
38.
基于Hadoop的海量共现矩阵生成方法 总被引：4，自引：0，他引：4
海量数据的处理分析是当前信息处理技术的热点之一,介绍开源并行系统Hadoop的体系结构以及基于Hadoop的MapReduce编程框架,并在Hadoop基础上提出一种通过多重MapReduce操作,实现海量共现矩阵的生成方法。 相似文献
39.
基于Hadoop开源分布式计算框架和Mahout协同过滤推荐引擎技术构建图书推荐引擎系统,并利用云模型和Pearson系数对传统协同过滤推荐算法进行改进,改善传统单机推荐算法在高维稀疏矩阵上进行运算所导致的系统性能不佳及推荐结果不准确的问题。利用实验对分布式推荐平台的整体性能及改善后的协同过滤推荐算法进行测试评估,发现当虚拟机节点不断增加时,协同过滤推荐引擎的计算时间不断减少,这表明推荐引擎系统的总体性能较传统单机推荐引擎得到提升;利用MAE分别对原始协同过滤推荐效果和改进后的推荐算法进行测评,发现改进后的推荐引擎算法的推荐准确率较改进前提高13.1%。 相似文献
40.
施工现场监控系统是建设工程监督领域一个最基本的质量安全保障措施,施工现场监控系统传输的数据量大、时间长,如何有效地提高传输速率是一个一直有待解决的问题。分析建设工程施工现场远程监控系统的使用情况及优缺点,有助于提出基于云架构技术的施工现场远程监控系统架构,并设计关键的模块,实验表明基于云架构技术的施工现场远程监控系统架构有高的传输速率。 相似文献