排序方式： 共有8条查询结果，搜索用时 750 毫秒
1
1.
2.
3.
Apache Spark分布式大数据计算框架应用广泛,但是其配置参数繁多导致使用难度较大,且不合理的配置将严重影响作业执行性能,研究Spark参数对性能的影响并进一步对参数进行自动优化具有重要意义。该文分析了Spark作业中影响系统行为的关键参数,建立了性能模型,并进一步探索了Spark参数自动优化的方法和策略。通过提取作业执行过程中对性能有影响的参数,对主流的19种回归模型进行了对比测试,获得通用性和拟合效果都比较好的6种回归模型,并针对不同类型的Spark任务在特定集群上建立性能模型,最后依据建立的性能模型在参数空间中利用改进的多起点爬山搜索算法寻找最优的参数组合。实验证明经参数优化后Spark作业性能有较大提升。 相似文献
4.
5.
面对众多的大数据技术与研究领域,需要设计合理的学习路径和线索。通过在教学过程中划分多层次(基础层、提高层、综合层),让学生可以有针对性地由浅入深学习,掌握诸如安装维护、基本操作、应用开发、平台调优、架构设计等不同层面的知识。针对大数据工程实践中的常用技术方向,设计了不同层次的实践教学内容,并以工程中常用技术HDFS知识点为例进行阐述。在课程实施过程中该设计内容满足教学需要,使学生能够更加清晰地了解大数据技术在实际中所面对的不同业务需求。 相似文献
7.
建立大数据专业课程群,循序渐进地引导学生从基础到综合、从理论到实践,从专业基础课进入到大数据专业核心课程的学习,逐步开设分布式系统、云计算、数据获取、数据处理、大数据挖掘与分析、大数据预测与人工智能、数据可视化等课程,将大数据技能学习路线清晰化、科学化;精心设计课程理论与实践环节,理论教学将案例贯穿到教学内容之中,让学生能够更加直观地理解知识,实践环节采用模块式实验设计,让教师能够根据课程内容对实验内容进行组合,能够有针对性地让学生掌握相关技术。经过实践,大数据课程群建设对学生竞赛、就业及深造起到了较好的支撑作用。 相似文献
8.
In this paper, the LCVM mixing rule is extended to the multi-parameter equations of state by combining infinite-pressure and zero-pressure mixing rule models. The new LCVM-type mixing rule, coupled with Patel-Teja equation of state （EOS） is applied for vapor-liquid equilibria of different polar and non-polar systems in which the NRTL activity coefficient model is used to calculate the excess Gibbs free energy. The tested results agree well with existing experimental data within a wide range of temperatures and pressures. In comparison with the Van der Waals mixing rule, the new mixing rule gives much better correlations for the vapor-liquid equilibria of non-polar and polar systems. 相似文献
1