Spark作业性能建模及参数优化     

崔晓龙  张敏  刘祥  郭茜 《实验技术与管理》2021,(3):146-152

Apache Spark分布式大数据计算框架应用广泛,但是其配置参数繁多导致使用难度较大,且不合理的配置将严重影响作业执行性能,研究Spark参数对性能的影响并进一步对参数进行自动优化具有重要意义。该文分析了Spark作业中影响系统行为的关键参数,建立了性能模型,并进一步探索了Spark参数自动优化的方法和策略。通过提取作业执行过程中对性能有影响的参数,对主流的19种回归模型进行了对比测试,获得通用性和拟合效果都比较好的6种回归模型,并针对不同类型的Spark任务在特定集群上建立性能模型,最后依据建立的性能模型在参数空间中利用改进的多起点爬山搜索算法寻找最优的参数组合。实验证明经参数优化后Spark作业性能有较大提升。  相似文献   

全球化竞争与中国信息产业   总被引：2，自引：0，他引：2  

丁允旭  钱敏 《情报科学》2002,20(3):326-329

信息技术是当今全球经济一体化的主要推动力之一，随着中国加入WTO的步伐日益临近，在国门彻底敞开后，如何迎接挑战、把握机遇成为中国信息产业生死攸关的重大问题。西方发达国家是这场革命的先行者，在技术、资金以及理念等关键要素上都处于绝对优势地位，与此同时我国尚未完成工业化，整个信息产业还是处于国家的引导和保护之中，即 便在加入WTO后有5年时间的保护期，但整体实力、规模和发达国家相比仍然处于不利地位。为此，本文将就中国信息产业如何开展竞争，把握生机作深入分析。  相似文献   

西方金融创新研究综述及评析     

周密  葛敏 《未来与发展》2006,27(10):57-60

20世纪70年代以来,金融创新层出不穷,并极大地改变了国际金融体系。Van Horne(1985)认为金融创新是金融系统发展的根基,是高效且反应快捷的资本市场的生命之源。随着金融创新重要性的不断提升,越来越多的学者对此产生了研究兴趣。目前  相似文献   

江苏大型企业技术创新发展模式探讨——春兰集团案例剖析   总被引：1，自引：0，他引：1  

葛敏  吴凤平 《中国科技论坛》2006,(5):78-81

本文对江苏大型企业——春兰集团进行了技术创新发展模式的案例研究。在阐述春兰集团现有技术创新模式的基础上，分析集团技术创新的条件进而从组织、技术开发、创新投入的融资等方面构建了春兰集团技术创新的发展模式。  相似文献   

论民营企业技术创新风险与防范   总被引：1，自引：0，他引：1  

尹恩忠  高敏 《技术与创新管理》2005,26(6):32-34

随着信息技术的迅猛发展，已有越来越多的民营企业置身于知识经济和信息技术条件下，信息技术给其带来前所未有的机遇，但也给民营企业技术创新带来了新的风险。分析了知识经济条件下民营企业技术创新风险的特点，并提出了解决和防范风险的一系列方案。  相似文献   

草食畜牧业乳肉功能性产品发展的战略思考          下载免费PDF全文

贺志雄  周传社  王敏  杨果  钟荣珍  焦金真  汤少勋  谭支良 《中国科学院院刊》2021,36(6):685-691

我国畜牧业历经40余年快速增长,科技创新要素和全面小康社会新发展理念"双轮驱动"畜牧业步入由数量规模型向质量安全型转型发展的新阶段。发展动物功能性产品是畜牧业转型升级和高质量发展的重要突破口。文章在分析国内畜牧业行业和国内外草食畜牧业功能性动物产品发展现状的基础上,剖析了我国草食畜牧业乳肉功能性产品研究的前沿科学和技术问题,同时围绕生物技术(遗传改良与生物合成)和非生物技术(饲养管理)对目前草食家畜乳肉功能性产品研发方面的实践探索做了简要介绍;以期在国家相关产业发展战略层面,针对不同生态区域特点和消费需求,加大草食畜牧业高质量转型和乳肉功能性产品研发与产业化的支持力度,不断夯实草食畜牧业乳肉功能性产品调控理论和技术。唯如此则对于引导草食畜牧业可持续发展和消费者健康膳食,以及我国畜牧业新发展格局形成具有重要的战略意义。  相似文献   

基于改进微粒群算法的网格任务调度方法   总被引：1，自引：0，他引：1  

王敏  王楷 《科技创业月刊》2006,19(10):177-178

任务调度是网格计算环境中影响性能的重要因素。提出了一种新的任务调度方法,该方法先对任务执行时间进行预测,然后运用改进微粒群算法进行任务调度,达到最小化任务执行时间的要求,最终实现网格资源的优化分配。通过仿真试验对算法的有效性和性能进行了验证,并比较了与遗传算法调度方案之间的性能差异。  相似文献   

Bacillus sp.ZJU318脂肪酶发酵条件的优化及其酶学性质的研究     

唐良华  夏黎明  苏敏 《科技通报》2006,22(5):622-627

利用均匀设计法对Bacillus sp．ZJU318产酶的最佳培养基进行了快速优化研究。结果表明，其最适产酶培养基为：3．28％黄豆粉，0．023％蔗糖，0．075％K2HPO4，配制时的pH为12（灭菌后pH为8～9）；此外，其发酵的最佳条件为：发酵温度28℃，接种量20％，摇瓶装量20mL（250mL三角瓶）。在最适的发酵条件下，脂肪酶的发酵水平可达24．7U／mL。Bacillus sp．ZJU318脂肪酶作用的最适温度为45℃，40℃保温1h，活力几乎没有损失；但是，在50℃和60℃的条件下保温1h后，酶活降低得比较明显；酶作用的最适pH为9．0。在pH7～10，该脂肪酶较稳定，但是在酸性的环境中，酶的稳定性较低。  相似文献   

知识流与技术能力:探索和利用性学习的中介作用          下载免费PDF全文

林筠  郭敏 《科研管理》2016,37(6):65-73

知识流反映了知识的动态性,通常采用人才交流、无形资产、研发联盟来测量。以262家企业数据为样本,探讨知识流对企业技术能力提升的影响,引入探索性学习和利用性学习作为知识转化的中介,用实证研究方法构建概念模型,通过分层回归分析和结构方程模型方法检验中介效应、验证相关假设。研究结果表明,知识流中"研发联盟"对企业技术能力提升作用最强,其次是"人才交流","无形资产"的影响不显著;探索性学习与利用性学习在知识流促进企业技术能力提升中起部分中介作用,且"研发联盟"与"人才交流"通过探索性学习对企业技术能力提升的间接作用大于直接作用。该研究有助于企业结合实际选择知识流,在重视研发联盟与人才交流的同时谨慎购买专利与技术,并保持探索性学习的持续性,使企业在知识管理的实践中提高技术能力。  相似文献   

二酶系统竞争性抑制的非稳态动力学     

赵敏 《科技通报》2001,17(3):12-16

以非稳态酶动力学的布尔函数图形方法，研究了一类二酶系统竞争性 制的非稳态动力学，推导出此类反应的非稳态酶动力学方程，并对其进行了讨论，分析了这类二酶系统竞争性抑制的非稳态动力学过程。  相似文献