共查询到20条相似文献，搜索用时 218 毫秒
1.
Spark是一种新型分布式海量数据处理平台,在应用执行过程中,Spark以任务作为最小执行单元。因此,任务执行时间预测是指导Spark进行性能分析、优化资源调度以及故障监控的基础。在Spark平台中,由于计算数据分布不均及网络资源的共享,导致同样计算逻辑的任务在不同计算节点上执行的时间可能产生很大差异,需根据实时运行环境进行动态预测。通过结合任务在不同节点所需数据量以及集群网络状况,对任务在不同节点的执行时间进行预测。实验表明,该方法对任务进行预估,误差可保证在19%以内,任务执行时间预估算法对Spark调优有一定的指导作用。 相似文献
2.
郑天甫 《江西电力职业技术学院学报》2022,35(1):15-17,26
基于Storm集群数据处理架构、Spark内存批处理技术,建立风电机组传动系统、齿轮箱的故障诊断与预警模型,运用Spark并行计算的RDD-NB(分布式数据集)算法、RDD-BP(反向传播)算法,分别对风电机组系统的执行做出故障诊断和故障预警,实验结果得出,该方案可自动计算机组运行状态的特征值,将多种特征值进行逻辑组合... 相似文献
3.
基于结构拓扑优化中移动渐进算法的求解逼近过程,对算法中较大参数ci进行量化分析,并建立移动渐进算法(MMA)中较大参数ci量化模型。以悬臂梁及两单元桁架为例,得出不同较大参数ci对移动渐进算法中病态现象(振荡)的影响程度,通过合理选择量化较大参数ci,加快移动渐进算法收敛速度。 相似文献
4.
5.
《南阳师范学院学报》2021,(3):45-50
在融合区块链与边缘计算系统中,如何缩短任务执行时长以帮助矿工节点以最快的速度获得数字货币奖励是极为重要的问题.通过考虑不同任务卸载方式的性能差异,提出了一种能耗受限的最小化时延任务卸载方案TOSML.首先对融合区块链与边缘计算系统中的任务执行时长和能量消耗进行了数学分析,然后在系统总能耗及终端能耗均受限的条件下,建立了以最小任务执行时长为目的的数学优化模型,最后利用遍历算法对上述优化模型进行求解.在仿真中,对系统的能量消耗、执行时长等参数进行了对比分析,仿真结果证明此策略能够有效提升矿工节点挖矿速度. 相似文献
6.
采用某A级车的前悬架参数,建立完整的悬架模型,并对该悬架系统进行仿真与优化。详细说明悬架系统建立和仿真的方法,并具体分析了悬架参数改变对汽车操纵稳定性的影响。优化分析结果表明,通过进一步进行悬架优化设计,汽车的操纵稳定性得到提高。 相似文献
7.
在分析交通方式选择影响因素的基础上,选择合理影响因素作为解释变量,并给出解释变量的赋值方法,借助 SPSS 软件应用多元 Logistic 回归模型,以公交为例,建立公交分担率模型,并根据软件输出的统计学参数对模型的科学性进行进一步分析。结果表明,应用 SPSS 软件进行公交分担率建模有一定的可行性。 相似文献
8.
分布式电源作为智能电网的重要一环与常规电力系统并网的趋势越来越明显,如何合理地对分布式电源进行优化配置对电网的优化运行有重大意义.本文提出并建立了一种多因素的集成分布式电源优化配置模型,为解决含DG的配网规划问题提供了一种思路. 相似文献
9.
应用AVL-FIRE软件对某CNG发动机建立工作过程的计算模型,并对燃烧过程进行数值模拟,通过改变模型中的过量空气系数和点火提前角等工作参数对该机性能的影响进行分析,从而为发动机的参数优化匹配提供方向性指导。 相似文献
10.
Spark分布式框架具有利用数据集内存缓存、启动任务的低迟延、迭代类运算、实时计算的支持和强大的函数式编程接口等特征。描述Spark 集群环境的搭建过程,将Spark 应用到预测森林植被中,对基于RDD和基于Data Frame接口的Spark随机森林算法的性能差异进行比较。实验结果表明,基于Dataset结构的随机森林法预测效果好、执行时间短,可以广泛使用。 相似文献
11.
基于黑龙江省土壤系统分类数据库,对已发表的3种土壤容重传递函数在黑龙江省的预测精度与适用性进行评估.研究结果表明：已发表的3种容重传递函数在黑龙江省的预测精度较好,为此,基于该区数据库重新拟合模型或对已有模型的参数校正可以提高该区土壤容重的预测精度.与多项式模型1’相比,非线性模型2,与多项式简化模型3’在预测土壤容重时只需要一个参数,而预测精度并没有明显降低,因此适用范围更大.研究结果同时表明在研究与应用土壤容重传递函数时要考虑土壤的地域性. 相似文献
12.
为了提高计算网格的服务质量(QoS),研究了包含多层调度器的分级分布式网格体系结构中的QoS-aware作业调度问题,提出了一种将计算网格本地调度器作业选择中所使用的作业优先级与全局调度器的作业分配策略相结合的QoS-aware作业调度综合控制策略.建立了一个具有2层调度器的计算网格的随机高级Petri网(SHLPN)模型,并且进行模型精化设计以降低模型求解的复杂性.使用基于SHLPN的性能分析技术进行系统性能评价.数值结果显示QoS-aware作业调度策略能够为高优先级的作业提供较QoS-unaware作业调度策略更好的QoS保证. 相似文献
13.
Spark是大数据内存计算系统的典型代表,通过内存缓存数据加速迭代型、交互型大数据应用的运行。基于时间窗口的数据分析是一类典型的大数据迭代型应用。基于Spark平台运行时间窗口数据分析应用,存在中间结果数据放置不均的问题,造成应用执行效率降低。针对上述问题,提出基于遗传算法的Spark中间结果数据迁移策略,通过考虑中间结果数据迁移时机、迁移数据规模,并使用遗传算法优化选取迁移数据放置位置,提高时间窗口应用执行效率。实验结果表明,在既有Spark平台中,采用该迁移策略可使时间窗口应用执行时间最大减少28.45%,平均减少21.59%。 相似文献
14.
AbstractFactor mixture models are designed for the analysis of multivariate data obtained from a population consisting of distinct latent classes. A common factor model is assumed to hold within each of the latent classes. Factor mixture modeling involves obtaining estimates of the model parameters, and may also be used to assign subjects to their most likely latent class. This simulation study investigates aspects of model performance such as parameter coverage and correct class membership assignment and focuses on covariate effects, model size, and class-specific versus class-invariant parameters. When fitting true models, parameter coverage is good for most parameters even for the smallest class separation investigated in this study (0.5 SD between 2 classes). The same holds for convergence rates. Correct class assignment is unsatisfactory for the small class separation without covariates, but improves dramatically with increasing separation, covariate effects, or both. Model performance is not influenced by the differences in model size investigated here. Class-specific parameters may improve some aspects of model performance but negatively affect other aspects. 相似文献
15.
提出了一种科学计算领域中常用的命令行程序web服务包装方法.首先给出了实现一个基本的web服务包装器的软件架构,并对主要组件的功能进行了解释.进而经过对数据传输和作业生命周期的深入分析,设计了一种新颖的文件传输和作业管理机制用以增强该软件架构,使得在命令行程序被包装成web服务的同时,保证了文件的高效传输,运行状态的即时反馈和作业的自动管理.对比实验表明,该方法在使用了较少内存的前提下提高了程序运行性能,定性比较显示程序的易用性也有所提高.本工作已经在实际的科学计算系统中得到了应用,极大地提高了系统的数据处理效率. 相似文献
16.
褚志刚 《重庆大学学报(英文版)》2003,2(2)
1. Introduction In order to improve the driving operation performance, the front suspension of a vehicle is generally of McPherson independent style, which can simplify the structure, lighten the unsprung mass, and conveniently arrange the engine and steering system. Moreover, it can adapt to many types of springs and is of advantage to adjust the height of the vehicle. In such a system, the axis of the kingpin is the line between the upper damper end and the intersection of the transverse ar… 相似文献
17.
Electrical discharge machining （EDM） process, at present is still an experience process, wherein selected parameters are often far from the optimum, and at the same time selecting optimization parameters is costly and time consuming. In this paper, artificial neural network （ANN） and genetic algorithm （GA） are used together to establish the parameter optimization model. An ANN model which adapts Levenberg-Marquardt algorithm has been set up to represent the relationship between material removal rate （MRR） and input parameters, and GA is used to optimize parameters, so that optimization results are obtained. The model is shown to be effective, and MRR is improved using optimized machining parameters. 相似文献
18.
《Performance Improvement Quarterly》2017,29(4):343-373
The influence of interest on job completion time, ordinary and worthy job performance, and job satisfaction is investigated following the provision of job‐related prior knowledge. This quasiexperimental posttest research compared studies of low‐ and high‐value jobs. In Study 1, participants (n = 75) completed a dressing job (low value). In Study 2, participants (n = 71) completed a computer job (high value). Interest in the low‐value job was found to trigger significant job performance and job satisfaction, but no significant impact was noted on job completion time. However, worthy job performance (in which performance is evaluated by total cost spent to acquire desired output) of the lowvalue job was nonsignificant and inverse to job performance. Interest in the highvalue job was seen to significantly affect job completion time and job satisfaction, but not job performance. In contrast to Study 1, worthy job performance was consistent with job performance and seen as significant. The results are discussed, and further research studies are recommended. 相似文献
19.
LUAN Cui-ju SONG Guang-hua ZHENG Yao ZHANG Ji-fa 《浙江大学学报(A卷英文版)》2007,8(1):95-105
INTRODUCTION The Grid is capable of coordinated resourcesharing and problem solving in dynamic andmulti-institutional virtual organizations (Foster et al.,2001). As a kind of grid, the computational grid pro-vides a new method to deal with engineering andscientific computation, and by using it we launch theMultidisciplinary ApplicationS-oriented SImulationand Visualization Environment (MASSIVE) project(Zheng et al., 2004). The aims of the MASSIVEproject are to use Grid technolog… 相似文献
20.
刘成斌 《忻州师范学院学报》2007,23(5):46-48
对于实时混合型任务调度,基于NP问题的分析研究,在分层中采用基于阈值的双优先级调度算法,该算法结合了抢占式与非抢占式调度算法的优点,可以提高任务集的调度成功率,并减少由于任务切换引起的系统开销。对阈值的分配是调度算法的核心。在基本优先级已知的条件下,基于回溯技术的阈值分配算法利用低端任务阈值单向影响高端任务最大响应时间的特性,可以在有限的时间内为任务集找出一组具有极大值特征的阈值。该组阈值可以将任务切换次数降至最低,使各队列能够将任务的分配达到一个利用率很好的程度。 相似文献