[00063392]Hadoop同构集群下的资源参数优化方法
技术详细介绍
摘要：一种Hadoop同构集群下的资源参数优化方法，包括建立同构集群的作业特征库；在默认配置下，用新作业的部分数据来运行作业，获取新作业的资源占用特征Fs；计算作业特征库中每一个作业的资源占用特征F与Fs的相对距离；取作业特征库中与Fs的相对距离最小的那个作业的参数最优取值，作为新作业s的最优取值；以新作业s的参数最优取值配置集群，完整运行新作业。本发明的有益效果提高作业运行的执行效率；提高集群的资源使用率，避免集群资源浪费或争夺；建立作业特征库，方便后期作业分析和优化。
