[00091072]一种在线管理Hadoop集群资源的方法和装置
技术详细介绍
本发明公开了一种在线管理Hadoop集群资源的方法和装置，以根据作业在线运行的特点动态地调整所需虚拟资源，避免资源的浪费。所述方法包括对生产环境集群中用户所提交作业运行情况进行监控；获取在生产环境集群中使用k台运行代价最小的虚拟机中的任意一台作为虚拟资源时m个map任务的槽平均处理速度和r个reduce任务的槽平均处理速度；根据保存的运行代价最小的虚拟机的性能特征、MapSlotSpeed、ReduceSlotSpeed和用户对所提交作业的期望完成时间，重新确定在生产环境集群中运行用户所提交作业需要运行代价最小的虚拟机的数量knew；若knew和k不等，则将生产环境集群中运行代价最小的虚拟机调整至knew台。本发明使得用户所提交作业能够按时按需完成，提高了用户使用虚拟机的性价比。
