一种在线配置Hadoop参数的方法和装置

UM > Faculty of Science and Technology > DEPARTMENT OF COMPUTER AND INFORMATION SCIENCE

Residential College	false
Patent Number	CN103701635B
Status	已授權 Granted
	一种在线配置Hadoop参数的方法和装置
Year Issued	2017
	2014-04-02
Application Number	CN201310672010.5
Application Date	2013-12-10
Rights Holder	中国科学院深圳先进技术研究院
	贝振东; 喻之斌; 曾经纬; 张慧玲; 须成忠
Date Available	2014-04-02
Country	中國
Subtype	发明专利 Invention
Abstract	本发明公开了一种在线配置Hadoop参数的方法和装置,以实现系统运行的性能最优。该方法包括：对生产环境集群中作业的数据量进行监控；当监控到生产环境集群中作业的数据量大于预设值时,统计当前配置下k个节点在p个任务阶段中每个任务阶段完成作业的平均完成时间；分别计算集合与n个记录中作业特征属性集合的n个欧几里得距离,获得n个欧几里得距离中最小欧几里得距离对应的记录；在当前配置和最优配置的配置参数值不等时,将最优配置设置为数据量大于预设值的作业在生产环境集群中运行时使用的配置。本发明能够在可以接受的时间里将这些情况的作业运行调整到资源使用的平衡状态,提高了系统在线运行的平均效率,实现系统运行的性能最优。
Language	中文Chinese
Document Type	Patent
Collection	DEPARTMENT OF COMPUTER AND INFORMATION SCIENCE Personal research not belonging to the institution
Affiliation	中国科学院深圳先进技术研究院
Recommended Citation GB/T 7714	贝振东,喻之斌,曾经纬,等. 一种在线配置Hadoop参数的方法和装置. CN103701635B[P]. 2014-04-02.
APA	贝振东., 喻之斌., 曾经纬., 张慧玲., & 须成忠 (2013-12-10). 一种在线配置Hadoop参数的方法和装置.

Files in This Item:
There are no files associated with this item.

If you have any objections to this item, please fill out the form below and the administrator will contact you as soon as possible.
Content:
Email：	*
Affiliation No.
Verification Code:	Refresh

Any comments and suggestions are welcomed.
Title:	*
Content:
Email：	*
Verification Code:	Refresh