QQ客服 官方微博 反馈留言

	一种基于动态划分的MapReduce负载均衡方法
	周家帅 ; 王琦 ; 高军
	2013
关键词	MapReduce 负载均衡 动态划分 数据倾斜 采样
英文摘要	MapReduce作为一种分布式计算框架，在大规模数据处理中已经被广泛应用负载均衡是影响分布式计算性能的关键因素当前的MapReduce实现在给集群分发任务时，多采用Hash的随机划分方式，无法根据数据的分布情况来调整集群的负载，容易出现负载不均衡的问题为解决这一问题，对当前的MapReduee框架进行拓展，根据对Map端中间结果的采样来动态确定Reduce任务数目以及划分函数，保证Reduce任务的负载均衡具体地，对Map的结果进行采样，并将其发送给Job Tracker.Job Tracker根据采样数据的分布情况动态确定划分函数，以保证每个Reduce任务处理的记录数目均衡.更重要的是，在Hadoop框架内实现了负载均衡方法，测试结果证明方法具有良好的有效性、兼容性和可用性.; 0
语种	中文
内容类型	其他
源URL	[http://ir.pku.edu.cn/handle/20.500.11897/274001]
专题	信息科学技术学院
推荐引用方式 GB/T 7714	周家帅,王琦,高军. 一种基于动态划分的MapReduce负载均衡方法. 2013-01-01.

个性服务

查看访问统计

相关权益政策

暂无数据

收藏/分享

除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。