CORC  > 北京大学  > 信息科学技术学院
一种基于动态划分的MapReduce负载均衡方法; An Approach for Load Balancing in MapReduce via Dynamic Partitioning
周家帅 ; 王琦 ; 高军
刊名计算机研究与发展
2013
关键词MapReduce 负载均衡 动态划分 数据倾斜 采样 MapReduce load balance dynamic partitioning data skew sample
英文摘要MapReduce作为一种分布式计算框架,在大规模数据处理中已经被广泛应用.负载均衡是影响分布式计算性能的关键因素.当前的MapReduce实现在给集群分发任务时,多采用Hash的随机划分方式,无法根据数据的分布情况来调整集群的负载,容易出现负载不均衡的问题.为解决这一问题,对当前的MapReduce框架进行拓展,根据对Map端中间结果的采样来动态确定Reduce任务数目以及划分函数,保证Reduce任务的负载均衡.具体地,对Map的结果进行采样,并将其发送给Job Tracker.JobTracker根据采样数据的分布情况动态确定划分函数,以保证每个Reduce任务处理的记录数目均衡.更重要的是,在Hadoop框架内实现了负载均衡方法,测试结果证明方法具有良好的有效性、兼容性和可用性.; 国家自然科学基金项目; 国家“八六三”高技术研究发展计划基金项目; 中文核心期刊要目总览(PKU); 中国科技核心期刊(ISTIC); 中国科学引文数据库(CSCD); 0; z1; 369-377; 50
语种中文
内容类型期刊论文
源URL[http://ir.pku.edu.cn/handle/20.500.11897/265970]  
专题信息科学技术学院
推荐引用方式
GB/T 7714
周家帅,王琦,高军. 一种基于动态划分的MapReduce负载均衡方法, An Approach for Load Balancing in MapReduce via Dynamic Partitioning[J]. 计算机研究与发展,2013.
APA 周家帅,王琦,&高军.(2013).一种基于动态划分的MapReduce负载均衡方法.计算机研究与发展.
MLA 周家帅,et al."一种基于动态划分的MapReduce负载均衡方法".计算机研究与发展 (2013).
个性服务
查看访问统计
相关权益政策
暂无数据
收藏/分享
所有评论 (0)
暂无评论
 

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。


©版权所有 ©2017 CSpace - Powered by CSpace