一种基于动态划分的MapReduce负载均衡方法; An Approach for Load Balancing in MapReduce via Dynamic Partitioning | |
周家帅 ; 王琦 ; 高军 | |
刊名 | 计算机研究与发展
![]() |
2013 | |
关键词 | MapReduce 负载均衡 动态划分 数据倾斜 采样 MapReduce load balance dynamic partitioning data skew sample |
英文摘要 | MapReduce作为一种分布式计算框架,在大规模数据处理中已经被广泛应用.负载均衡是影响分布式计算性能的关键因素.当前的MapReduce实现在给集群分发任务时,多采用Hash的随机划分方式,无法根据数据的分布情况来调整集群的负载,容易出现负载不均衡的问题.为解决这一问题,对当前的MapReduce框架进行拓展,根据对Map端中间结果的采样来动态确定Reduce任务数目以及划分函数,保证Reduce任务的负载均衡.具体地,对Map的结果进行采样,并将其发送给Job Tracker.JobTracker根据采样数据的分布情况动态确定划分函数,以保证每个Reduce任务处理的记录数目均衡.更重要的是,在Hadoop框架内实现了负载均衡方法,测试结果证明方法具有良好的有效性、兼容性和可用性.; 国家自然科学基金项目; 国家“八六三”高技术研究发展计划基金项目; 中文核心期刊要目总览(PKU); 中国科技核心期刊(ISTIC); 中国科学引文数据库(CSCD); 0; z1; 369-377; 50 |
语种 | 中文 |
内容类型 | 期刊论文 |
源URL | [http://ir.pku.edu.cn/handle/20.500.11897/265970] ![]() |
专题 | 信息科学技术学院 |
推荐引用方式 GB/T 7714 | 周家帅,王琦,高军. 一种基于动态划分的MapReduce负载均衡方法, An Approach for Load Balancing in MapReduce via Dynamic Partitioning[J]. 计算机研究与发展,2013. |
APA | 周家帅,王琦,&高军.(2013).一种基于动态划分的MapReduce负载均衡方法.计算机研究与发展. |
MLA | 周家帅,et al."一种基于动态划分的MapReduce负载均衡方法".计算机研究与发展 (2013). |
个性服务 |
查看访问统计 |
相关权益政策 |
暂无数据 |
收藏/分享 |
除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。
修改评论