| 题名 | SALA：一种避免倾斜、位置感知的基于MapReduce的连接算法; SALA: A Skew-avoiding and Locality-aware Algorithm for MapReduce-based Join |
| 作者 | 蔡珉星 |
| 答辩日期 | 2016-12-23 ; 2016-05-19 |
| 导师 | 林子雨 |
| 关键词 | MapReduce 连接算法 数据倾斜 mapreduce join algorithm data skew |
| 英文摘要 | MapReduce是由Google提出的并行计算框架，具备高可扩展性、高可用性和良好的容错性，现已广泛应用于处理大规模数据。连接操作是大数据分析中的一个常见运算，随着数据规模的进一步增大，如何有效处理基于MapReduce的连接操作成为学术界与工业界的一个研究热点。 然而，传统的基于MapReduce的连接算法在处理倾斜数据时效率不高，主要存在两个问题：（1）传统算法采用的哈希分区模式在划分数据时容易发生分区倾斜，从而导致负载不均，最终延长了整个连接操作的完成时间；（2）连接操作在Map阶段产生了大量中间结果，传统算法没有考虑数据局部性，因此需要消耗较多时间在网络中传输中间结果。传统的基于M...; MapReduce proposed by Google is a parallel programming model and now widely used in processing large-scale data with its high scalability, availability and fault-tolerance. With the further increase in the size of the data, how to deal with the join operation which is a common operation in data analysis based on MapReduce has become the hotspot both in academia and industry area. However, traditi...; 学位：工程硕士; 院系专业：信息科学与技术学院_工程硕士(计算机技术); 学号：23020131153178 |
| 语种 | zh_CN |
| 出处 | http://210.34.4.13:8080/lunwen/detail.asp?serial=55305 |
| 内容类型 | 学位论文 |
| 源URL | [http://dspace.xmu.edu.cn/handle/2288/134874]  |
| 专题 | 信息技术－学位论文 |
| 推荐引用方式 GB/T 7714 | 蔡珉星. SALA：一种避免倾斜、位置感知的基于MapReduce的连接算法, SALA: A Skew-avoiding and Locality-aware Algorithm for MapReduce-based Join[D]. 2016, 2016. |
| 个性服务 |
| 查看访问统计 |
| 相关权益政策 |
| 暂无数据 |
| 收藏/分享 |
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。
修改评论