题名 | 基于Spark的KNN图算法并行化模型研究与应用; Research of KNN Graph Algorithm Parallelization based on Spark and Its Application |
作者 | 汪龙宝 |
答辩日期 | 2016-12-22 ; 2016-05-18 |
导师 | 兰维瑶 ; 吴清强 |
关键词 | Spark KNN图 KDTree Spark KNN graph KDTree |
英文摘要 | 近些年来,随着计算机科学技术的迅速发展,越来越多的海量数据信息在许多行业中随之产生,海量数据对数据处理的效率提出了极大的挑战。同时在此背景下分布式计算也得到了大力发展,Hadoop使得用户可以进行超大数据集的分析,但是其基于磁盘的MapReduce的计算严重影响了计算性能,而Spark引入RDD(ResilientDistributedDatasets)基于内存计算迎合了广大用户的需求,极大提高了分布式并行计算的效率。虽然在众多大数据工具中,Spark得到了很大的关注,但是Spark还不是十分完善,比如其机器学习库MLlib对聚类算法的支持只有k-means等,此外流形学习等复杂算法也是没有集...; In recent years, the rapid development of computer science and technology generates a massive amount of data in various industries, challengingthe efficiency of data processing. At the same time, the technology of distributed computing made significant progress. Although Hadoop enables users to analyze large datasets, its disk-based computing framework, MapReduce, seriously affects the computing p...; 学位:工学硕士; 院系专业:航空航天学院_工程硕士(控制工程); 学号:23220131153360 |
语种 | zh_CN |
出处 | http://210.34.4.13:8080/lunwen/detail.asp?serial=55250 |
内容类型 | 学位论文 |
源URL | [http://dspace.xmu.edu.cn/handle/2288/130044] |
专题 | 航空航天-学位论文 |
推荐引用方式 GB/T 7714 | 汪龙宝. 基于Spark的KNN图算法并行化模型研究与应用, Research of KNN Graph Algorithm Parallelization based on Spark and Its Application[D]. 2016, 2016. |
个性服务 |
查看访问统计 |
相关权益政策 |
暂无数据 |
收藏/分享 |
除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。
修改评论