CORC  > 厦门大学  > 航空航天-学位论文
题名基于Spark的KNN图算法并行化模型研究与应用; Research of KNN Graph Algorithm Parallelization based on Spark and Its Application
作者汪龙宝
答辩日期2016-12-22 ; 2016-05-18
导师兰维瑶 ; 吴清强
关键词Spark KNN图 KDTree Spark KNN graph KDTree
英文摘要近些年来,随着计算机科学技术的迅速发展,越来越多的海量数据信息在许多行业中随之产生,海量数据对数据处理的效率提出了极大的挑战。同时在此背景下分布式计算也得到了大力发展,Hadoop使得用户可以进行超大数据集的分析,但是其基于磁盘的MapReduce的计算严重影响了计算性能,而Spark引入RDD(ResilientDistributedDatasets)基于内存计算迎合了广大用户的需求,极大提高了分布式并行计算的效率。虽然在众多大数据工具中,Spark得到了很大的关注,但是Spark还不是十分完善,比如其机器学习库MLlib对聚类算法的支持只有k-means等,此外流形学习等复杂算法也是没有集...; In recent years, the rapid development of computer science and technology generates a massive amount of data in various industries, challengingthe efficiency of data processing. At the same time, the technology of distributed computing made significant progress. Although Hadoop enables users to analyze large datasets, its disk-based computing framework, MapReduce, seriously affects the computing p...; 学位:工学硕士; 院系专业:航空航天学院_工程硕士(控制工程); 学号:23220131153360
语种zh_CN
出处http://210.34.4.13:8080/lunwen/detail.asp?serial=55250
内容类型学位论文
源URL[http://dspace.xmu.edu.cn/handle/2288/130044]  
专题航空航天-学位论文
推荐引用方式
GB/T 7714
汪龙宝. 基于Spark的KNN图算法并行化模型研究与应用, Research of KNN Graph Algorithm Parallelization based on Spark and Its Application[D]. 2016, 2016.
个性服务
查看访问统计
相关权益政策
暂无数据
收藏/分享
所有评论 (0)
暂无评论
 

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。


©版权所有 ©2017 CSpace - Powered by CSpace