QQ客服 官方微博 反馈留言

题名	硕士论文-海量存储系统的作业调度算法和模型研究
作者	丁珂
学位类别	硕士
答辩日期	2009
授予单位	中国科学院研究生院
授予地点	北京
导师	陈刚
关键词	海量存储 作业调度 负载均衡
学位专业	计算机应用技术
中文摘要	随着高能物理实验数据的不断增加，我们对海量存储系统的存储容量和管理方式等都提出了更高的要求。中国科学院高能物理研究所运行的新一代北京谱仪BESIII项目投入使用，每年将获取数百TB的原始数据。五年之内产生的原始数据、重建数据和蒙特卡罗数据将超过5PB。分析处理如此巨量数据需要大规模高性能的计算环境支持。; 海量存储系统是实现如此大规模高性能的计算环境的关键因素之一。而设计合理的调度算法和调度体系模型，实现存储作业在各磁盘的文件系统上的合理分布，达到负载均衡的效果，是有效的提高整个海量存储系统I/O效率的方法。本文的主要工作就是基于这种需求完成的。本文，根据对目前高能物理研究所计算中心使用的CASTOR(V1.7)存储系统的调度算法的分析，结合参考了目前其他一些分布式系统的调度算法和体系模型，设计了一种基于集群内各磁盘服务器的文件系统上的实时流信息进行动态作业调度的增量流算法。这种调度算法既将作业调度时刻各文件系统的实际情况考虑在内，同时又把未来一段时间内每个文件系统上可能产生的文件传输流的增量变化情况作为一个重要因素考虑在内。并且，通过数学建模和推算，证明了该算法的有效性和其适用的范围。; 而后，根据这种增量流算法的实际需求，设计和实现了增量流算法调度体系模型。并且将该调度体系模型进行了测试，测试结果显示，增量流算法调度体系模型的调度效果优于CASTOR(V1.7)系统使用的轮转调度算法，也优于不考虑文件系统上文件流增量变化的非增量流算法。本文的研究内容是目前高能物理研究所计算中心海量存储系统环境优化改造的一部分工作。
语种	中文
学科主题	计算机应用技术
公开日期	2016-02-25
内容类型	学位论文
源URL	[http://ir.ihep.ac.cn/handle/311005/209321]
专题	计算中心_学位论文和出站报告
作者单位	中国科学院高能物理研究所
推荐引用方式 GB/T 7714	丁珂. 硕士论文-海量存储系统的作业调度算法和模型研究[D]. 北京. 中国科学院研究生院. 2009.

个性服务

查看访问统计

相关权益政策

暂无数据

收藏/分享

除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。