博士论文-海量存储系统元数据服务设计及优化

CORC > 高能物理研究所 > 中国科学院高能物理研究所 > 计算中心 > 学位论文和出站报告

题名	博士论文-海量存储系统元数据服务设计及优化
作者	汪璐
学位类别	博士
答辩日期	2011
授予单位	中国科学院研究生院
授予地点	北京
导师	陈刚
关键词	GRASS海量存储系统元数据服务性能优化元数据搜索可靠性
学位专业	计算机应用技术
中文摘要	在高能所的e-Science 计算平台中，管理物理数据存储的GRASS（Grid enabled maSs Storage）发挥着重要的作用。GRASS是在CASTOR存储系统的基础上发展而来的。由于CASTOR设计时间较早，其元数据服务器每秒只能完成几十次操作，已经明显不能满足应用对元数据的访问需求。本文的研究目标是，为GRASS存储系统设计一个高性能元数据服务器，取代原来的设计，解决高能物理计算的需求与落后的元数据性能之间的矛盾，提高元数据访问，元数据搜索的效率，保证元数据服务的可靠性和可用性。本文的主要工作和贡献是：; 1.基于内存的元数据服务器设计本文讨论了四种元数据信息的组织形式：关系数据库、本地文件系统、Hash函数定位以及基于内存的数据结构。根据GRASS元数据服务器的需求，本文选择了基于内存数据结构的元数据组织方式。本文根据分级海量存储系统元数据的内容，规模，性能要求，设计了一系列内存数据结构，设计了帮助对象定位、查找的多个Hash数组和对象指针。本文采用线程读写锁来保证多线程对名字空间操作的一致性。针对元数据服务器“数据包内容小，通信频繁”的通信特点，本文对系统的TCP/IP通信进行了优化。通过本文的设计，GRASS元数据访问性能较其前系统CASTOR，获得了10到100倍的提升，基本满足了应用需求。; 2. 元数据信息搜索优化本文通过Bloom Filter算法和位计数器，实现了针对文件名、文件大小的目录树搜索剪枝。Bloom Filter算法在使用过程中，需要综合考虑空间开销、时间开销和搜索准确性，本文分析了这几个因素的关系。实验说明，通过对名字空间的搜索剪枝，元数据搜索的性能获得了数倍的提升，关键字的比例越小，搜索时间越短。; 3. 元数据服务器可靠性设计本文通过1）定期的元数据固化2）元数据操作日志3）磁盘RAID 4）DRBD（分布式块设备副本）5）heartbeat 五个途径实现了GRASS元数据服务器的可靠性。
语种	中文
学科主题	计算机应用技术
公开日期	2016-02-25
内容类型	学位论文
源URL	[http://ir.ihep.ac.cn/handle/311005/209327]
专题	计算中心_学位论文和出站报告高能物理研究所_计算中心
作者单位	中国科学院高能物理研究所
推荐引用方式 GB/T 7714	汪璐. 博士论文-海量存储系统元数据服务设计及优化[D]. 北京. 中国科学院研究生院. 2011.