基于压缩-字对齐位图的天文海量数据实时索引

CORC > 国家天文台 > 中国科学院国家天文台

	基于压缩-字对齐位图的天文海量数据实时索引
	刘应波 1; 王锋 1; 季凯帆 2; 邓辉 2; 戴伟 1; 梁波 2
刊名	计算机工程与应用
	2016
卷号	052 期号:001 页码:37
ISSN号	1002-8331
英文摘要	澄江一米新真空大型天文望远镜（NVST）当前每天最大能产生2 TB,约十多万条的观测数据。由于这些数据量巨大并具有非结构化特性,使用离线构建索引会带来巨大时间开销,传统的关系型数据库难以满足快速索引和检索需求。针对这些问题,结合数据采集流程,提出了使用基于压缩的字对齐位图索引算法来在线实时构建索引。这种方式不仅克服了离线构建索引方式时,文件访问、FITS头读取和解析FITS头等操作带来的大量额外时间消耗问题,而且有助于解决海量太阳观测数据的高效检索难题。通过实验证明了在线实时构建索引方式能够极大地降低时间开销,也表明了该方式在天文海量数据索引和检索应用中的有效性和可行性。
语种	英语
内容类型	期刊论文
源URL	[http://ir.bao.ac.cn/handle/114a11/51432]
专题	中国科学院国家天文台
作者单位	1.中国科学院国家天文台 2.昆明理工大学
推荐引用方式 GB/T 7714	刘应波,王锋,季凯帆,等. 基于压缩-字对齐位图的天文海量数据实时索引[J]. 计算机工程与应用,2016,052(001):37.
APA	刘应波,王锋,季凯帆,邓辉,戴伟,&梁波.(2016).基于压缩-字对齐位图的天文海量数据实时索引.计算机工程与应用,052(001),37.
MLA	刘应波,et al."基于压缩-字对齐位图的天文海量数据实时索引".计算机工程与应用 052.001(2016):37.