天玑大数据处理引擎关键技术及应用

CORC > 计算技术研究所 > 中国科学院计算技术研究所 > 信息技术快报 > 2013

	天玑大数据处理引擎关键技术及应用
	查礼; 程学旗
刊名	信息技术快报
	2013-05-01
卷号	11 期号:3 页码:24-35
英文摘要	近年来，越来越多的国内外互联网公司和传统企业都已意识到数据资产规模化带来的潜在价值。这些呈爆炸性增长的数据资产的类型以非结构化和半结构化为主，如何低成本且高效率地存储和处理PB1至EB2量级的数据成为业界面临的极大挑战。谷歌（Google）公司陆续提出了MapReduce[1] 编程框架，GFS3文件系统[2]以及BigTable[3] 存储系统，从而成为大数据处理技术的开拓者和领导者。而源于这三项技术的Apache Hadoop[4]等开源项目则成为大数据处理技术的事实标准，迅速推广应用于国内外各大互联网企业，成为PB 量级大数据处理的成熟技术和系统。天玑大数据处理引擎是构建在Hadoop 之上的面向大数据计算 (Big Data Computing)的工具集，其中包含了很多天玑团队既有的研究成果。这些研究成果已在互联网公司实际生产系统上经受住考验，如RCFile 已应用到Facebook（脸书）公司，CCIndex已应用于淘宝网的“数据魔方”，天玑Base 已应用到腾讯“广点通”等。这些关键技术构成了天玑大数据处理引擎的核心竞争力，软件的生态环境也借由开源社区得到良性发展。
学科主题	计算机科学技术基础学科
语种	中文
公开日期	2013-05-27
内容类型	期刊论文
源URL	[http://ictir.ict.ac.cn/handle/311040/1590]
专题	信息技术快报_2013
通讯作者	查礼
推荐引用方式 GB/T 7714	查礼,程学旗. 天玑大数据处理引擎关键技术及应用[J]. 信息技术快报,2013,11(3):24-35.
APA	查礼,&程学旗.(2013).天玑大数据处理引擎关键技术及应用.信息技术快报,11(3),24-35.
MLA	查礼,et al."天玑大数据处理引擎关键技术及应用".信息技术快报 11.3(2013):24-35.