基于分布式大数据技术的科学计量模块化分析平台构建研究
师洪波1,2; 郭红梅2; 岳婷1,2; 钱力2; 黄定余2; 常志军2
刊名数据分析与知识发现
2020
卷号4期号:2/3页码:231-238
英文摘要

【目的】 设计开发模块化计量指标分析平台,满足计量分析人员多维条件定制、实时高效计算的计量分析需求。【应用背景】 面对海量科学文献数据,传统关系数据库进行大数据量计量计算时效率较低,计算时间长,分布式大数据技术为实时性科学计量分析平台提供了技术基础。【方法】 设计计量指标管理模型及基于工作流的指标构建流程,将分析任务分解为多个可独立计算单元;基于分布式大数据ES索引、Redis集合计算、预计算指标等技术,将计算统计任务转化为倒排索引查询及集合运算等操作。【结果】 为用户提供标准化的指标选择构建流程、可动态扩展的弹性任务配置及准实时的指标计算支持。【结论】 以分布式大数据技术为基础,对计算任务抽象分装,实现了高效、通用的模块化分析平台,同时本研究也可为相关分析决策系统提供参考。

语种中文
内容类型期刊论文
源URL[http://ir.las.ac.cn/handle/12502/11002]  
专题文献情报中心_中国科学院文献情报中心_信息系统部
通讯作者师洪波
作者单位1.中国科学院大学
2.中国科学院文献情报中心
推荐引用方式
GB/T 7714
师洪波,郭红梅,岳婷,等. 基于分布式大数据技术的科学计量模块化分析平台构建研究[J]. 数据分析与知识发现,2020,4(2/3):231-238.
APA 师洪波,郭红梅,岳婷,钱力,黄定余,&常志军.(2020).基于分布式大数据技术的科学计量模块化分析平台构建研究.数据分析与知识发现,4(2/3),231-238.
MLA 师洪波,et al."基于分布式大数据技术的科学计量模块化分析平台构建研究".数据分析与知识发现 4.2/3(2020):231-238.
个性服务
查看访问统计
相关权益政策
暂无数据
收藏/分享
所有评论 (0)
暂无评论
 

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。


©版权所有 ©2017 CSpace - Powered by CSpace