| 题名 | 基于Spark 的日志处理引擎设计与实现; Design and Implementation of Log Processing Engine Based on Spark |
| 作者 | 张凤 |
| 答辩日期 | 2016-12-26 ; 2016-11-26 |
| 导师 | 张海英 |
| 关键词 | 日志处理引擎 Spark 大数据 Log Processing Engine Spark Big Data |
| 英文摘要 | 当前互联网行业迅速发展，许多互联网平台每天产生大量访问日志，能否以及如何从日志中挖掘出极有价值的信息成为从业人员关心的重要方向，但随着日志数据量的不断增长，依靠通用型单机分析工具已经无法满足业务需要。因此，一个可满足各种不同的临时搜索分析需求、提供可视化操作界面、定制化日志处理和开放式分析、针对海量日志的迭代处理和查询引擎系统的出现成为必要。 基于以上现状，本文设计了一个基于Spark平台的分布式日志处理引擎系统，以满足海量Web访问日志进行定制化处理和开放式分析的需要。系统设计了日志采集、日志查询、日志处理以及系统管理功能。日志采集模块实现原始日志文件的采集与预处理；日志查询模块基于Sca...; In recent years, internet platforms produce a large amount of log every day.Whether and how to dig out valuable information in log has become an important direction cared by practitioners. With the continual growth of log data, general stand-alone analyzer tools have been unable to deal with such huge amounts of data. As above, the implementation of a log processing engine system is necessary. The...; 学位：工程硕士; 院系专业：软件学院_工程硕士(软件工程); 学号：X2014230031 |
| 语种 | zh_CN |
| 出处 | http://210.34.4.13:8080/lunwen/detail.asp?serial=58945 |
| 内容类型 | 学位论文 |
| 源URL | [http://dspace.xmu.edu.cn/handle/2288/131901]  |
| 专题 | 软件学院－学位论文 |
| 推荐引用方式 GB/T 7714 | 张凤. 基于Spark 的日志处理引擎设计与实现, Design and Implementation of Log Processing Engine Based on Spark[D]. 2016, 2016. |
| 个性服务 |
| 查看访问统计 |
| 相关权益政策 |
| 暂无数据 |
| 收藏/分享 |
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。
修改评论