网页变化与增量搜集技术

CORC > 北京大学 > 信息科学技术学院

	网页变化与增量搜集技术; Web Evolution and Incremental Crawling
	孟涛 ; 王继民 ; 闫宏飞
刊名	软件学报
	2006
关键词	网页变化增量搜集调度策略研究进展
英文摘要	互联网络中信息量的快速增长使得增量搜集技术成为网上信息获取的一种有效手段,它可以避免因重复搜集未曾变化的网页而带来的时间和资源上的浪费.网页变化规律的发现和利用是增量搜集技术的一个关键.它用来预测网页的下次变化时间甚至变化程度;在此基础上,增量搜集系统还需要考虑网页的变化频率、变化程度和重要性,选择一种最优的任务调度算法来决定不同网页的搜集频率和相对搜集次序.针对网页变化和增量搜集技术这一主题,对最近几年的研究成果作总结,并介绍最新的研究进展.首先论述对网页变化规律的建模、模型参数估计和估计效率等问题;然后介绍几个著名的增量搜集系统,着重分析它们的任务调度算法;最后,从理论上分析和总结增量搜集系统的最佳任务调度算法及其一个基于启发式策略的近似解,并预测其将来的研究趋势.该工作对增量搜集系统的设计和Web演化规律的研究具有参考意义.; 中国科学院资助项目; 高等学校博士学科点专项科研项目; 中文核心期刊要目总览(PKU); 中国科学引文数据库(CSCD); 0; 5; 1051-1067; 17
语种	中文
内容类型	期刊论文
源URL	[http://ir.pku.edu.cn/handle/20.500.11897/210559]
专题	信息科学技术学院
推荐引用方式 GB/T 7714	孟涛,王继民,闫宏飞. 网页变化与增量搜集技术, Web Evolution and Incremental Crawling[J]. 软件学报,2006.
APA	孟涛,王继民,&闫宏飞.(2006).网页变化与增量搜集技术.软件学报.
MLA	孟涛,et al."网页变化与增量搜集技术".软件学报 (2006).