[00045543]一种主题网络爬虫系统的构建方法
联系人： 哈尔滨工程大学
所在地： 黑龙江哈尔滨市
- 服务承诺
- 产权明晰
-
资料保密
对所交付的所有资料进行保密
- 如实描述
技术详细介绍
摘要：本发明提供的是一种主题网络爬虫系统的构建方法。(1)定义主题初始描述向量，设定相关度初始阀值、初始化URL队列；(2)从初始URL队列中依次获取URL进行爬取；(3)对URL进行文本分析；(4)对URL进行链接分析；(5)计算URL与主题的相关度；(6)将相关度大于相关度阈值的URL加入有序的URL队列，URL依照与主题向量的相关度高低排序，依次爬取，直至队列为空，对于每个爬到的网页，提取其中的子URL，返回到步骤(3)；(7)使用遗传算法进行遗传算法最优化；(8)Rocchio反馈模块对主题向量更新，并动态调整相关度阈值，继续爬取网页。本发明不需要事先准备大量的训练文本，速度快，适合处理海量的在线网页数据。
