[00003265]一种有效链接获取的网页增量抓取方法
技术详细介绍
有效链接获取的网页增量抓取方法，包括如下步骤：1)有效链接获取阶段：a.初始化抓取网页链接，指定抓取入口URL；b.判断入口网页链接是否具有分页；c.计算入口网页与其分页的公共链接；d.通过公共链接获取有效链接；e.结束；2)增量抓取阶段：a.构建布隆过滤器，并通过布隆过滤器判断步骤1)-d中有效网页链接是否已经抓取；b.通过HTTP请求抓取未抓取的网页；c.结束；本发明采用过滤无效链接获取有效的网页链接，并构建布隆过滤器维持已抓取链接集合，通过随机哈希判断网页是否抓取实现增量抓取。通过过滤无效链接，避免无效网页的抓取。
