[00003293]一种分布式爬虫系统及周期性增量抓取方法
技术详细介绍
本发明公开一种分布式爬虫系统，该系统被配置为基于ZooKeeper的分布式服务、系统组件和数据库三大部分，其中，系统组件包括系统监控组件Monitor、协调组件Coordinator、日志收集组件Logger、基础爬虫组件Spider，数据库包括Redis内存数据库，redis是key‑value的存储形式，Redis内存数据库中存放有分布式URL任务队列和分布式BloomFilter。本发明还公开一种基于该系统的周期性增量抓取方法，包括协调组件Coordinator周期性导入任务到分布式URL任务队列，并唤醒正在休眠的Spider组件；Spider组件根据当前分布式URL任务队列的执行情况进行休眠或周期性增量抓取。该系统及方法解决了如何将单机爬虫有效的结合在一起，实现集群环境下高可用、高稳定和高吞吐率的分布式爬虫，并实现周期性增量抓取。
