[00003263]一种通用型分布式爬虫调度系统
技术详细介绍
一种通用型分布式爬虫调度系统，包括控制器和爬虫器，控制器包含显示模块和调度模块，其中显示模块用于查看各种任务进展信息、日志以及触发对爬虫器的控制，调度模块包含通信区、维持区、数据保持区、数据缓存区；爬虫器包含爬取模块和调度模块，其中爬取模块实现具体的爬虫功能；调度模块包含通信区、维持区、数据保持区、数据缓存区；调度模块中的通信区之间采用Socket长连接异步通信方式完成互联；针对大数据时代获取数据效率低，存在丢失等问题，提出普适型、通用型的分布式爬虫系统框架，在保证爬取过程高速、有效、准确的同时兼容多样化的爬取策略。
