[00091185]应用于单台多核处理器主机的多线程网络爬虫执行方法
技术详细介绍
本发明提出的应用于单台多核处理器主机的多线程网络爬虫执行方法包括步骤S10、创建网页爬取线程、网页分析线程以及URL种子线程；S20、将URL种子载入URL种子缓冲队列；S30、从URL种子缓冲队列中取出URL种子块，遍历URL条目进行网页爬取；S40、将网页内容及其URL封装载入网页缓冲队列；S50、通过查询哈希表进行URL分析，将URL载入待爬取URL列表；S60、待爬取URL列表中元素达到最大值时写入URL缓冲队列；S70、从URL缓冲队列中取出URL列表并重排，封装成URL种子块插入URL种子缓冲队列。本发明可避免额外的线程切换或等待、误判率极低，一定程度上解决了“礼貌”爬取问题。
