分布式爬虫系统广泛应用于大型爬虫项目中。面对海量的待爬取网页，只有采用分布式架构才有可能在短时间内完成一轮爬取工作，这也是分布式爬虫系统的意义所在。

 

 

 

分布式爬虫可以分为多个分布式层次，不同的应用可以由其中的一些层次组成。分布式爬虫主要分为以下三个层次:分布式数据中心、分布式爬行服务器和分布式爬虫。

 

一般来说，一个大型的爬虫系统由多个分布式数据中心组成，每个数据中心负责抓取本地周围的网页。每个数据中心由多个通过高速网络连接的爬虫服务器组成，每个服务器可以部署多个爬虫程序。通过多级分布式爬虫系统，保证了抓取数据的及时性和全面性。

 

对于同一中心的多台爬行服务器，不同的机器会有不同的分工协作方式。常见的分布式架构有两种:主从分布式爬虫和对等分布式爬虫。

 

一、主从分布式爬虫

 

对于主从分布式爬虫来说，不同的服务器承担不同的角色，其中一台服务器负责为其他服务器提供URL分发服务，而其他机器则实际下载网页。

 

URL服务器维护待爬取的URL队列，获取待爬取网页的URL，分发给不同的爬取服务器。另外，爬行服务器之间的工作负载要均衡，让各个服务器承担的工作负载大致相等，不会出现忙闲不均的情况。爬取服务器之间没有通信链路，每个被爬取的服务器只与URL服务器传输消息。

 

第二，平均分配爬虫

 

在对等分布式爬虫系统中，服务器之间的分工没有区别，每个服务器承担相同的功能，各自承担一部分URL抓取工作。因为没有URL分发器，所以不存在系统瓶颈问题。可以保证同一个网站的所有网页都被同一个服务器抓取，这样一方面可以提高下载效率，另一方面可以主动控制某个网站的访问速度，避免访问某个网站的压力。

在选择IP代理的时候，一定要选择安全性高的代理，推荐精灵ip代理，大家可以测试一下。