公司在做分布式深度web爬虫，建立了一套稳定的代理池服务，为成千上万的爬虫提供有效的代理，确保所有的爬虫都获得相应网站的有效代理IP，保证爬虫能够快速稳定的运行。当然，公司里做的事情不能是开源的。但是在业余时间，我手痒，所以想利用一些空闲资源做一个简单的代理池解答。

 

 

代理IP从何而来？

 

我第一次自学爬虫的时候，去的是有免费代理没有代理IP的网站，但是还是有一些代理可用。当然，如果有更好的代理接口，也可以自己访问。

 

自由代理的收集也很简单，无非就是:访问页面页面->常规/xpath提取->保存。

 

如何保证代理质量？

 

我肯定大部分的自由代理IP是不能用的，不然为什么还有人提供付费IP(但事实是很多代理的付费IP不稳定，很多都不能用)。所以收集到的代理IP不能直接使用，可以写一个检测程序，不断使用这些代理访问稳定的网站，看看是否可以正常使用。这个过程可以是多线程的，也可以是异步的，因为检测代理是一个缓慢的过程，传统的代理IP可以去云立方这样的网站。

 

如何存储收集的代理？

 

在这里，我们必须推荐一个支持各种数据结构的高性能NoSQL数据库SSDB，它被用作Redis的代理。支持队列、哈希、集合和k-v对，支持T级数据。它是分布式爬虫的一个很好的中间存储工具。

 

如何让爬虫更容易使用这些代理？

 

答案一定是把它变成一种服务。python有这么多web框架，只需拿一个来编写一个api，供爬虫调用。这样做有很多好处，比如:当爬虫发现代理无法使用时，可以通过api主动删除代理IP，当爬虫发现代理池IP不足时，可以主动刷新代理池。这比检测程序更可靠。