随着互联网时代和大数据时代的到来，一批又一批的好友纷纷加入爬虫大军，从事爬虫的工作，而他们最常用的东西就是代理ip。因此，今天将介绍一些关于爬虫代理IP池的常见问题。

 

 

1.代理IP从何而来？

 

一开始爬虫没有代理ip，所以可以选择智游代理，并且拥有巨大的IP资源。自由代理的收集也非常简单，比如访问页面、常规/xpath提取和保存。

 

2.如何保证代理质量？

 

大部分免费代理IP都不好用，不然市场上收费这么多。你选择的免费代理IP不能直接使用，只能写一个检测程序，试着这些代理访问一个稳定的网站，看看能否正常使用。这个过程可以是多线程或异步的，因为检测代理很慢。

 

3.如何让爬虫更简单的使用这些代理?

 

Python有很多web框架，所以选择一个编写爬虫的api。这还是很有好处的，比如爬虫发现代理直接代理IP，爬虫发现代理池IP不够，也可以替换代理池，比检测程序更可靠。