通常在抓取数据时，数据量比较大，单个爬虫的抓取速度太慢。使用爬虫时，需要多个爬虫来爬行。这时候就需要IP代理了。使用多个动态IP进行爬虫，可以提高爬虫的效率，同时减少单个IP访问的频率，降低风险。

 

那么爬虫如何在抓取更多IP的同时获得大量IP呢？例如，在收集数据时，我们使用分布式网络爬虫，多服务器、多IP、多个从网络爬虫同时运行，主爬虫负责调度。效率高，属于大规模分布式抓取，一般用redis分布式抓取。

 

那么这个IP怎么来呢？现在IP地址还很稀缺，我们还在用动态IP地址，那么怎么换IP地址呢？爬虫使用的IP地址不是几个那么简单，还需要交替使用。抓取的网页越多，需要的IP号就越多。否则，对同一个IP的访问次数过多，即使访问频率不快，仍然会引起网站的注意，限制访问。

 

有几种方法可以获得IP地址:

 

根据ADSL拨号服务器更改IP。每次拨号都会有一个新的IP，可以更好的解决IP单一的问题。

 

如果是带路由器的局域网，第一种方法可能效果不好。这时可以模拟登录路由器，控制路由器重拨，更改IP。这其实是一种妥协的方法，曲线救国。

 

代理IP，利用网上购买或抓取的免费代理IP，实现多IP网络爬虫。

 

但是免费代理IP的效果并不是很好。我们可以自己操作，这里就不多说了。为了爬虫的效率还是建议购买代理ip，比如精灵ip代理，爬虫抓取IP有几种方式都可以提供，要看你需要的IP数量来定的。