对于爬虫来说，当访问频率达到目标网站的警告值时，可能会触发目标网站的反爬行机制。在上一篇文章中介绍了几种常见的反爬策略，屏蔽访问者IP是常见的反爬机制之一。

 

 

 

爬虫的数据几乎都可以造假，但只有一项不能造假，那就是IP地址。所以很多网站为了防止爬虫，会制定一系列规则来屏蔽IP，控制每个IP出现的频率。当IP地址被阻塞时，IP发送的请求将不会得到正确的响应。这个方法简单粗暴，但是很有效。

 

 

 

所以，换个角度，我们有理由认为，突破反爬虫机制的重要措施之一就是拥有一个庞大而稳定的IP群体——所谓的代理IP池，它将在爬虫工作中发挥重要作用。

 

 

 

在收集网络数据时，爬虫需要用代理IP覆盖自己才能顺利爬行目标数据，爬虫需要的IP数量往往以万计。基于对IP的巨大需求，代理该上场了。

 

 

 

所谓代理，就是用户和网站之间的第三方:

 

用户首先将请求发送给代理，然后代理将请求发送给服务器。看起来像是代理正在访问那个网站，服务器会把这次访问算到代理头上。

 

 

 

如果同时使用多个代理，单个IP的访问次数就会下降，从某种意义上来说，就突破了次数的限制，使得单个IP有可能逃脱，从而促使爬虫更高效地工作。

 

 

 

代理IP也是分类的。最常用的代理IP类型有SOCKS代理、HTTPS代理、HTTP代理等。它们可以分为长期和短期。在行业法规允许的范围内，长期代理IP可以做一些抓取任务，比如搜索信息数据，方便了解行业数据。短期的可以完成注册、页面浏览等一些任务。