在使用代理ip的过程中，我们发现大部分用户朋友都有这样的想法:有了高质量的代理IP，爬虫才能畅通无阻，如果爬虫不能很好的工作，那就是代理IP的锅，他们认为高质量的代理IP等于好的爬虫策略，有了这样的代理IP，就不用担心爬虫策略了。

 

 

其实这种想法是片面的。使用代理IP只是爬虫策略之一，具体的爬虫策略要根据目标网站的防爬策略来制定，也可以称为防爬策略。

 

一般防爬虫措施如下:

 

1.代码级限制要求登录访问。一天只能访问一定数量的页面，不登录的时候只能查看几个页面，比如列表信息网站。已经有很多一天6的列表详情页，更多的页面会是恶意的。这种限制需要为爬虫的爬行准备大量的帐户。当然，除了彻底限制之外，还可以限制访问超过数量的弹出验证码，然后验证后继续访问，这样至少有少数真实用户不会无法访问。

 

2.提前获取IP代理池的IP列表，在防火墙级别直接黑化，可以避免一些高端的问题。

 

3.将常见的爬虫头信息全部 Nginx 或者代码层面拉黑。据说一些大网站黑化了python中所有常见的爬虫头部信息，增加了基础爬虫的代码成本。

 

4.高端反爬虫是隔几个小时切换页面代码或界面数据结构。我记得是某个宝藏干的。对于爬虫来说，它可能只是编写了这种类型的代码，然后整个页面代码和数据结构使用了一套新的非常高级的对策。

 

5.数据加扰:每个页面都有一些加密和解密规则，或者每个页面都有不同的加扰数据。很有可能你抓取的内容包含了一些虚假数据或者加密数据，这也增加了爬虫的成本。例如，网页中还可以添加一些样式或名称相同的关键隐藏字段，这些隐藏字段甚至不会出现在页面上，这使得爬虫很难找到关键元素。

 

从上面我们可以看出，爬虫策略不仅仅是使用优质的代理IP，还要根据目标网站的防爬策略进行实际分析，制定专门的防爬策略,当然，高质量的代理IP一定是必不可少。