很多从事python爬虫的网友在收集网站信息时，经常会遇到一些数据显示在浏览器上却无法抓取的情况。这可能是因为对方故意阻止爬虫抓取信息。当您的IP地址被网站阻止时，将导致您无法继续访问。这里有一些非常简单的方法让你的python爬虫看起来更像一个人类访问用户。

 

1.构造一个合理的HTTP请求头，可以由请求模块定制。

 

2.优化cookies。收集一些网站时，Cookies是必不可少的。建议您在收集目标网站之前先检查这些网站生成的cookie，然后筛选出爬虫需要处理的cookie。

 

3.正常时间访问路径，很多有防护措施的网站可能会阻止你快速提交表单。有多快？以比普通人快得多的速度操作很可能会导致被网站屏蔽。建议尽量增加每次页面访问的间隔时间。

 

4.注意隐式输入字段值。有两种主要方法可以防止python爬虫抓取带有隐式字段的信息。首先，表单页面上的字段可以用服务器生成的随机变量来表示；另一个是服务器的蜜罐陷阱。因此，有必要检查表单所在的页面。

 

5.使用代理IP。在网络中，IP地址相当于你的网上身份证，一人一张。当一个网站识别出python爬虫和人类访问的区别时，通常会采取屏蔽IP地址的方法来阻止你抓取信息。此时，您需要使用代理IP。精灵ip代理是一种能够提供大量高质量HTTP代理IP资源的IP提供商，所有IP都属于高度匿名的代理IP，由众多个人终端IP组成，可以伪装python爬虫的本地IP地址，达到突破网站防爬限制的目的。