我们在做爬虫的过程中经常会遇到这样的情况。一开始爬虫运行正常，抓取数据正常，一切看起来都那么美好。然而稍不注意可能就出错了，比如被ip被禁，那么快速找出解决http爬虫被封IP的四个方法。

 

1.方法。

 

不管你想收藏什么样的网站，http代理ip肯定是必须的，但需要注意的是，你必须使用国内的代理ip，可以直接从ip在线代理地址购买。但一定要可靠。这样做的优点是:

 

一是程序逻辑变化小，只需要代理功能。

 

二是可以根据对方网站屏蔽规则的不同，购买不同的ip代理。

 

第三，假设你当前使用的代理ip被对方网站屏蔽，你可以在不改变程序逻辑的情况下更改IP。

 

2.方法。

 

少数网站防范措施薄弱。您可以伪装从代理IP服务提供商处购买的IP，并修改X-forward-for，这可以绕过。

 

大多数网站，如果你想频繁抓取，通常需要更多的IP。我比较喜欢的解决方案是直接购买飞蚁动态转发的HTTP代理ip。

 

3.方法。

 

ADSL+脚本，监控是否阻塞，然后不断切换ip。

 

设置查询频率限制

 

正统的方式是调用这个网站提供的服务接口。

 

4.方法。

 

1用户代理伪装和轮换

 

2使用代理ip和循环

 

3 cookies处理，部分网站对登录用户有较为宽松的策略。