很多做爬虫业务的人发现他们用的是稳定的代理IP，也控制访问速度和次数。他们也发现爬虫工作有时候会遇到各种问题，你的工作也不能顺利进行，那么如何解决使用代理IP后遇到的问题呢？

 

 

1.分布式爬虫。我们在爬行的时候可以使用分布式的方法，这样有一定的几率起到反爬行的作用，也可以提高爬行的量。

 

2.保存饼干。当模拟登录比较麻烦的时候，可以直接在网上登录去掉cookie保存，然后把cookie当成爬虫，但这不是长久之计，cookie可能会暂时失效。

 

3.多账号防爬。很多网站会通过一个账号在固定时间内的访问频率来判断自己是不是机器人。在这种情况下，可以测试单个账户的固定时间值，然后在时间临近时切换代理IP，这样就可以循环抓取了。

 

4.验证码问题。爬行动物长时间使用后经常会遇到验证码问题。这是为了验证你是否是机器人，而不是为了识别你是爬行类机器人。第一种解决方案:出现这种情况时，可以将验证码下载到本地，手动输入验证码进行验证。这种方法价格昂贵，不能完全自动捕获，需要人为干预。第二种解决方案:可以通过图像识别验证码并自动填写，但是现在的验证码大多比较复杂，不熟悉图像识别就无法识别正确的验证码。第三种方案:可以接入自动编码平台，最方便，但是需要购买。

 

不同的网站有不同的反爬虫方式，一个爬虫策略不会适用于所有的网站。所以要根据具体情况进行分析，不断检验分析的过程，找出网站的反爬虫策略，这样才能事半功倍。