很多做爬虫业务的人发现他们用的是一个稳定的代理IP，还控制访问速度和次数。他们还发现爬虫工作有时会遇到各种问题，工作总是无法顺利中止。那么，如何处理爬虫运用代理IP后遇到的问题呢？

 

1.分布式爬虫。我们可以在爬行时运用分布式方法。这种方法有一定的几率起到防爬的作用，还可以增加爬的量。

 

2.清理cookies。模拟登录比较省事的时候，可以直接在网上登录，记下cookies保管，然后带cookies当爬虫。但是，这不是耐久之计，cookies可能会在一段时间内失效。

 

3.多账号防爬。很多网站会经过一个账号在固定时间内的访问频率来判别自己是不是机器人。在这种情况下，可以测试单个账号的固定时间值，然后在时间临近时切换代理IP，这样就可以循环抓取了。

 

4.考证码问题。爬虫经常会遇到长时间的考证码问题。这是为了考证你能否是机器人，而不是为了识别你是爬行类机器人。第一种处置方案:这种情况下，可以将考证码下放到本地，手动输入考证码中止考证。这种方法本钱高，并且不能自动捕获，需求人工干预。第二种处置方案:可以经过图像识别考证码，自动填写考证码。但是往常的考证码大多比较复杂，图像识别不熟习就无法识别正确的考证码。第三种处置方案:可以接入自动编码平台，最便利但需求置办。

 

不同的网站有不同的反爬虫方法，一套爬虫战略不会适用于任何网站。因此需求根据细致情况中止分析，不时测试分析过程，找出网站的反爬虫战略，才干起到事半功倍的效果。