最经典的反爬虫策略是“验证码”因为验证码是图片，用户只需要输入一次就可以成功登录。然而，在我们的程序捕获数据的过程中，我们需要不断地登录。比如我们需要抓取1000个用户的个人信息，填写1000次验证码，但是手工输入验证码是不现实的，所以验证码的出现一度难倒了很多网络爬虫工程师。

精灵IP代理

解决方案:

1.分析网站的验证码机制，从网站后台或前端获取验证码(文本形式)这种方法只适用于少数网站，因为我们一般很难获得验证码。

2.利用图像识别技术识别验证码文本。

3.通常有些网站不仅仅是个人电脑，还有移动的。很有可能是手机网站不含验证码。所以试试手机网站，可能会有意想不到的效果。

另一种反爬虫策略是屏蔽ip和账号。刚开始用机器抢新浪微博，导致账号被封，IP短时间被封遇到类似的问题，我必须更加小心。

解决方案:

1.最简单的解决方案，限制程序捕获的频率，每隔几秒就登录一次(如果对捕获次数没有要求，可以使用这种方法；如果您想捕获大量数据，您不应该捕获的日期)

2.因为账号被IP封了，所以我会用多个账号，多台机器来抢，既解决了反爬虫的问题，又分流和缓解了单机的带宽压力。

3.事实证明，即使我们采取一两种方法，还是会屏蔽一些网站。在这种情况下，只能使用ip代理要抓取我们想要的数据，到目前为止，基本解决封账号和IP的问题还是很有效的。