获取大数据是爬虫主要工作之一，但是在获取信息的时候会被一些反爬机制给阻挡了，特别是如今的互联网网站反爬技术越来越难以攻破，那么我们一般会采取代理IP软件辅助之外，还要怎么应对不同的反爬技术呢?

     1、IP反爬

     服务器会检测某个IP在单位时间内的请求次数，如果超过了这个阈值，就会直接拒绝服务，返回一些错误信息，这种情况可以称为封IP。封IP也分为永久被封和短时被封。

     永久被封：进入黑名单中的IP永久不能访问

     固定时段被封：IP一段时间失效

     解决方案:

     采用适当的切换IP突破IP访问限制，常规方法就是购买ip代理或者自己构建代理IP池，搭建ip代理池非常讲究专业及成本，普通用户只需要直接购买高匿ip代理，省时便利的服务就好了。

     2、通过网页请求头反爬

     这是网站最基本的反爬措施，也是最容易实现的反爬，但是破解起来也容易，只需要合理添加请求头即可正常访问目标网站获取数据。

     3、验证码反爬

     验证码反爬也是目前很多网站常用的一种反爬机制，随着技术的发展，验证码的花样也越来越多也逐渐复杂。

     由此可见，选择一款适合的ip代理软件是爬虫人员的必要武器，精灵ip代理提供所有ip均是高匿，延时低，覆盖了国内300+城市的ip资源，主打性价比，还有新注册就能够免费测试直观效果省心的服务!