在抓取信息的过程中，如果抓取频率高于网站设定的阈值，将被禁止访问。通常网站的反爬虫机制是根据IP来识别爬虫的。常见解决方案:

 

首先，使用拨号网络并重拨。这种方法很陈旧，效率低，实际效果很差。

 

第二，使用大规模云采集集群工具。说白了就是你借用别人的科技产品。

 

第三、使用代理ip软件，通过使用大量稳定的代理ip，突破目标网站的ip限制，拥有庞大的代理IP池，支持API为爬虫用户批量提取IP。IP稳定安全，使用效果好。非常适合有开发能力的java用户进行爬虫业务。本质上ip是一种资源，免费代理IP软件资源一般不好用。还不如购买大量稳定的代理IP软件资源，省心省力。

 

Python作为一门容易上手、容易上瘾的语言，相信已经成为很多人“写着玩”的标准脚本语言。与其他语言(如Java或C++)相比，Python有很大的不同，最大的特点就是简单。很多爬虫爱好者使用Python来抓取网站信息。在抓取的过程中，经常会遇到IP阻塞，严重影响抓取网站信息的顺利进行。这时候就需要使用代理IP软件了。

 

如何获得代理IP

 

哪里可以获得海量代理IP软件资源？别忘了找百度，百度搜索，很多代理IP软件资源，很多很多免费代理IP软件，很多很多代理IP软件供应商。应该如何选择？

 

经过总结，代理IP软件可以分为四种:免费代理IP、普通代理IP池、共享IP池和独占IP池。这四个有什么区别？

 

免费的IP软件在互联网上共享，任何人都可以在没有授权的情况下使用。因为谁都可以用，大部分的免费代理IP软件都没有，烂透了。普通代理IP软件或者开放代理IP软件，其实都是免费代理IP。通过收集免费代理IP，经过初步验证筛选后，放入IP池，通过API提取使用。这种代理IP的效率也高不了多少，一般在1-40%左右，被称为“万人骑”。共享IP池是代理IP提供商通过机房拨号VPS搭建的IP池，然后卖给不同的客户。这种IP效率高，大部分付费代理IP软件都是这种。IP池的大小和用户数量决定了业务的成功率。专属IP池就是一个人使用一个IP池，一个完全专属的拨号服务器池，不断拨号，获取大量IP！

 

考虑到成本，优先级为:免费代理IP >通用代理IP >共享IP池>独占IP池。代理IP基本没有成本，只需写几段代码爬取验证即可。至于能用多少，我心里有数；普通代理IP的成本也很低。一天几块钱，一个月几十块钱，就能拥有一大堆代理IP软件。至于有多少可用，就看运气了；IP池共享成本略高，目前市场上基本都是这样。有各种限制，比如抽取间隔，每次获取的IP数量，使用的并发性等。独占IP池的成本比较高。目前市面上只有少数公司在卖，大部分都是打着专属IP池的幌子骗人的。选择的时候要擦亮眼睛。

精灵ip代理提供的ip高度匿名，完全保护个人隐私，并提供不同的套餐，性价比极高。