网络爬虫是从互联网获取大数据的主流方式，但在获取信息时，IP地址总是受到目标站点的限制。很多情况下，IP地址是网站反爬取机制的基础。当我们访问网站时，我们的ip地址会被记录下来。如果抓取频率高于目标网站的限制阈值，服务器会把你当作爬虫，限制你的访问，频繁的抓取会使现有的IP地址无法使用。
 

1.减慢捕获速度。尽量模拟实际用户的行为，目标站点的压力相对减少，但数据抓取效率相应降低。

 

2.设置代理IP。爬虫需要多个稳定的代理IP。每次他们使用代理IP更改IP地址，目标站点都被认为是新用户，因此不存在黑客攻击的风险。

 

为什么我的IP被服务器被封了？

 

1.这是目前服务器IP关闭最常见的原因。DDoS攻击会突然向您的服务器输入/输出大量无效或缓慢的访问请求，

 

导致服务器流量需求激增，带宽超限，服务器堵塞，所有IP下的网站都无法访问。DDoS攻击不仅会使目标服务器瘫痪，还会影响室内网络的正常运行。机房的防火墙检测到这种情况，直接关闭服务器IP。

 

2.服务器流量超载。

 

如果有太多的数据流入/流出服务器，远远超过订阅的服务器带宽资源，服务提供商有权关闭服务器IP。

 

增加带宽，处理好相关问题再开。这种情况在独立服务器的使用中比较少见，在VPS和云服务器中比较常见。

 

3.违反机房管理规定的行为。

 

客户在租用服务器时，应遵守与服务提供商的协议，避免放置内容(如色情、暴力、赌博、垃圾邮件等）违反机房规定和地区法规的。

 

正规运营商一般会不定期检查用户的网站，发现这类非法网站，直接关闭IP，责令整改。

 

4.非法入侵控制服务器。

 

服务器必须是安全的。一旦被黑，你的服务器可能会被用作肉鸡，扫描或攻击其他服务器。一旦被机房防御系统发现并识别，服务器的IP将被自动拦截关闭。

 

ip被封的原因是网站抓取太快，网站无法正常使用。网络爬虫的要求比较大，肯定会给目标站点带来一定的压力。

 

因此，目标站点要制定相应的防御策略，俗称反爬虫策略。策略越严格，网络爬虫的工作越辛苦，对代理IP的质量要求也越高，所以网络爬虫对代理IP池的质量要求也就越高。

 

同一个代理抓取的工作时间过长，代理IP的工作时间不宜过长。但是网络爬取的工作量一般都比较大，需要不断切换代理IP才能保证网络爬取工作的持续进行，所以需要的IP量也很大，以上是使用代理ip依然被封的原因。