如果你注意到你获取的信息内容与目标网站屏幕上显示的正常信息不同，换句话说，你抓取的信息是空白的，那么你抓取的网站在构建网页时，很有可能是程序出了问题。如果爬行频率高于目标在线平台的限制阈值，将被禁止访问。一般来说，ip是网站反黑客机制的基础，当我们浏览网站时，我们的IP地址会被记录下来，服务器会把你当成爬虫程序，所以频繁的抓取会使现有的IP地址不可用，所以我们必须想办法改变自己设备的IP地址或者现有的爬虫程序。

 

 

因此，网络爬虫开发者一般需要使用两种技术手段来处理这类问题。

 

方法一:放慢抓取速度，这样目标网站的压力会相对减少，但如果这样做，单位时间的抓取量会相对减少。

 

方法二:用精灵ip代理，攻克反爬虫系统进行高频抓取，需要多个稳定的代理IP。基于ADSL拨号的普通解决方案。通常在抓取过程中禁止访问时，可以再次拨打ADSL获取新的IP，这样就可以继续抓取。但是在多个网站的多线程抓取中，如果禁止某个网站的抓取，也会对其他网站的抓取造成危害，一般来说也会减缓获取速度。

 

另一种可能的解决方案也是基于ADSL拨号。不同的是需要两个能够ADSL拨号的智能代理，这两个服务器在抓取过程中作为代理使用。假设有两台服务器A和B可以拨打ADSL。爬虫运行在C服务器上，使用A作为代理访问外部网络。如果在爬行过程中禁止访问，则立即将代理切换到B，然后重拨A，如果再次禁止访问，则切换到A作为代理，B再次重拨，以此类推。推荐阅读:获取代理ip的方法有哪些？

 

在实际的爬行过程中，还有很多问题需要根据实际情况进行分析和解决。在很大程度上，爬虫爬行是一项非常麻烦和困难的工作，因此现在已经开发了许多软件来解决爬虫程序的各种问题。