大多数做过爬虫的人都知道，经常使用爬虫抓取同一网站时，往往会被网站的IP反爬虫机制屏蔽。为了解决IP被封的问题，通常使用代理IP来解决这个问题。

 

有些人对HTTP代理IP的使用有很大的误解。他们以为用代理IP就能解决所有反爬虫的问题，其实并不是这样。代理IP不是万能的，它只是一个工具。如果使用不当，同样会面临被禁止访问IP的问题。

 

我们首先要知道的是，代理IP可以分为三种:透明代理、普通匿名代理和高级匿名代理。

 

高匿名、匿名和透明代理的主要区别在于对方服务器获取三个参数:REMOTE_ADDR、HTTP_X_FORWARDED_FOR和HTTP_VIA。

 

众所周知，remote-addr是无法伪造的。

 

使用透明代理透明时，对方服务器知道你使用了代理和你的真实IP。

 

当使用匿名代理匿名时，其他服务器知道您使用代理，但不知道您的真实IP。

 

当使用高匿名代理高，其他服务器不知道你使用了代理或你的真实IP。

 

使用透明代理和普通匿名代理会被目标网站知道代理IP已经被使用，自然会受到限制，而高级匿名代理则不会。所以在选择代理IP的时候，选择高隐藏的代理IP会方便很多。

 

当一个代理IP被用来抓取目标网站的时候，有太多的因素阻碍了这个IP，比如cookie，比如用户代理等等。当目标网站访问速度过快时，IP也会被屏蔽，因为正常的人类访问远没有那个速度，肯定会被目标网站的反爬虫策略识别。

 

所以要尽量模拟真实用户的正常访问，才能在很大程度上避免IP被封。精灵ip代理提供大量优质、高度匿名的IP资源，可以多线程同时工作，并发不限，工作效率高，朋友使用高度匿名代理IP才是爬虫打开互联网的正确方式！