我们在抓取一些网站的时候，为了避免爬虫被屏蔽，经常会更换IP。如何获取ip地址？

 

那么几个代理IP换IP有什么区别呢？应该如何选择？

代理IP类型

 

IP可以分为四种类型。前面提到的透明代理IP，匿名代理IP，高度匿名代理IP，还有一个就是混淆代理IP。在最基本的安全级别上，它们的顺序应该是:隐藏>混淆>匿名>透明。

 

代理IP原则

 

代理的类型主要取决于代理服务器的配置。不同的配置会形成不同类型的代理。在配置中，REMOTE_ADDR、HTTP_VIA、HTTP_X_FORWARDED_FOR这三个变量是决定性因素。

 

代理IP选择

 

普通匿名代理IP可以隐藏客户端的真实IP，但是也会改变我们的请求信息，服务器可能会认为我们使用了代理。但是在使用这个代理的时候，被访问的网站虽然不能知道客户端的IP地址，但是还是可以知道你在使用代理的。当然，一些可以检测IP的网页还是可以找到客户端的IP的。

 

然而，高度匿名的代理不会改变客户机的请求，所以看起来像是一个真实的客户机浏览器在访问它。这个时候客户端的真实IP是隐藏的，服务器不会认为我们使用了代理。

 

因此，当爬虫需要使用爬虫代理ip时，尽量选择普通匿名代理和高匿名代理。此外，如果你想确保数据不被代理服务器所知，建议使用HTTPS协议代理。