作为一个数据采集者，我们都知道，如果一个网站被频繁访问，就会被屏蔽IP。怎么才能解决这个问题？不可能一直频繁更换设备，不仅数据无法同步，而且这些设备的成本也是不可预知的，这时候就需要代理IP了，python爬虫如何使用代理IP呢？
 

 

1.高质量api代理:通过API连接获取代理信息，返回ip和端口。

2.动态转发隧道代理:连接固定代理服务器，动态转发请求，无需切换IP。连接到代理服务器后，每个请求都是一个随机的IP，按照每秒请求的次数来收费。

 

将IP代理连接直接复制到后台的程序中。程序配置完成后，直接启动程序获取代理ip，然后将代理ip拼写到请求参数中收集数据。