爬虫中从事大数据的工作者很少，所以在使用爬虫时，必须使用代理ip来解决反爬虫机制。当我们获取到目标网站的网页数据信息时，必然会遭受到其他服务器的反爬虫机制，那么当我们使用代理ip爬虫收集时会发生什么呢？

 

1)访问过于频繁时，突然ip无法再访问；在这种情况下，目标网站有防爬机制，触摸屏的访问频率在达到设定的阈值ip时会被禁止，所以我们在使用代理ip时需要尽可能的慢下来，不要等到被对方屏蔽。

 

2)代理ip使用时禁用，无法访问；在这种情况下，用户通常会获得这个ip和同一个ip，这会触发目标服务器的阈值被禁止。大部分用户的爬虫会选择共享ip池，数量多，价格合理，所以这种情况下直接切换ip就可以了。

 

有些用户会认为只要使用代理ip，就可以随意抓取，不会被禁用或屏蔽，这是不对的。代理ip与本地ip相同，需要谨慎使用。