做爬虫工作久了，会接触到很多爬虫代理的ip提供商。我也会发现不同提供商的http代理质量差别很大，有的代理重复率很高，导致爬虫账号被封，为什么有些爬虫代理ip重复率很高？

当然，来自机房的代理ip应该是同质量的，即使有差异也不会那么大。这也是为什么有些爬虫代理ip重复率高的原因。那个 s因为一些http提供商的IP池太小，导致一次性提取所有IP时使用大量重复资源，导致IP被屏蔽。像精灵IP代理这样一天就有几百万个不重复的IP，可以很好的满足爬虫用户和刷用户，支撑用户服务的发展。

当一个网络爬虫遇到反爬虫的障碍，就好比路上的路障我们可以通过其他道路绕过这段封锁，从而到达目的地使用专业代理IP可以帮助网络爬虫突破IP地址限制。