很多接触过爬虫学习的朋友都会对代理ip印象深刻，虽然代理ip不是爬虫程序的亮点，但是如果缺少了它，爬虫就很容易受到限制。

爬爬虫数据大家都很熟悉，但是对于被爬的网站并不好，于是产生了反爬虫。很多刚接触爬虫的朋友，在爬大型网站的时候经常被IP卡住，因为同一个IP访问太频繁，被其他网站限制。

当爬虫IP被阻止时，应该首先选择代理IP来改变IP。在使用代理IP的时候，也要注意适当降低爬虫的抓取频率。可以设置抓取时间更长，访问时使用随机数，需要抓取多个页面时设置随机访问和抓取。

目前市面上很多网站都可以提供免费的IP代理服务器，但是免费的代理IP服务器往往不稳定，无法保证其可用性。

作为一个合格的爬虫工程师，每个人都需要找到一个可以长期稳定使用的代理ip，因为爬虫需要大量的ip资源，没有代理ip很难完成任务。