大多数人认为python爬虫必须使用代理ip，否则可以爬网数据。事实上，并非如此。如果没有太多数据需要抓取，使用代理ip可以轻松一次性抓取网站上千篇文章。

爬虫本质上只是一个浏览网站的用户，但是用户夸大了，浏览速度比普通人快，给服务器带来了很大的压力。服务器只能使用各种反爬虫策略来限制或禁止爬虫程序，这就是使用代理ip的原因。

如果爬虫程序的浏览速度和次数没有超过服务器反爬行机制允许的范围，则不需要代理IP。如果要爬取的数据量太大，必须由多线程高并发的多台机器爬取，将使用代理ip来帮助完成任务。

很多朋友说用ADSL拨号服务器也可以处理ip被屏蔽，没有代理ip的情况。ADSL拨号一般是断开重拨后获得一个新的ip，然后继续爬行。但是，有一个问题。拨号和重拨必须间隔进行，所以正在运行的程序会被中断。所以必须准备几台ADSL服务器作为代理，然后爬虫会在另一台服务器上连续运行。当然，抢大数据太麻烦了。大型爬行动物的一般任务是选择精灵ip代理来解决反攀爬策略的局限性。