大多数人认为python爬虫必须使用到代理ip软件，否则无法爬取数据。 事实上，情况并非如此。


如果要爬取的数据不多，可以一次爬取一个网站上千篇文章，而且不用代理ip也能轻松实现。本质上，爬虫也是用来浏览网站的。 只是一个用户，但是用户被夸大了，浏览速度超乎常人，给服务器造成很大压力。 服务器只能使用多种反爬虫策略来限制或禁止爬虫，这也是为什么使用代理ip的原因。  

 

如果爬虫程序浏览速度和次数没有超过服务器反爬虫机制允许范围，则不需要使用代理ip； 如果要爬取的数据量很大，需要多台机器、多线程、高并发的爬取，就不得不使用代理ip来帮助完成任务。  

 

很多朋友说ADSL拨号服务器也可以处理ip被封的情况，不用代理ip。  ADSL拨号一般是断线重拨后得到一个新的ip，然后继续爬行。 但有一个问题。 拨号重拨一定要过一段时间后再做，这样运行的程序就会中断，所以要准备好几台ADSL服务器作为代理，然后爬虫在另一台不断联网的服务器上运行。 当然，情况也是如此。 大数据爬取用起来太麻烦。 一般大型爬虫任务都是选择精灵代理ip来解决反爬策略的局限性。