大多数人认为python爬虫必须使用代理ip，否则无法抓取数据。但实际操作不一定。如果要抓取的信息量不是很大，不使用代理ip就可以轻松实现一次抓取网站上的数千篇文章。

 

其实爬虫最基本的本质只是浏览网站的用户，只是用户有点特殊，浏览速度比一般用户快，给服务器带来很大的压力。服务器使用各种反爬虫策略来限制或禁止爬虫程序，所以这就是为什么大多数人认为Python爬虫必须使用改变ip的软件。

 

如果爬虫程序的浏览速度和次数不超过服务器防爬机制的范围，则无需使用换ip软件即可切换IP；如果要抓取的数据量太大，必须由多个线程、高并发的多台机器进行抓取，那么就需要更换ip软件切换ip来帮助完成工作。

 

因此，任务量较大的爬虫任务通常会选择更换ip软件来解决反爬策略的限制，以保证工作能够进行。