很大一部分人认为python爬虫必须使用代理ip，否则将无法爬取数据。 但实际操作不一定。 如果需要爬取的信息量不是很大，可以轻松实现一次爬取一个网站上千篇文章，无需使用代理ip。  

 

爬虫最基本的本质其实就是一个浏览网站的用户，但是这个用户有点特殊，浏览速度比普通用户还快，给服务器带来了很大的压力。 服务器使用了多种反爬虫策略来限制或禁止爬虫程序，所以这也是为什么很多人认为Python爬虫一定要使用改IP软件的原因。  

 

如果爬虫程序的浏览速度和次数没有超出服务器反爬虫机制的范围，可以不使用改IP软件进行IP切换； 如果要爬取的数据量很大，需要多台机器、多线程、高并发爬取，那么就需要换ip软件切换ip来帮助完成工作。  

 

所以一般任务量比较大的爬虫任务都是选择改ip软件来解决反爬策略的限制，保证工作可以继续进行。