很多人认为网络爬虫必须添加代理IP，没有代理IP就没有出路。有人认为代理IP没有必要。为什么呢？不能直接用收集工具吗？网络爬虫必须使用代理ip吗？

 

实际上，一切都是合理的。都用亲身经历和感受证明了自己的观点。我认为爬虫订单本质上只是一个浏览网页的用户，只是一个不那么守规矩的独特用户，服务器通常不欢迎这样独特的用户通过各种手段去发现和禁止他们。最常见的就是判断你的访问频率，因为普通人访问网页的频率不是很快，如果你发现一个ip访问太快，会被禁止访问。如果短时间内用10个代理IP浏览10次，就不会轻易被认为太快进而被屏蔽，在业务量巨大的时候，如果不用换IP软件会被目标服务器认为浏览太快，导致IP被屏蔽。

 

当业务量不是很大的时候，也可以爬得慢，工作频率不是很快，目标服务器可以承受，不影响正常运行，这样就不会封IP，不用代理IP也能完成日常业务。

 

代理IP软件其实就是帮助爬虫用来收集其他网站的一些文章，然后选择适用的，做好处理。，网页爬虫一天抓取几十万个网页，有时候任务多的时候，一天要花一百万以上，爬行IP被屏蔽，没有代理IP根本不可能完成。没有代理ip，爬虫无法到达任何地方，所以爬虫必须使用代理IP。