爬虫作为启动冷数据、丰富数据的重要工具，在业务发展中发挥着重要作用。各种爬虫的抓取过程可以说是与各种站长的斗智斗勇，各种解决方案可谓层出不穷。

 

第一，代理商的使用

 

检查ip的访问状态是网站反爬取机制最常用的方式。此时，您可以更改不同的ip地址来抓取内容。当然，如果有公有ip地址的主机或vps是更好的选择，如果没有，可以考虑使用代理IP，让代理服务器帮你获取网页内容，然后转发回你的电脑。

 

代理可以买IP，当然你也可以自己爬，但是爬出来的IP很不稳定，选择一个提供高质量代理IP。

 

第二，Cookies处理

 

Cookies是一些网站存储在用户本地终端上的数据(通常是加密的)，目的是识别用户和跟踪会话。python提供了cookieslib模块来处理cookie。cookieslib模块的主要作用是提供可以存储cookie的对象，这样就可以和urllib2模块一起使用，访问互联网资源。

 

第三，设置访问时间间隔

 

很多网站的反爬虫机制都设置了访问间隔。如果一个IP短时间内超过规定次数，就会进入“冷却CD”。所以除了轮换IP和user_agent之外，还可以把访问间隔设置的更长一些，比如随机休眠一段时间不抓取页面。本来爬虫就有可能造成访问对方网站的负载压力，所以这种防范不仅可以在一定程度上防止被屏蔽，还可以减轻对方的访问压力。

所以要想有效突破那些反爬虫机制，继续高频抓取，还是需要一个优质的代理IP。精灵ip代理延时低，速度快，是爬虫工作的最佳选择。