网络爬虫很难避免反爬虫工作，以下是对付反爬虫的方法。在动态页面的限制下，爬虫工作者可能会遇到这样的尴尬。当你抓取目标页面时，你会发现关键信息是空白的，只有密密麻麻的代码。

 

这是因为网站信息是用户帖子的XHR动态返回的内容信息。解决这个问题的方法是通过开发者工具(如FireBug等)对网站流量进行分析。)，抓取内容信息，获取所需内容。这个IP的访问频率是有限的。

 

有些平台为了防止多次访问网站，在一定单位时间内超过一定次数，就会禁止同一个IP继续访问。为了解决这个限制IP访问效率的问题，可以采用代理IP。用户行为检测，有些网站会对用户的行为进行检测分析，比如cookies，检查用户是否是可用的、可存储的有效客户。

 

这种技术常用于需要登录的网站，更深层次的，信息验证，一些网站的登录是否需要验证，就像登录的时候，系统会自动分配一个验证码，这些都是常用的反爬虫方法。