现在很多项目都是从前端分离出来的，这样会让数据加载不同步的问题更加突出。出现这样的问题，没必要恐慌。一般来说遇到爬虫数据异步加载怎么办？有两种解决方案。
 

 

精灵ip代理

首先，内置浏览器内核

 

内置浏览器就是在抓取的程序中启动一个浏览器内核，这样我们就可以得到js渲染的页面，这样我们就跟收集静态页面一样。

 

常用的工具有三种:Selenium、HtmlUnit和PhantomJs。

 

这些工具都可以帮助我们解决数据异步加载的问题，但是它们都有缺点，就是效率低，不稳定。

 

二、逆向分析法

 

什么是逆向分析法？我们js渲染页面的数据是通过Ajax从后端获取的。我们只需要找到对应的Ajax请求连接，就可以获取我们需要的数据。逆向分析法的优势在于:第一，得到的数据都是json格式的，方便分析；第二，界面的变化概率比页面小。

 

同样，它也有两个缺点。你需要对Ajax有耐心和熟练，因为你需要在大量的请求中找到你想要的；但是面对JavaScript渲染的页面，逆向分析方法只能束手无策。

 

精灵ip代理

这是异步数据加载的两种解决方案。你要根据具体情况来选择。对于一些用JavaScript片段渲染的页面，内置浏览器更可靠。对于其他情况，逆向分析的方法更好，因为它的性能和稳定性比内置的浏览器内核更可靠。