大数据时代，数据采集促进数据分析，数据分析促进发展。但是这个过程中会出现很多问题。以最简单最基础的爬虫收集数据为例。在这个过程中，会出现很多问题，比如屏蔽IP、限制抓取、非法操作等。所以在爬取数据之前，一定要了解爬取前的网站孙HTTP是否涉及违规操作，找到合适的代理IP访问网站等。
 

此外，为了更方便高效地工作，程序员在设计爬虫之初会考虑使用爬虫来模拟用户的行为，以降低IP被屏蔽的概率。模拟用户行为的第一个目的是异步抓取数据和加载页面，第二个目的是通过爬虫行为高度模仿用户行为，最终目的是隐藏你的真实ip。

 

那么，我们该怎么办呢？

1.用户代理:这也是一个重要的数据特征。如果想在爬虫中灵活设置，最好和当前主流浏览器环境下的user-agent一模一样。随着浏览器版本的改变，你的用户代理也会改变。pyspider的用户代理是crawler项目中的一个爬行全局设置。

2.如果你高度模仿浏览器请求，有一个简单的办法:看curl所有chrome网络请求的复制信息。

3.cookie:这个东西可能很多爬虫开发者都忽略了。其实很重要。cookie行为的模拟不仅涉及到用户行为的模拟，还会直接导致一些访问请求遇到权限或其他错误。Pyspider的cookie可以直接在爬行请求中设置。

4.IP隐藏。现在互联网上有很多高度机密的http代理。所谓高秘密代理是指代理对被访问的服务器完全隐藏其客户端。详见本文(http://www . aikaiyuan . com/9477 . html)。注意:当在互联网上使用高机密代理时，您必须首先在您自己的服务器上尝试，以防止假高机密的发生。如果在Pyspider的Phantomjs中使用代理服务器，需要单独启动phantomjs服务并启动命令:

 

爬虫模拟用户行为、设计方法和IP软件推荐要使用上述命令，必须是pyspider0.37及更高版本。对于Selenium webdriver，如何使用代理，请阅读Selenium文档。

5.登录会话问题:会话问题主要是客户端的cookie问题。如果能做cookie全局模拟，session肯定不是问题。精灵ip代理可以提供海量ip，一键切换电脑/手机ip，帮你有效隐藏真实IP