学习爬虫的门槛很低，尤其是通过Python，即使在网上你也可以找到很多了解爬虫的途径，爬虫在数据收集方面也有相对较好的效果。例如，您可以收集数千个网页进行分析。带来极其有价值的数据，不仅可以了解同行的情况，还可以影响公司的决策。
 

 

第一，爬虫可以收集哪些数据？

1.图片、文字、视频会抓取产品(店)评论和各种图片网站，获取图片资源和评论文字资料。掌握正确的方法其实很容易，从而能够在短时间内抓取主流网站的数据。

2.作为机器学习和数据挖掘的原始数据，比如你想建立一个推荐系统，可以爬取更多维度的数据，建立更好的模型。

3.进行市场调查和商业分析

搜索优质答案，筛选优质内容；搜索房产网站信息，分析房价走势，分析不同区域房价；抓取招聘网站上的职位信息，分析各行业的人才需求和薪资水平。

第二，爬虫可以借用哪个代理来提高效率？

1.爬虫通常通过改变IP来突破极限。通常他们会在采集一次或多次后更改IP，因为局域网会对端口、目标网站、协议、游戏、即时通讯软件等进行限制。以及网站的访问频率和访问权限。如果IP想要突破这些限制，就需要使用代理IP，更换IP，增加访问次数。

 

2.通过HTTP代理ip，还可以隐藏用户的真实身份，访问一些不想让对方知道你IP的服务器，抓取一些数据等等。

使用爬虫时，如果采集速度过快，通常会显示验证码，验证当前访问者是人还是爬虫，想要获取验证码，需要对验证码图片中的字符进行分析。