在完全爬虫的实际工作中，通常会有几种爬虫的组合。根据网络爬虫的技术和结构，可以分为通用网络爬虫、聚焦网络爬虫、增量网络爬虫和深度网络爬虫。

 

万能网络爬虫:可以称之为全网爬虫。这种爬虫爬取的目标资源遍布互联网。而且他们抓取范围内的目标数据是巨大的。正因为他们爬取的数据是海量数据，所以这类爬虫的爬取性能要求非常高。这种网络爬虫主要用于大型搜索引擎，具有很高的应用价值。一般的爬虫在爬行时，都要采取一定的爬行策略。除了控制频率，爬虫ip代理的合理使用也尤为重要。毕竟这样频繁的操作会给网站造成压力。更改ip可以在访问网站时隐藏身份，大大降低账号被封的风险。

 

聚焦网络爬虫:也称为主题网络爬虫，聚焦网络爬虫是一种根据预先定义的主题有选择地抓取网页的爬虫。聚焦网络爬虫不像一般网络爬虫那样在整个互联网中定位目标资源，而是在与主题相关的页面中定位抓取的目标网页。此时可以大大节省爬虫在爬行时所需的带宽资源和服务器资源。聚焦网络爬虫主要用于抓取特定信息，主要为特定人群提供服务。

 

增量式网络爬虫:指更新时只更新有变化的地方，不更新没有变化的地方。因此，增量式网络爬虫在抓取网页时只抓取内容发生变化的网页或新生成的网页，而不抓取内容不变的网页。增量式网络爬虫可以在一定程度上保证抓取的页面尽可能的新。

 

深层网络爬虫:互联网中的网页是根据其存在性来分类的，可以分为表层网页和深层网页。所谓表面页面，是指不用提交表单，使用静态链接就可以到达的静态页面；而深页隐藏在表单后面，无法通过静态链接直接获取。是提交某些关键词后才能获得的页面。在互联网中，深层页面的数量往往远大于表层页面的数量。所以我们需要想办法爬取深度页面，爬取深度页面，自动填写相应的表格。所以deep web爬虫最重要的部分就是表单填充部分。

 

精灵ip代理是各种需要换ip的爬虫的最佳左右手。拥有国内近30城市的ip资源，时延高低。还可以免费测试效果，帮助用户快速流畅地完成爬虫任务。