实际例子

  1. 搜索引擎(百度、谷歌、360搜索等)
  2. 伯乐在线
  3. 惠惠购物助手
  4. 数据分析与研究(数据冰山知乎专栏)
  5. 抢票软件等

什么是网络爬虫

  1. 通俗理解:爬虫是一个模拟人类请求网站行为的程序。可以自动请求网页、并抓取数据下来,然后使用一定的规则提取具有价值的数据。
  2. 专业介绍:百度百科

通用爬虫和聚焦爬虫

  1. 通用爬虫:通用爬虫是搜索引擎抓取系统(百度、谷歌、搜狗等)的重要组成部分。主要是将互联网上的网页下载到本地,形成一个互联网内容的镜像备份
  2. 聚焦爬虫:是面向特定需求的一种网络爬虫程序,他与通用爬虫的区别在于:聚焦爬虫在实施网页抓取的时候会对网页的内容进行筛选和处理,尽量保证之抓取与需求相关的网页信息

为什么用Python写爬虫程序

  1. 快速开发:语言简洁,没那么多技巧,所以读起来很清楚容易
  2. 跨平台:对Linux和windows都有不错的支持
  3. 解释性:无须编译,直接运行/调试代码
  4. 模块:相关的HTTP请求模块和HTML解析模块非常丰富
  5. 框架:Scrapy和Scrapy-redis框架让我们开发爬虫变得异常简单
最后修改:2018 年 11 月 23 日 05 : 48 PM