最全爬虫攻略:微博、APP、公众号一个不能少!
静态网页爬虫
这可以算是最古老的一类爬虫了,第一代搜索引擎走的就是这条技术路线。互联网的开放性决定了,所有我们能够浏览到的HTML网页的内容,都可以被爬虫抓取到。
静态网页是由简单的 HTML 文本 + JS + CSS 构成的,开发者通常最关心HTML文本,而CSS 和 JS 仍然具有很高的使用频率。通过CSS,我们可以快速定位并提取出所需要的数据,这在后续的数据清洗的时候非常有用,如果没有CSS的id 和 class,唯一可以利用的也许就只有html 的 tag 以及 正则表达式,提取数据的难度会增大很多。至于说通过JS,这是下一个故事了。
以小象官网为例,用一个非常简单的python爬虫就可以获取到。
内容精彩的网页,源代码看起来通常是这个样子,而我们需要的,通常是正文部分的的核心内容,一般通过标签、CSS还有正则,就可以提取出来。实际上,我们可能会遇到各种复杂情况,有些时候我们希望以自动化的方式从中抽取内容,而不用人为地针对每个网页,使用css 等方法来抽取,在公开课里,我们会介绍如何用一些算法,自动识别正文并抽取。
动态网页爬虫
<spanclass="p-price">
<spanclass="p-price"><span>¥</span><span></span></span>
</span>
会发现,在原始的 HTML 里就没有显示价格,那么价格数据在哪儿存放呢?我们需要了解的是,在动态页面中,HTML只是一个模板,而页面中的动态信息、数据,都是由程序异步的方式填上去的,这个程序就是java。
移动应用程序爬虫
在移动互联网时代,HTML 网页所提供的内容已经极大减少了,现在几乎没有哪个主流的应用不支持移动端,倒是有很多应用只有移动端而没有网站,因此当我们需要获取此类应用的数据时,传统的HTML爬虫就不管用了。
这一类应用里,爬虫应用最多的是微信公众号,在公开课里,我会讲到如何抓取微信公众号的数据。
说到微信公众号,我们必须了解的是:移动APP大致可分为两大类应用:H5 应用及原生APP,这两者有什么区别呢?H5的应用本质上是在本地用H5页面进行呈现,也就是说,我们所看到的应用页面本质上是一个网页,比如微信公众号就是这样的,我们所看到的每一篇公众号文章其实就是一个网页,APP 使用内嵌的 WebView 来加载和渲染 HTML 网页,这其实跟浏览器的功能完全一样;另一类就是原生APP了,比如微博的瀑布流,这里用的是native 控件来展示。使用native 控件时,布局都是在程序里预设好的。
上面的截图来自QQ音乐,我们看到的所有蓝色部分都是动态数据,包括中间的音乐专辑封面。这些数据可以是本地的,也可以来自网络请求,如果从网络请求,通常是 HTTP 协议,我们通过抓包工具可以拿到这些数据。
在native app 里,经常也会使用 H5 来渲染,但这跟微信公众号是有区别的。我们知道,HTML相对于普通APP有一个很大的优势,就是复杂元素的布局上,我们可以基于HTML的规则,让浏览器(WebView)动态给元素布局,而在原生APP中,没一个元素的位置摆放,需要程序去设定。所以,对于图文混合的文章来说,使用原生APP 动态解析、布局非常困难,这时交给HTML 网页就简单了。例如上面这篇网易新闻的文章,有标题、图片、文字,每一篇文章的标题文字排版都不同,通过 HTML 技术,简单地使用下面的形式就可以解决,但使用native 的方法则会复杂很多。
<p>
<img>
<p>
<div>
这里是一个模板,从原始的 widget 变成了HTML,其中数据部分是单独通过接口获取的,这与微信公众号那一类完全获取整个HTML 仍然有本质的区别,简单说,就是如果抓包的话,我们会看到的微信公众号的数据是网站的HTML 网页,而在网易新闻客户端,通常会看到一个 JSON 格式的响应。
为什么会有这样的区别呢?因为微信公众号是每个公众号平台自己定义的,而网易新闻的文章格式是固定的,所以HTML可以把模板和内容拆开,把模板存储在应用里,而内容则从网络获取,从而大大节省每次网络请求的开销。
APP 里的内容抓取,无论是从内嵌HTML还是纯粹的数据接口,都会比较困难。除了要学会抓包、反编译,通常还要能看懂二进制或者混淆过的Java代码,能从一些蛛丝马迹去寻找我们需要的关键数据。这是为什么呢?因为HTML的解析工作是在浏览器上,浏览器是所有网站共享的,大家必须遵从HTTP 协议以及HTML 的规范,因为这是标准的,也就是开放的,所以各个网站能自定义的东西不多;而APP就不一样了,数据如何传输,如何加密,格式怎么定,都是我自己说了算,不需要也根本就不想让别人能看懂。
除了微信公众号,还会从淘宝、京东、微博这些网站抓取数据,每个网站都有自己的特点,我们应使用不同的方法,例如,针对淘宝和京东,我们可采用动态网页的方式进行抓取;而对于微博,我们则直接分析它的网络请求,找出微博的数据接口,直接通过接口来获取,这个效率比起一般的网络请求 + 解析要快得多。
只要掌握每个网站、APP的特点,我们就可以轻轻松松的拿到百万级数据,后续在配合清洗等,就可以拥有自己的数据库啦。
- 简单易学的机器学习算法——线性支持向量机
- Java设计模式-模板方式模式
- 由一条create语句的问题对比mysql和oracle中的date差别 (r7笔记第26天)
- Java设计模式-命令模式
- 关于执行计划中的%CPU的含义 (r7笔记第25天)
- Java设计模式-享元模式
- 简单易学的机器学习算法——线性可分支持向量机
- 基于gensim的Doc2Vec简析,以及用python 实现简要代码
- 关于db link权限分配的苦旅(一) (r7笔记第42天)
- Java设计模式-责任链模式
- Java设计模式-策略模式
- CPU 100%负载的性能优化分析(r7笔记第40天)
- Sklearn-train_test_split随机划分训练集和测试集
- 使用shell来定制dbms_sqltune(r7笔记第39天)
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- 干掉公式 —— numpy 就该这么学
- 全面解析YOLO V4网络结构
- 刺激!一行代码即可导出所有浏览记录
- 你不知道的 node 爬虫原来这么简单
- 带货直播系统源码中,商品详情页是如何搭建起来的
- 基于飞桨复现CVPR 2020 GhostNet的全程解析
- 【即时通信IM】红包消息如何构建?
- YOLOv4损失函数全面解析
- Pandas进阶修炼120题,给你深度和广度的船新体验
- 5万字、97 张图总结操作系统核心知识点
- C++核心准则CP.100:不要使用无锁编程方式,除非绝对必要
- 神了,Excel的这个操作我今天才知道
- DataFrame(7):DataFrame运算——逻辑运算
- 高性能网关设计实践
- LASSO回归姊妹篇:R语言实现岭回归分析