使用Python爬取动态网页-豆瓣电影(JSON)
时间:2022-07-23
本文章向大家介绍使用Python爬取动态网页-豆瓣电影(JSON),主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
开发环境
操作系统:windows 10
Python版本 :3.6
爬取网页模块:requests
分析网页模块:json
模块安装
pip3 install requests
网页分析
我们使用豆瓣电影的页面来开始分析
https://movie.douban.com/explore#!type=movie&tag=%E7%83%AD%E9%97%A8&sort=recommend&page_limit=20&page_start=0
由于是动态加载的我们这里无法直接通过get方法获取网页内容
当我们点击加载更多时可以通过开发者工具 Network选项中的XHR 来获取动态加载的js
打开获取到的连接
https://movie.douban.com/j/search_subjects?type=movie&tag=%E7%83%AD%E9%97%A8&sort=recommend&page_limit=20&page_start=20
我们可以发现连接的规律,即page_limit和page_start
可以看到打开的内容为json格式
这里我们构造一个连接,让它从第一个电影开始,并显示100个
https://movie.douban.com/j/search_subjects?type=movie&tag=%E7%83%AD%E9%97%A8&sort=recommend&page_limit=100&page_start=0
对于JSON的解析我们可以先用一个在线的网站来查看
https://jsonformatter.curiousconcept.com/
这里可以看到包含了如下信息
- 评分
- 电影名称
- 电影的豆瓣链接
- 封面地址
代码介绍
这里逐行介绍代码
1. import相关的模块
import requests
import json
2. 使用request模块打开并获取网页内容
r = requests.get(url,verify=False)
content=r.content
3. 使用json.load将json格式转换为python的字典格式
这时就可以使用字典的相关方法来处理网页了
result=json.loads(content)
tvs=result['subjects']
4. 获取相关信息并存入字典中
执行结果
我们可以选择将获取到的数据放入数据库中
源码位置
源码请访问我的github主页:
https://github.com/bsbforever/spider/blob/master/dynamic_json.py
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- vue接入腾讯地图(二)【标注&定位实战】
- 图像处理笔记(4)----OpenCV对象追踪
- MySQL 数据恢复
- 【从0到1学习边缘容器系列2】之 边缘应用管理
- 【从0到1学习边缘容器系列-3】应用容灾之边缘自治
- Hacking with iOS: SwiftUI Edition - 里程碑:项目 13 - 15
- HDU 1896 优先队列用法
- 蓝桥杯省内模拟赛C++
- C++ STL (标准模板库) 详细内容讲解
- 蓝桥杯 试题 基础练习 分解质因数
- 蓝桥杯 试题 基础练习 FJ的字符串
- 蓝桥杯 试题 基础练习 龟兔赛跑预测
- 问题 1432: [蓝桥杯][2013年第四届真题]剪格子
- 问题 1426: [蓝桥杯][历届试题]九宫重排
- mock测试及jacoco覆盖率