爬虫 爬取豆瓣高分电影信息
时间:2019-06-17
本文章向大家介绍爬虫 爬取豆瓣高分电影信息,主要包括爬虫 爬取豆瓣高分电影信息使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
主要对豆瓣高分电影,按热度排序进行电影信息的爬取
分析
按F12打开开发者工具,点击XHR标签,因为他是通过ajax加载获取更多的电影信息的。返回的信息是json格式的数据,包含了每部电影详情的链接信息,先获取这些信息
页码每次最后的 page_start参数 加20可以换到下一页
下面是详细代码
import re, requests import json class DoubanSpider: def __init__(self): self.url_temp = "https://movie.douban.com/j/search_subjects?type=movie&tag=%E8%B1%86%E7%93%A3%E9%AB%98%E5%88%86&sort=recommend&page_limit=20&page_start={}" self.headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36"} def parse_url(self, url): # 发送请求,获取响应 print(url) response = requests.get(url, self.headers) return response.content.decode() def get_content_list(self, json_str): # 提取数据 dict_ret = json.loads(json_str) print(dict_ret) content_list = dict_ret["subjects"] # 所有电影数据 return content_list def save_content_list(self, content_list): # 保存 with open("douban.txt", 'a', encoding="utf-8") as f: for content in content_list: f.write(json.dumps(content, ensure_ascii=False)) f.write("\n") # 写入换行符 print("保存成功") def run(self): # 实现主要逻辑 num = 0 while True: # 1、构造start_url url = self.url_temp.format(num) # 2、发送请求,获取响应 json_str = self.parse_url(url) # 3、提取数据 content_list = self.get_content_list(json_str) # 4、保存 self.save_content_list(content_list) # 5、判断是否有下一页 if len(content_list) < 20: break # 6、构造下一个url地址 num += 20 if __name__ == '__main__': douban = DoubanSpider() douban.run()
原文地址:https://www.cnblogs.com/zq8421/p/11037666.html
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法