python
一 爬虫原理
1.什么是互联网? 指的是由一堆网络设备,把一台台的计算机互联网到一起称之为互联网。
2.互联网建立的目的?
互联网建立的目的是为了数据的传递以及数据的共享。
3.什么是数据?
例如淘宝、京东商品信息等...
东方财富、雪球网的一些证券投资信息...
链家、自如等房源信息....
12306的票务信息...
4.上网的全过程:
- 普通用户:
打开浏览器 ——> 往目标站点发送请求 ——> 获取响应数据 ——> 渲染到浏览器中
- 爬虫程序:
模拟浏览器 ——> 往目标站点发送请求 ——> 获取响应数据 ——> 提取有价值的数据 ——> 持久化到数据中
5.浏览器发送的是什么请求?
http协议的请求。
- 客户端:
浏览器是一个软件 --> 客户端的 IP 和 端口
- 服务端
https://www.jd.com/
www.jd.com(京东域名)-> DNS解析 -> 京东服务端的 IP 和 端口
客户端的ip和端口 ------> 服务端的 IP 和 端口 发送请求可以建立链接获取相应数据。
6.爬虫的全过程
- 发送请求 (需要请求库: Requests请求库、Selenium请求库)
- 获取响应数据 (只要往服务器发送请求,请求通过后会返回响应数据)
- 解析并提取数据(需要解析库: re、BeautifulSoup4、Xpath...)
- 保存到本地 (文件处理、数据库、MongoDB存储库)
二 Requests请求库
1.安装与使用
- 打开cmd
- 输入: pip3 install requests
2.爬取视频
3.抓包分析
打开浏览器的开发者模式(检查)----> 选中network
找到访问的页面后缀 xxx.html(响应文本)
1)请求url(访问的网站地址)
2)请求方式:
GET:
直接发送请求获取数据
https://www.cnblogs.com/kermitjam/articles/9692597.html
POST:
需要携带用户信息往目标地址发送请求
https://www.cnblogs.com/login
3) 响应状态码:
2xx: 成功
3xx: 重定向
4xx: 找不到资源
5xx: 服务器错误
4) 请求头信息:
User-Agent: 用户代理(证明是通过电脑设备及浏览器发送的请求)
Cookies: 登录用户真实信息(证明你目标网站的用户)
Referer: 上一次访问的url (证明你是从目标网站跳转过来的)
5)请求体:
POST请求才会有请求体。
Form Data
{
'user': 'tank',
'pwd': '123'
}
三 爬取梨视频
res_list=re.findall('<a href="video_(.*?)"',response.text,re.S) #print(res_list) for v_id in res_list: detail_url='https://www.pearvideo.com/video_'+v_id print(detail_url) response=requests.get(url=detail_url) print(response.text) video_url=re.findall('srcUrl="(.*?)"',response.text,re.S)[0] print(video_url) video_name=re.findall('<h1 class="video-tt">(.*?)</h1>',response.text,re.S)[0] print(video_name) v_response = requests.get(video_url) with open('%s.mp4' % video_name,'wb')as f: f.write(v_response.content) print(video_name,'success!')
四 爬取豆瓣电影
'''''' ''' https://movie.douban.com/top250?start=0&filter= https://movie.douban.com/top250?start=25&filter= https://movie.douban.com/top250?start=50&filter= 1.发送请求 2.解析数据 3.保存数据 ''' import requests import re # 爬虫三部曲 # 1.发送请求 def get_page(base_url): response = requests.get(base_url) return response # 2.解析文本 def parse_index(text): res = re.findall('<div class="item">.*?<em class="">(.*?)</em>.*?<a href="(.*?)">.*?<span class="title">(.*?)</span>.*?导演:(.*?)</p>.*?<span class="rating_num".*?>(.*?)</span>.*?<span>(.*?)人评价</span>.*?<span class="inq">(.*?)</span>', text, re.S) # print(res) return res # 3.保存数据 def save_data(data): with open('douban.txt', 'a', encoding='utf-8') as f: f.write(data) # main + 回车键 if __name__ == '__main__': # num = 10 # base_url = 'https://movie.douban.com/top250?start={}&filter='.format(num) num = 0 for line in range(10): base_url = f'https://movie.douban.com/top250?start={num}&filter=' num += 25 print(base_url) # 1.发送请求,调用函数 response = get_page(base_url) # 2.解析文本 movie_list = parse_index(response.text) # 3.保存数据 # 数据的格式化 for movie in movie_list: # print(movie) # 解压赋值 # 电影排名、电影url、电影名称、导演 - 主演 - 类型、电影评分、评价人数、电影简介 v_top, v_url, v_name, v_daoyan, v_point, v_num, v_desc = movie # v_top = movie[0] # v_url = movie[1] moive_content = f''' 电影排名: {v_top} 电影url: {v_url} 电影名称: {v_name} 导演主演: {v_daoyan} 电影评分: {v_point} 评价人数: {v_num} 电影简介: {v_desc} \n ''' print(moive_content) # 保存数据 save_data(moive_content)
总结:今天学习的爬虫原理让我大开眼界,了解了很多我没有见识过的领域,对于后面的学习也越发期待,跟随tank老师学习python。
原文地址:https://www.cnblogs.com/crookedif/p/11094510.html
- 清理session的小插曲(二) (r6笔记第4天)
- 3.训练模型之在GPU上训练的环境安装
- 深度学习对话系统实战篇 -- 简单 chatbot 代码实现
- pangrank算法--PageRank算法并行实现
- 刷爆朋友圈的 deepfakes 视频人物换脸是怎样炼成的?
- 干货 | ElasticSearch相关性打分机制
- FCN 的简单实现
- 2.运行一个demo
- ROWNUMBER() OVER( PARTITION BY COL1 ORDER BY COL2)/ ROWNUMBER() OVER( PARTITION BY COL1 ORDER BY CO
- 干货 | 前端常用的通信技术
- TP-LINK WR941N路由器研究
- ORA-01113问题的简单分析(r6笔记第3天)
- Tensorflow 中 learning rate decay 的奇技淫巧
- hive数据:名词解释
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- (一)Mybatis的入门 - Titan的Mybatis系列学习笔记
- Hadoop安装与环境配置入门
- Elasticsearch源码解析:环境搭建
- SpringBoot整合JWT认证机制实现接口鉴权
- [Java] Java多线程的探索 -获取新闻标题
- Java中对文件进行MD5加密
- [数据结构] 使用最小堆思想实现哈夫曼编解码
- [数据结构] 括号符的匹配
- [数据结构] 平衡二叉查找树 (AVL树)
- 写给前端的算法进阶指南,我是如何两个月零基础刷200题
- [Java] 在Java中优雅地进行文件IO操作
- [Java] 日期与时间的一些操作
- 一起来用python实现一下十大经典排序算法
- [数据结构] 稀疏矩阵的存储
- [Python] 关于 asyncio 与 aiohttp 协程并发的探索