爬虫入门到精通-headers的详细讲解(模拟登录知乎)
本文章属于爬虫入门到精通系统教程第七讲
直接开始案例吧。
本次我们实现如何模拟登陆知乎。
1.抓包
1. 首先打开知乎登录页 知乎 - 与世界分享你的知识、经验和见解(https://www.zhihu.com/#signin)
注意打开开发者工具后点击“preserve log”,密码记得故意输入错误,然后点击登录
2. 我们很简单的就找到了 我们需要的请求
_xsrf:81aa4a69cd410c3454ce515187f2d4c9
password:***
email:admin@wuaics.cn
可以看到请求一共有三个参数
email 和password就是我们需要登录的账号及密码
那么_xsrf是什么?我们在哪能找到?
像“_xsrf”这种参数,一般叫做页面校检码,是来检查你是否是从正常的登录页面过来的。
那我们复制这个值,在登录页面找找看。
可以看到已经找到了。用xpath很简单就能获取
//input[@name="_xsrf"]/@value
所以,本次登录我们需要得到的数据已经都得到了
步骤如下:
- 打开知乎登录页面,获取_xsrf
- 把_xsrf和自己的账号及密码一起发送(模拟登录)
2.模拟登录
import requests
url = 'https://www.zhihu.com/#signin'
z = requests.get(url)
print z.status_code
我们会看到 http状态码为500...
至于为什么会返回500状态码呢?是因为我们用程序来访问知乎被发现了...
我们伪装成浏览器,添加一行
可以看到返回正常了,http状态码为200(这就是headers的作用)
那我们现在获取_xsrf
from lxml import etree
sel = etree.HTML(z1.content)
# 这个xsrf怎么获取 我们上面有讲到
_xsrf = sel.xpath('//input[@name="_xsrf"]/@value')[0]
然后模拟登录
loginurl = 'https://www.zhihu.com/login/email'
# 这里的_xsrf就是我们刚刚上面得到的
formdata = {
'email':'admin@wuaics.cn',
'password':'你的密码',
'_xsrf':_xsrf
}
z2 = requests.post(url=loginurl,data=formdata,headers=headers)
print z2.status_code
#200
print z2.content
# '{"r":0,n "msg": "\u767b\u5f55\u6210\u529f"n}'
print z2.json()['msg']
# 登陆成功
可以看到已经模拟登录并成功了。
那我们来打开知乎 - 与世界分享你的知识、经验和见解(https://www.zhihu.com/people/pa-chong-21/logs)来检查下 是否有登录成功
# 为什么用这个页面呢?
# 因为这个页面只有登录后才能看得到,如果没有登录的话 会自动跳转让你登录的
mylog = 'https://www.zhihu.com/people/pa-chong-21/logs'
z3 = requests.get(url=mylog,headers=headers)
print z3.status_code
#200
print z3.url
# u'https://www.zhihu.com/?next=%2Fpeople%2Fpa-chong-21%2Flogs'
发现页面url是https://www.zhihu.com/?next=%2Fpeople%2Fpa-chong-21%2Flogs https://www.https://www.zhihu.com/?next=%2Fpeople%2Fpa-chong-21%2Flogsnext=%2Fpeople%2Fpa-chong-21%2Fl
并不是 我前面输入的 https://www.https://www.zhihu.com/people/pa-chong-21/logs
说明知乎判断我们没有登录,然后把我们跳转到登录页面了.
如果感兴趣的话,可以把z3.text 的返回值存为123.html,然后打开看看,是不是跳转到登录页面了..
那么为什么会跳到登录页面呢?刚刚不是已经登录成功了么?
这是因为,我们这几个模拟请求,相互间都是独立的,所以z2登录成功了,和z3并没有什么关系。
那如果我现在想要z3不用再模拟登录一次,也能登录的话,怎么办呢?
我们可以把z2登录成功后得到的cookie给z3,这样,z3也就能登录成功了.
用程序实现
再次判断下是否登录成功。
z3 = requests.get(url=mylog,headers=headers)
print z3.url
# u'https://www.zhihu.com/people/pa-chong-21/logs'
我们可以看到已经正常访问了。说明我们登录成功了
所以,以后只要你带着这个cookie,就可以访问登录后的页面了.(这就是cookie的作用..)
最后附上一个小技巧.
当你需要登录,或者说你需要在一段会话中操作(也就是我们上面的操作)
会话对象高级用法 - Requests 2.10.0 文档(http://docs.python-requests.org/zh_CN/latest/user/advanced.html#session-objects) 会话对象让你能够跨请求保持某些参数。它也会在同一个 Session 实例发出的所有请求之间保持 cookie, 期间使用 urllib3 的 connection pooling 功能。所以如果你向同一主机发送多个请求,底层的 TCP 连接将会被重用,从而带来显著的性能提升。 (参见 HTTP persistent connection).
使用会话后,我们上面的代码可以改成这样
可以看到我们没有把cookie传过去,但是还是登录成功了,这是因为session会自动帮你处理这些,会自动帮你管理cookie
我们可以打印看下我们请求的headers
可以看到headers里面自动加上了cookie
最后所有的代码都在kimg1234/pachong(https://github.com/kimg1234/pachong/blob/master/headers%E7%9A%84%E8%AF%A6%E7%BB%86%E8%AE%B2%E8%A7%A3.ipynb)
最后再次总结一下
看完本篇文章后,你应该要
- 能理解User-Agent,cookie的作用
- 了解requests中的session用法
- 了解如何模拟登录一个网页
如果你对requests这个库不太熟悉的话,你可以在快速上手 - Requests 2.10.0 文档(http://docs.python-requests.org/zh_CN/latest/user/quickstart.html)浏览。
- Python27中Json对中文的处理
- Python在VSCode中进入交互界面调试
- CentOS7下单机部署RabbltMQ环境的操作记录
- Flash/Flex学习笔记(24):粒子效果
- 针对业务日志的监控报警设置
- 对广晟有色的数据分析
- Flash/Flex学习笔记(22):滤镜学习
- Python输出信息
- Flash/Flex学习笔记(21):利用colorTransform改变对象的颜色及透明度
- 网站访问状态和超时时间监控报警设置
- 为treeview添加客户端事件
- Flash/Flex学习笔记(20):贝塞尔曲线
- 磁盘挂载问题:Fdisk最大只能创建2T分区的盘,超过2T使用parted
- asp.net中几种页面元素的比较
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- 【-Flutter/Dart 语法补遗-】 sync* 和 async* 、yield 和yield* 、async 和 await
- android实现条目倒计时功能
- Android实现简单手电筒功能
- k8s安装自动证书签发cert-manager letsencrypt
- Android仿Keep运动休息倒计时圆形控件
- android通过led实现手电筒功能
- Android 7.0 手电筒控制实现
- 【STM32H7】第13章 RL-TCPnet V7.X之创建多个TCP客户端
- Android倒计时的开始与停止 剩余时分秒的展示
- 由LFI引起的Zimbra邮件管理系统0day
- Android手电筒兼容各个手机与版本
- 【STM32F429】第13章 RL-TCPnet V7.X之创建多个TCP客户端
- RecyclerView仿应用列表实现网格布局
- Android实现带进度条的WebView
- Android实现记住密码功能