爬虫学习笔记第三天(requests库)
1.方法:get(),post(),put(),delete(),
1.1get(URL)方法(返回str类型):添加额外的信息时,用params={}加入get函数。>>>>>>打开二进制文件时,用open("name","method")>>>>>>添加头信息,用headers={}加入get函数>>>>>设置时间,timeout加入到get函数中,
1.2post(URL,data={form})方法:requests.codes判断请求是否成功。>>>>>>模拟文件上传的过程,files={“files”:"address",“method”}加入post函数。
1.3获取和设置Cookies:获取,用.cookies获取,返回一个RequestCookieJar类型,然后用items()方法将其转化为元组组成的列表,再遍历出每一个cookie的名称和值。>>>>>>可以利用split()方法分割,再用set()方法设置好每个Cookie的key和value,再通过request的get()方法传递给cookies
1.4利用get()和post()打开网页是两个完全不相关的会话,可以通过设置一样的cookies获得权限,也可以创建一个Session对象,相当于打开一个新的浏览器选项卡而不是浏览器,维持同一个会话
1.5当发送HTTP请求时,他会检查SSL证书:verify参数控制是否检查此证书,默认为True。忽略会有警告,用urllib.disable_warnings()忽略警告
1.6代理设置:HTTP代理,proxies={}加入到get函数中。>>>>>>SOCKS协议代理,
原文地址:https://www.cnblogs.com/Turing-dz/p/11403969.html
- 基于 Ubuntu 搭建 VNC 远程桌面服务
- 搭建 FTP 文件服务
- linux平台下的写文件刷新
- MySQL NDB Cluster实战
- 译文 | 简明 TensorFlow 教程:混合模型
- 利用SetConsoleTextAttribute函数设置控制台颜色
- python笔记:#001#python简介
- python笔记:#002#第一个python程序
- python笔记:#003#PyCharm 的初始设置
- python笔记:#004#注释
- python笔记:#005#算数运算符
- python笔记:#006#程序执行原理
- python笔记:#007#变量
- python笔记:#008#变量的命名
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- Codeforce-CodeCraft-20 (Div. 2)-C. Primitive Primes(本原多项式+数学推导)
- DOM事件机制(原理级别的)
- 杭电60题--part 1 HDU1003 Max Sum(DP 动态规划)
- js的的的图片随屏幕滚动而滑入滑出的效果(万 万。。。字长文)
- Codeforce-CodeCraft-20 (Div. 2)-B. String Modification (找规律+模拟)
- Codeforce-CodeCraft-20 (Div. 2)-A. Grade Allocation
- Cypress系列(69)- route() 命令详解
- Codeforce-Ozon Tech Challenge 2020-D. Kuroni and the Celebration(交互题+DFS)
- Codeforce 263D Cycle in Graph 搜索 图论 哈密尔顿环
- codeforce 266c Below the Diagonal 矩阵变换 (思维题)
- Codeforce-Ozon Tech Challenge 2020-C. Kuroni and Impossible Calculation(鸽笼原理)
- 探索ParNew和CMS垃圾回收器
- Codeforce-Ozon Tech Challenge 2020-B. Kuroni and Simple Strings(贪心)
- 第K短路+严格第K短路
- PostgreSQL异常重启postmaster.pid处理