爬虫学习笔记第三天(requests库)

时间:2019-08-27
本文章向大家介绍爬虫学习笔记第三天(requests库),主要包括爬虫学习笔记第三天(requests库)使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。

1.方法:get(),post(),put(),delete(),

  1.1get(URL)方法(返回str类型):添加额外的信息时,用params={}加入get函数。>>>>>>打开二进制文件时,用open("name","method")>>>>>>添加头信息,用headers={}加入get函数>>>>>设置时间,timeout加入到get函数中,

  1.2post(URL,data={form})方法:requests.codes判断请求是否成功。>>>>>>模拟文件上传的过程,files={“files”:"address",“method”}加入post函数。

  1.3获取和设置Cookies:获取,用.cookies获取,返回一个RequestCookieJar类型,然后用items()方法将其转化为元组组成的列表,再遍历出每一个cookie的名称和值。>>>>>>可以利用split()方法分割,再用set()方法设置好每个Cookie的key和value,再通过request的get()方法传递给cookies

1.4利用get()和post()打开网页是两个完全不相关的会话,可以通过设置一样的cookies获得权限,也可以创建一个Session对象,相当于打开一个新的浏览器选项卡而不是浏览器,维持同一个会话

  1.5当发送HTTP请求时,他会检查SSL证书:verify参数控制是否检查此证书,默认为True。忽略会有警告,用urllib.disable_warnings()忽略警告

  1.6代理设置:HTTP代理,proxies={}加入到get函数中。>>>>>>SOCKS协议代理,

原文地址:https://www.cnblogs.com/Turing-dz/p/11403969.html