requests
时间:2019-06-12
本文章向大家介绍requests,主要包括requests使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
requests
是一个很实用的Python HTTP客户端库,编写爬虫和测试服务器响应数据时经常会用到。可以说,Requests 完全满足如今网络的需求
官方文档 http://docs.python-requests.org/en/master/
什么是requests模块
requests模块是python中原生的基于网络请求的模块,其主要作用是用来模拟浏览器发起请求。功能强大,用法简洁高效。在爬虫领域中占据着半壁江山的地位。
为什么要使用requests模块
-
因为在使用urllib模块的时候,会有诸多不便之处,总结如下:
- 手动处理url编码
- 手动处理post请求参数
- 处理cookie和代理操作繁琐
- ......
-
使用requests模块:
- 自动处理url编码
- 自动处理post请求参数
- 简化cookie和代理操作
- .....
如何使用requests模块
-
安装:
- pip install requests
-
作用特点
- 作用:就是用来模拟浏览器上网的。
- 特点:简单,高效
-
使用流程
- 指定url
- 基于requests模块发起请求
- 获取响应对象中的数据值
- 持久化存储
无参数:
#爬取搜狗首页的页面数据 import requests #1指定url url = 'https://www.sogou.com/' #2.发起请求 response = requests.get(url=url) #3获取响应数据 page_text = response.text #text返回的是字符串类型的数据 #持久化存储 with open('./sogou.html','w',encoding='utf-8') as fp: fp.write(page_text) print('over!')
带参数
#百度翻译 url = 'https://fanyi.baidu.com/sug' word = input('enter a English word:') #请求参数的封装 data = { 'kw':word } #UA伪装 headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36' } response = requests.post(url=url,data=data,headers=headers) #text:字符串 json():对象 obj_json = response.json() print(obj_json)
动态加载的数据
#爬取任意城市对应的肯德基餐厅的位置信息 city = input('enter a cityName:') url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword' data = { "cname": "", "pid": "", "keyword": city, "pageIndex": "2", "pageSize": "10", } #UA伪装 headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36' } response = requests.post(url=url,headers=headers,data=data) json_text = response.text print(json_text)
原文地址:https://www.cnblogs.com/q455674496/p/11000236.html
- highcharts 时间少8小时问题
- 【干货】python玩转微信:微信好友统计信息全掌握
- 使用Visual Studio 调试断点不起作用的问题解决办法 调试Revit CAD 不能进入断点
- openFileDialog的Filter属性设置
- dedecms调用当前栏目的子栏目怎么操作
- dedecms如何增加自定义字段
- dedecms如何快速删除跳转的文章(记得清空内容回收站)
- Javascript构造函数
- 帝国cms调用栏目自定义字段(栏目简介)如何操作
- dedecms手机站图片错误的解决方法
- 可以搜索到DedeCms后台文章列表文档id吗?或者快速定位id编辑文章
- 常用工具整理
- jQuery 获取对象 根据属性、内容匹配, 还有表单元素匹配
- 如何修改dedecms专题目录默认名称special
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法