urllib, urllib2, urllib3 都是小弟弟
urllib 是 python 的内置模块, 主要用于处理url相关的一些操作,例如访问url、解析url等等。
有趣的是,urllib、urllib2曾经同时出现在python2,python3又将两个模块合并成一个,社区又有大神提供了一个urllib3的库,都是用于处理网络请求相关功能,不过这些包在 requests 都是弟弟啦。
而python3中,urllib包下面用的最多的恐怕还是parse模块,主要处理url相关的操作。特别是爬虫应用中,用得多。
以下是我整理的关于urllib.parse的最常用方法,写爬虫过程中,经常要对url进行参数拼接、编码、解码、域名、资源路径提取等操作,parse 就可以排上用场。
一、urlparse
urlparse 方法是把一个完整的URL拆分成不同的组成部分,你可以根据自己的需求提取其中的某部分内容。返回结果ParseResult是namedtuple的子类,由以下10部分组成,每部分既可以通过名字获取也可以通过下表索引得到。
>>> from urllib import parse
>>> url = 'https://mp.weixin.qq.com/s?__biz=MjM5MzgyODQxMQ==&mid=2650366919&idx=1&sn=1b36a9f2c0921cdeac52942ec591a923#rd'
>>> result = parse.urlparse(url)
>>> print(result)
ParseResult(scheme='https', netloc='mp.weixin.qq.com', path='/s', params='', query='__biz=MjM5MzgyODQxMQ==&mid=2650366919&idx=1&sn=1b36a9f2c0921cdeac52942ec591a923', fragment='rd')
# 通过下标获取
>>> result[0]
'https'
# 协议
>>> result.scheme
'https'
# url资源路径
>>> result.path
'/s'
# 查询参数
>>> result.query
'__biz=MjM5MzgyODQxMQ==&mid=2650366919&idx=1&sn=1b36a9f2c0921cdeac52942ec591a923'
# 获取主机名
>>> result.hostname
'mp.weixin.qq.com'
二、parse_qs
parse_qs 是将查询参数这部分内容解析装换成字典对象
>>> parse.parse_qs(result.query)
{'__biz': ['MjM5MzgyODQxMQ=='], 'mid': ['2650366919'], 'idx': ['1'], 'sn': ['1b36a9f2c0921cdeac52942ec591a923']}
>>>
每个参数名对应的值是一个列表对象,这是因为在url规范中,一个参数名可以对应多个值。然通常在实际应用场景中一个名字只会对应一个值。
你可以用一行代码将列表转化为字符串
>>> {name: value[0] for name, value in parse.parse_qs(result.query).items()}
{'__biz': 'MjM5MzgyODQxMQ==', 'mid': '2650366919', 'idx': '1', 'sn': '1b36a9f2c0921cdeac52942ec591a923'}
三、urlencode
反过来,如果由一个字典对象想转换为url中的查询参数,那么就可以使用urlencode方法。
>>> d = {'__biz': 'MjM5MzgyODQxMQ==', 'mid': '2650366919', 'idx': '1'}
>>> parse.urlencode(d)
'__biz=MjM5MzgyODQxMQ%3D%3D&mid=2650366919&idx=1'
四、quote
URL编码
在URL的标准规范中,url只允许数字、字母和部分特殊符号,如果有中文,就需要使用UTF-8进行编码,转换成 %XX的形式,例如: 【中】UTF-8编码的结果是:
>>> "中".encode()
b'xe4xb8xad'
就会转换成 %e4%b8%ad
>>> parse.quote("q=中")
'q%3D%E4%B8%AD'
>>>
对于特殊符号,也会进行成对应的16进制符号, 例如 【=】 就转换成了 %3D
五、unquote
unquote 是 quote 的逆向过程
URL解码
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- YII框架http缓存操作示例
- 基于tf.shape(tensor)和tensor.shape()的区别说明
- PHP检查URL包含特定字符串实例方法
- Python使用xlrd实现读取合并单元格
- python模块如何查看
- YII框架页面缓存操作示例
- PHP chunk_split()函数讲解
- Python3爬虫中Ajax的用法
- stripos函数知识点实例分享
- PHP实现字符串大小写转函数的功能实例
- 在django中实现choices字段获取对应字段值
- python语言中有算法吗
- jQuery ajax+PHP实现的级联下拉列表框功能示例
- PHP+mysql防止SQL注入的方法小结
- 浅谈tensorflow 中的图片读取和裁剪方式