爬虫4 proxy 使用代理服务器发送请求
时间:2020-04-28
本文章向大家介绍爬虫4 proxy 使用代理服务器发送请求,主要包括爬虫4 proxy 使用代理服务器发送请求使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
简述:使用代理服务器发送请求,隐藏自己的真是ip...
request = Request(url, headers=headers)
1. 使用urllib.request下的ProxyHandler模块,来加载代理ip,生成对象
2. 使用urllib.request下的build_opener模块,加载代理对象
"""proxy, 使用代理地址,防止本机ip被爬取的网站查封 1. 使用代理ip信息, 查询‘ip代理’, 此处使用‘快代理’中的代理地址 1. ProxyHandler库, 加载代理ip地址 2. build_opener库, 类似urlopen,是用来做代理地址请求的 """ from urllib.request import Request, build_opener from fake_useragent import UserAgent from urllib.request import ProxyHandler url = "http://httpbin.org/get" # 此网址可以发返回发送的请求头信息 headers = { 'User-Agent': UserAgent().chrome } request = Request(url, headers=headers) # 创建代理地址对象 handler = ProxyHandler({'http': '182.46.197.33:9999'}) # 创建代理请求对象, 加载代理地址对象 opener = build_opener(handler) # 发送请求, 返回响应 response = opener.open(request) info = response.read() print(info.decode())
原文地址:https://www.cnblogs.com/leafchen/p/12794016.html
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- 小白学PyTorch | 15 TF2实现一个简单的服装分类任务
- 小白学PyTorch | 16 TF2读取图片的方法
- 小白学PyTorch | 17 TFrec文件的创建与读取
- 小白学PyTorch | 18 TF2构建自定义模型
- 扩展之Tensorflow2.0 | 19 TF2模型的存储与载入
- 扩展之Tensorflow2.0 | 20 TF2的eager模式与求导
- Django JSONField SQL注入漏洞(CVE-2019-14234)分析与影响
- 扩展之Tensorflow2.0 | 21 Keras的API详解(上)卷积、激活、初始化、正则
- 持续代码质量管理-SonarQube-7.3部署
- 攻击Scrapyd爬虫
- 【webpack】从vue-cli 2x 到 3x 迁移与实践
- 前端单元测试那些事
- 前端Nginx那些事
- 前端运维部署那些事
- 《前端那些事》从0到1开发简单脚手架