2.Python爬虫入门_requests
时间:2019-11-23
本文章向大家介绍2.Python爬虫入门_requests,主要包括2.Python爬虫入门_requests使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
1 #2019-11-23 2 #requests的api使用非常简单 3 import requests 4 import time 5 6 if __name__=='__main__': 7 # get请求 8 url_get='http://www.httpbin.org/get' #测试网站 9 response_get=requests.get(url=url_get) 10 #1.response.text 返回的是Unicode型的数据,适合得到文本 11 #2.response.content 返回的是bytes型的数据,适合得到图片,视频(网络编程中,服务器和浏览器只认bytes类型数据) 12 #2.response.headers 报文头 13 print('get_text\n',response_get.text) 14 print('get_content\n',response_get.content) 15 print('get_header\n',response_get.headers) 16 print('\n\n\n') 17 18 # post请求(可以传递参数) 19 url_post='http://www.httpbin.org/post' #测试网站 20 response_post=requests.get(url=url_post,data={'name':'softpo','id':'pie'}) #以字典方式传递参数 21 #对于真实网站,如果参数不对,可能根本无法获取返回 22 #1.response_post.text 23 #2.response_post.content 24 #3.response_post.headers 25 print('post_text\n',response_post.text) 26 print('post_content\n',response_post.content) 27 print('post_headers\n',response_post.headers) 28 29 30 #图片练习 31 url_picture='http://c.hiphotos.baidu.com/image/pic/item/6c224f4a20a44623c3f7f2649722720e0cf3d7f3.jpg' 32 response_picture=requests.get(url=url_picture) 33 #创建一个.jpg文件,以二进制的方式进行写入 34 with open('picture.jpg','wb') as fp: 35 content=response_picture.content 36 fp.write(content) 37 print('picture保存成功!') 38 39 40 #百度贴吧 贴吧url尾号第一页0,第二页50,第三页100.... 41 url_tieba='http://tieba.baidu.com/f?kw=%E6%9D%AD%E5%B7%9E%E7%94%B5%E5%AD%90%E7%A7%91%E6%8A%80%E5%A4%A7%E5%AD%A6&ie=utf-8&pn=' 42 for i in range(10): 43 print(url_tieba+str(i*50)) 44 response_tieba=requests.get(url_tieba) 45 html=response_tieba.text 46 with open('./TieBa/%d.html'%(i+1),mode='w',encoding='utf-8') as fp: #自己设定文件目录 47 fp.write(html) 48 print('贴吧第%d页保存成功!'%(i+1)) 49 time.sleep(2) #如果对方有防护措施,可以使用time.sleep(n)进行休眠一段时间(n秒)
原文地址:https://www.cnblogs.com/NiBosS/p/11918716.html
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- python提高--running-python-code-contained-in-a-strin
- linux shell 监控脚本 及 邮件发送
- Laravel框架学习 -- 安装
- Redis 键管理与小功能
- redis 数据持久化
- 不蒜子 | 给网站、博客文章添加阅读次数统计,我用两行代码 搞定计数
- redis 主从复制
- Spring 当一个接口多个实现时,怎么注入
- redis主从同步,显示master_link_status:down的解决思路
- CentOS自带Python被删 && YUM报错修复
- MySQL主从库--同步异常
- redis 哨兵机制
- C语言共享内存
- GCC编译静态库及动态库
- Jinja2初探