【Python爬虫】第三课(提取数据)
时间:2019-09-22
本文章向大家介绍【Python爬虫】第三课(提取数据),主要包括【Python爬虫】第三课(提取数据)使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
提取HTML数据
import requests from bs4 import BeautifulSoup url = 'https://www.douban.com/' header = { 'Accept':'*/*', 'Accept-Encoding':'gzip,deflate,br', 'Accept-Language':'zh-CN', 'Connection':'keep-alive', 'Host':'www.douban.com/', 'Referer':'https://www.douban.com/', 'User-Agent':'……'} resp = requests.get(url, headers=header) print(resp) soup = BeautifulSoup(resp.text,'lxml') content = soup.select('#anony-time > div > div.main > ul > li:nth-child(5) > a.title') print(content)
在我爬取链家,携程网站时候遇到问题,明明response 200,但select返回是空值。 目前猜测原因是:存放我想获取数据的网址不是在一开始写入的网址,我resp.text没有看见相关数据。这个以后学习如何处理。
提取Json数据
暂时不会,大致看了下,像字典存储
import json data = '{"name":"gy","age":"100","weight":"200"}' resp = json.loads(data) #将str型的data通过json.loads转为字典 print(resp['name'])
原文地址:https://www.cnblogs.com/break03/p/11568388.html
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- 面试:JVM 垃圾回收器
- 面试:集合:redis:kafka
- Java串口读卡器工具通信之RXTX
- 动态规划设计
- SpringBean 的实例化过程
- Android的Dialog弹出时隐藏导航栏效果,目前认为的最优解
- WebService接口调试如此简单
- 嵌入式linux下的c语言简易日志log模块,带颜色显示(一)
- 嵌入式linux下的c语言日志log模块,功能增强(二)
- Spring IOC源码最全分析
- 嵌入式linux之go语言开发(六)几行代码实现终端的远程日志诊断
- spring-mybatis 整合分析
- Spring 中循环依赖是如何解决?
- 走,HashMap,敢去爬山吗?
- Django+Vue开发生鲜电商平台之10.购物车、订单管理和支付功能