python异步存储数据详解
在Python中,数据存储方式分为同步存储和异步存储。同步写入速度比较慢,而爬虫速度比较快,有可能导致数据保存不完整,一部分数据没有入库。而异步可以将爬虫和写入数据库操作分开执行,互不影响,所以写入速度比较快,能够保证数据的完整性。
异步存储数据库大致看分为以下步骤:
1. 在settings中配置Mysql链接需要的参数(主机地址、用户账号、密码、需要操作的表名、编码格式等)
2. 自定义Pipeline,实现from_settings函数
3. from twisted.enterprise import adbapi 引入连接池模块
4. from pymysql import cursors 引入游标模块
5. 在from_settings中,准备链接数据库参数,创建db_pool连接池,创建返回当前类的对象,传入db_pool
6. 实现初始化函数,在初始化函数中,将db_pool赋值self的属性
7. 实现process_item函数
7.1 query = self.db_pool.runInteraction(执行插入数据操作的函数对象,函数需要参数),并接受执行返回结果
7.2 query.addErrback(错误回调函数,函数需要参数),添加执行sql失败回调的函数,在回调函数中对错误数据进一步处理
8. 实现插入数据操作的函数,准备sql,执行sql
9. 实现错误回调函数,在回调函数中对错误数据进一步处理
下面,我们以天堂图片网为例,大致熟悉一下异步存储:
1. 在存储之前,可以选择手动创建数据库(表名、字段名、字段类型等自己定义),也可以选择代码创建。
2. 存储数据之前还得先拿到数据
import scrapy from ..items import ImgItem class IvskySpider(scrapy.Spider): name = 'ivsky' allowed_domains = ['ivsky.com'] start_urls = ['http://www.ivsky.com/tupian/ziranfengguang/'] def parse(self, response): imgs = response.xpath('//div[@class="il_img"]/a/img') for img in imgs: alt = img.xpath('@alt').extract_first('') src = img.xpath('@src').extract_first('') item = ImgItem() item['alt'] = alt item['src'] = src yield item
3. 自定义item,并把数据传进去
import scrapy class IvskySpiderItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() pass class ImgItem(scrapy.Item): alt = scrapy.Field() src = scrapy.Field()
4. 接下来就是settings中的配置,代码如下(robots协议记得改为False):
MYSQL_HOST = '127.0.0.1' MYSQL_USER = 'root' MYSQL_PW = '123456' MYSQL_DB = 'ivskydb' MYSQL_CHARSET = 'utf8'
5. 再然后自定义pipeline,并把该pipeline在settings中配置(设置优先级):
from twisted.enterprise import adbapi from pymysql import cursors class TwistedMysqlPipeline(object): # 在调用TwistedMysqlPipeline时,第一个调用该函数 @classmethod def from_settings(cls, settings): #准备需要用到的链接mysql的参数 db_prams = dict( host=settings['MYSQL_HOST'], user=settings['MYSQL_USER'], password=settings['MYSQL_PW'], db=settings['MYSQL_DB'], port=3306, use_unicode=True, charset=settings['MYSQL_CHARSET'], # 指定使用的游标类型 cursorclass=cursors.DictCursor ) # 创建连接池对象,需要传入两个参数 # 1.使用操作mysql第三方包名 # 2.连接数据库需要的参数 db_pool = adbapi.ConnectionPool('pymysql', **db_prams) return cls(db_pool) def __init__(self, db_pool): # 将连接池对象赋值self.db_pool属性 self.db_pool = db_pool def process_item(self, item, spider): # 准备sql # 执行sql # 执行一个将item数据写入数据库的动作 # 1.执行操作的函数 # 2.执行函数需要的参数.... query = self.db_pool.runInteraction(self.insert_item, item) # 执行sql出现异常错误时,回调的函数 query.addErrback(self.handle_error, item, spider) return item # 插入数据出现错误时,回调的函数 def handle_error(self, failure, item, spider): print(failure) print(item) # 执行插入数据的函数 def insert_item(self, cursor, item): # 创建sql sql = "INSERT INTO ivs(alt,src)VALUES(%s,%s)" # 执行sql cursor.execute(sql,(item['alt'], item['src']))
6. pipeline在settings中的配置
ITEM_PIPELINES = { # 'ivsky_spider.pipelines.MysqlPipeline': 300, 'ivsky_spider.pipelines.TwistedMysqlPipeline': 300, }
代码到这里就结束了。
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。
- 1684: [Usaco2005 Oct]Close Encounter
- 算法模板——Dinic最小费用最大流
- 算法模板——Dinic网络最大流 1
- SQL Server 使用全文索引进行页面搜索
- 2764: [JLOI2011]基因补全
- 1000: A+B Problem(NetWork Flow)
- 博弈论进阶之Multi-SG
- 2929: [Poi1999]洞穴攀行
- SQL Server 执行计划缓存
- 1081: [SCOI2005]超级格雷码
- 1715: [Usaco2006 Dec]Wormholes 虫洞
- 博弈论入门之斐波那契博弈
- 3018: [Usaco2012 Nov]Distant Pastures
- 1755: [Usaco2005 qua]Bank Interest
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法