「实战演练」Python爬虫,使用2.3 Scrapy 框架爬免费小说
Scrapy框架的简单使用:
网络爬虫,是在网上进行数据抓取的程序,使用它能够抓取特定网页的HTML数据。虽然我们利用一些库开发一个爬虫程序,但是使用框架可以大大提高效率,缩短开发时间。Scrapy使用Python编写,轻量级的,简单轻巧,并且使用起来非常的方便。使用Scrapy可以很方便的完成网上数据的采集工作,它为我们完成了大量的工作,而不需要自己费大力气去开发。
image
下面我们来通过一个很简单的例子来介绍Scrapy框架的使用
我们要爬的网址是:搜读网: http://www.sodu.cc
我喜欢在这个网站看小说,里面的小说内容还是比较丰富的,推荐读者喜欢看小说的可以来看看。
因为只是简单介绍,所以我只准备抓取小说的标题。
好的,基本流程既然确定了,那接下来就一步一步的完成就可以了。
步骤一: 创建一个工程和Spider模板
我们先用命令行创建一个Scrapy工程:
$ scrapy startproject soudu
接着,我们进入到工程目录:
$ cd soudu
我们来看一下目录结构:
tree# OUT:.├── soudu #外层目录│ ├── init.py #初始化脚本 │ ├── pycache #Python缓存文件。暂时无视│ ├── items.py #Items代码模板,继承类自scrapy.Item│ ├── middlewares.py #Middlewares代码模板(继承类)│ ├── pipelines.py #Pipelines代码模板(继承类)│ ├── settings.py #Scrapy爬虫的配置文件│ └── spiders #Spiders代码模板目录 我们写爬虫的地方│ ├── init.py│ └── __pycache__└── scrapy.cfg #部署爬虫的配置文件
4 directories, 7 files
最后,我们用命令行创建第一个Spider:
$ scrapy genspider title www.sodu.cc
这样我们就创建了一个名为title的爬虫了。
我们来看看他长什么样,打开/spiders/title.py:
-- coding: utf-8 --import scrapyclass NewsSpider(scrapy.Spider): name = ‘title’ allowed_domains = [‘www.sodu.cc’] start_urls = [‘http://www.sodu.cc/’] def parse(self, response): pass
可以看到,Scrapy已经帮我们把爬虫的框架写好了,我们只要在这个框架的基础上进行进一步的定制就可以了。
步骤二:编写Spider 我们来着手定制我们的爬虫吧:
看一下详细的注释
-- coding: utf-8 --import scrapy# 将我们需要爬的项目引入进来from soudu.items import SouduItemclass DemoSpider(scrapy.Spider): #该爬虫的名字 name = “title” #规定爬虫爬取网页的域名 allowed_domains = [‘www.sodu.cc’] #开始爬取的url链接 start_urls = [‘http://www.sodu.cc/’] def parse(self, response): ‘’’ parse()函数接收Response参数,就是网页爬取后返回的数据 用于处理响应,他负责解析爬取的内容 生成解析结果的字典,并返回新的需要爬取的请求 ‘’’ #由于是demo 我们不做完全的功能, #只要求爬取出第一部小说的名字 #xpath规则可以通过查看网页源文件得出,chrome右键检查定位到所要爬取的内容 name = response.xpath(’//a[@onclick=“getpage(this)”]/text()’).extract()[0] #建立一个items字典,用于保存我们爬到的结果,并返回给pipline处理 items = {} items[‘第一部小说名’]= name return items
步骤三:编写Item Pipeline 首先我们编写itmes.py来定义这个爬虫框架需要爬哪些内容:
-- coding: utf-8 --# Define here the models for your scraped items## See documentation in:# https://doc.scrapy.org/en/latest/topics/items.htmlimport scrapyclass SouduItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() name = scrapy.Field()
接着我们编写 piplines.py来处理spider爬到的内容:
-- coding: utf-8 --# Define your item pipelines here## Don’t forget to add your pipeline to the ITEM_PIPELINES setting# See: http://doc.scrapy.org/en/latest/topics/item-pipeline.htmlclass ZimukuPipeline(object): def process_item(self, item, spider): # 因为是最简单的,所以我们把爬到的结果打印一下 print(item) return item
步骤四:优化配置Settings.py
-- coding: utf-8 --# Scrapy settings for soudu project## For simplicity, this file contains only settings considered important or# commonly used. You can find more settings consulting the documentation:## https://doc.scrapy.org/en/latest/topics/settings.html# https://doc.scrapy.org/en/latest/topics/downloader-middleware.html# https://doc.scrapy.org/en/latest/topics/spider-middleware.htmlBOT_NAME = 'soudu’SPIDER_MODULES = [‘soudu.spiders’]NEWSPIDER_MODULE = ‘soudu.spiders’# Crawl responsibly by identifying yourself (and your website) on the user-agent#USER_AGENT = ‘soudu (+http://www.yourdomain.com)’# Obey robots.txt rulesROBOTSTXT_OBEY = True#只增加了这一行,通过配置告诉Scrapy明白是谁来处理结果ITEM_PIPELINES = { ‘soudu.pipelines.SouduPipeline’: 300,}
好了,这样一个爬虫就算完成了,那怎么获取爬到的结果呢???
首先我们通过命令来执行爬虫:
$ scrapy crawl title
让我们这个最最简单的爬虫跑起来。
来看一下结果:
我只截取部分我们需要的内容,其他的我且暂不写出了:
2018-08-03 19:31:53 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.sodu.cc/>{‘第一部小说名’: ‘圣墟’}
是不是可以看到我们需要找到的内容了????
Scrapy框架的基本使用已经说完了,以后我会一步一步来讲解其他的例子!
本文就分享到这里,更多python学习可以关注我们哦!
注:python学习关注我们企鹅qun: 8393 83765 各类入门学习资料免费分享哦!
- git pull fails “unable to resolve reference” “unable to update local ref”
- 使用dropwizard(5)--加入swagger
- 使用hint来调优sql语句(72天)
- 用R语言对城管事件数据分析
- 使用dropwizard(4)-加入测试-jacoco代码覆盖率
- goldengate学习-安装篇(71天)
- 使用dropwizard(6)-国际化-easy-i18n
- 配置不同环境下启用swagger,在生产环境关闭swagger
- 使用ControllerAdvice注意事项,Ambiguous @ExceptionHandler method mapped for [class org.springframework.web.
- rac节点无法启动ORA-29702的问题及分析(70天)
- SpringMVC,SpringBoot文件下载
- SpringCloud学习1-服务注册与发现(Eureka)
- 物化视图全量刷新与insert的redo生成量测试(69天)
- SpringCloud学习2-Springboot监控模块(actuator)
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- tensorflow 使用CPU而不使用GPU的问题解决
- Python图像灰度变换及图像数组操作
- 典型算法的Python实现
- Spring是如何解决循环依赖的
- Python将两个列表转换为字典
- 三、基于promise封装属于自己的Ajax库
- 数据分析 常见异常及解决办法(一)
- Python数据分析实战(2)使用Pandas进行数据分析
- 【redis】redis内存管理、淘汰机制、内存优化
- 如何防止网站被扒的解决方法!
- 【python-面试题53-循环排序】寻找缺失的数
- 【python-leetcode42-区间合并】区间列表的交集
- 【python-leetcode202-快慢指针】快乐数
- vuejs之结合使用vue+element-ui搭建后台管理页面
- 【python-leetcode142-快慢指针】环形链表2