一个scrapy框架的爬虫(爬取京东图书)
时间:2022-05-02
本文章向大家介绍一个scrapy框架的爬虫(爬取京东图书),主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
我们的这个爬虫设计来爬取京东图书(jd.com)。
scrapy框架相信大家比较了解了。里面有很多复杂的机制,超出本文的范围。
1、爬虫spider
tips:
1、xpath的语法比较坑,但是你可以在chrome上装一个xpath helper,轻松帮你搞定xpath正则表达式
2、动态内容,比如价格等是不能爬取到的
3、如本代码中,评论爬取部分代码涉及xpath对象的链式调用,可以参考
# -*- coding: utf-8 -*-
# import scrapy # 可以用这句代替下面三句,但不推荐
from scrapy.spiders import Spider
from scrapy.selector import Selector
from scrapy import Request
from scrapy.linkextractors.lxmlhtml import LxmlLinkExtractor
from jdbook.items import JDBookItem # 如果报错是pyCharm对目录理解错误的原因,不影响
class JDBookSpider(Spider):
name = "jdbook"
allowed_domains = ["jd.com"] # 允许爬取的域名,非此域名的网页不会爬取
start_urls = [
# 起始url,这里设置为从最大tid开始,向0的方向迭代
"http://item.jd.com/11678007.html"
]
# 用来保持登录状态,可把chrome上拷贝下来的字符串形式cookie转化成字典形式,粘贴到此处
cookies = {}
# 发送给服务器的http头信息,有的网站需要伪装出浏览器头进行爬取,有的则不需要
headers = {
# 'Connection': 'keep - alive',
'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.82 Safari/537.36'
}
# 对请求的返回进行处理的配置
meta = {
'dont_redirect': True, # 禁止网页重定向
'handle_httpstatus_list': [301, 302] # 对哪些异常返回进行处理
}
def get_next_url(self, old_url):
'''
description: 返回下次迭代的url
:param oldUrl: 上一个爬去过的url
:return: 下次要爬取的url
'''
# 传入的url格式:http://www.heartsong.top/forum.php?mod=viewthread&tid=34
list = old_url.split('/') #用等号分割字符串
old_item_id = int(list[3].split('.')[0])
new_item_id = old_item_id - 1
if new_item_id == 0: # 如果tid迭代到0了,说明网站爬完,爬虫可以结束了
return
new_url = '/'.join([list[0], list[1], list[2], str(new_item_id)+ '.html']) # 构造出新的url
return str(new_url) # 返回新的url
def start_requests(self):
"""
这是一个重载函数,它的作用是发出第一个Request请求
:return:
"""
# 带着headers、cookies去请求self.start_urls[0],返回的response会被送到
# 回调函数parse中
yield Request(self.start_urls[0], callback=self.parse, headers=self.headers, cookies=self.cookies, meta=self.meta)
def parse(self, response):
"""
用以处理主题贴的首页
:param response:
:return:
"""
selector = Selector(response)
item = JDBookItem()
extractor = LxmlLinkExtractor(allow=r'http://item.jd.com/d.*html')
link = extractor.extract_links(response)
try:
item['_id'] = response.url.split('/')[3].split('.')[0]
item['url'] = response.url
item['title'] = selector.xpath('/html/head/title/text()').extract()[0]
item['keywords'] = selector.xpath('/html/head/meta[2]/@content').extract()[0]
item['description'] = selector.xpath('/html/head/meta[3]/@content').extract()[0]
item['img'] = 'http:' + selector.xpath('//*[@id="spec-n1"]/img/@src').extract()[0]
item['channel'] = selector.xpath('//*[@id="root-nav"]/div/div/strong/a/text()').extract()[0]
item['tag'] = selector.xpath('//*[@id="root-nav"]/div/div/span[1]/a[1]/text()').extract()[0]
item['sub_tag'] = selector.xpath('//*[@id="root-nav"]/div/div/span[1]/a[2]/text()').extract()[0]
item['value'] = selector.xpath('//*[@id="root-nav"]/div/div/span[1]/a[2]/text()').extract()[0]
comments = list()
node_comments = selector.xpath('//*[@id="hidcomment"]/div')
for node_comment in node_comments:
comment = dict()
node_comment_attrs = node_comment.xpath('.//div[contains(@class, "i-item")]')
for attr in node_comment_attrs:
url = attr.xpath('.//div/strong/a/@href').extract()[0]
comment['url'] = 'http:' + url
content = attr.xpath('.//div/strong/a/text()').extract()[0]
comment['content'] = content
time = attr.xpath('.//div/span[2]/text()').extract()[0]
comment['time'] = time
comments.append(comment)
item['comments'] = comments
except Exception, ex:
print 'something wrong', str(ex)
print 'success, go for next'
yield item
next_url = self.get_next_url(response.url) # response.url就是原请求的url
if next_url != None: # 如果返回了新的url
yield Request(next_url, callback=self.parse, headers=self.headers, cookies=self.cookies, meta=self.meta)
2、存储管道:pipelines
tips:
1、本pipelines将爬取的数据存入mongo,比写本地文件靠谱,特别是多实例或者分布式情况。
# -*- coding: utf-8 -*-
import pymongo
from datetime import datetime
from scrapy.exceptions import DropItem
class JDBookPipeline(object):
def __init__(self, mongo_uri, mongo_db, mongo_coll):
self.ids = set()
self.mongo_uri = mongo_uri
self.mongo_db = mongo_db
self.mongo_coll = mongo_coll
@classmethod
def from_crawler(cls, crawler):
return cls(
mongo_uri=crawler.settings.get('MONGO_URI'),
mongo_db=crawler.settings.get('MONGO_DB'),
mongo_coll=crawler.settings.get('MONGO_COLL')
)
def open_spider(self, spider):
self.client = pymongo.MongoClient(self.mongo_uri)
# 数据库登录需要帐号密码的话
# self.client.admin.authenticate(settings['MINGO_USER'], settings['MONGO_PSW'])
self.db = self.client[self.mongo_db]
self.coll = self.db[self.mongo_coll]
def close_spider(self, spider):
self.client.close()
def process_item(self, item, spider):
if item['_id'] in self.ids:
raise DropItem("Duplicate item found: %s" % item)
if item['channel'] != u'图书':
raise Exception('not book')
else:
#self.coll.insert(dict(item))
# 如果你不想锁死collection名称的话
self.ids.add(item['_id'])
collection_name = item.__class__.__name__ + '_' + str(datetime.now().date()).replace('-', '')
self.db[collection_name].insert(dict(item))
return item
3、数据结构:items
tips:
1、看到scrapy的item就笑了,这不是django么
# -*- coding: utf-8 -*-
import scrapy
class JDBookItem(scrapy.Item):
_id = scrapy.Field()
title = scrapy.Field()
url = scrapy.Field()
keywords = scrapy.Field()
description = scrapy.Field()
img = scrapy.Field()
channel = scrapy.Field()
tag = scrapy.Field()
sub_tag = scrapy.Field()
value = scrapy.Field()
comments = scrapy.Field()
4、scrapyd部署
很多朋友想做分布式爬虫,比如通过celery任务调起scarpy爬虫任务。
但是很不幸,scrapy想实现这样的方式并不简单。一个比较好的办法是用scrapyd管理爬虫任务。
你需要保证你的python环境安装了3个东西。
source kangaroo.env/bin/activate
pip install scrapy scrapyd scrapyd-client
在你的spider路径下启动scrapyd守护进程。
scrapyd
下面注册你的spider,先写配置文件scrapy.cfg
# Automatically created by: scrapy startproject
#
# For more information about the [deploy] section see:
# https://scrapyd.readthedocs.org/en/latest/deploy.html
[settings]
default = jdbook.settings
[deploy:jdbook]
url = http://localhost:6800/
project = jdbook
开始注册
#注册spider
scrapyd-deploy -p jdbook -d jdbook
#列出已注册的spider
scrapyd-deploy -l
输出:jdbook http://localhost:6800/
这样就已经注册好了
开始/停止爬虫:
curl -XPOST http://10.94.99.55:6800/schedule.json? -d project=jdbook -d spider=jdbook
输出:{"status": "ok", "jobid": "9d50b3dcabfc11e69aa3525400128d39", "node_name": "kvm33093.sg"}
至此,你可以在celery任务中调用爬虫了,只需要发送如上url就可以。
而各个爬虫可以存放在不同的机器上,实现分布式爬取。
- 人脸智慧时尚店落地广深,微信支付赋能智慧零售
- 基层医疗破局关键:从医疗SaaS三大未来趋势说起
- 无数据库权限下载文献攻略大全
- 学 Python 就是为了当程序员?不止一种可能性
- 2018程序员必备碎片化学习工具
- 深入理解php底层:php生命周期
- 网站性能测试指标详解
- 在.NET Core类库中使用EF Core迁移数据库到SQL Server
- 人类的未来:儿童都能驾驶的汽车
- 论循证新闻的方法与意义——一种媒体融合背景下新闻生产方式创新
- 域名资讯:域名jiuhuang.com已搭建成“韭黄答题助手”网站
- Servlet开篇
- 浅谈中国域名的名与利
- 加密货币的火爆,tokens.com域名已50万美元成交
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- [Go] GO语言实战-为博客园增加gofly在线客服功能
- PHP表单提交参数验证类(可修改)
- Tensorflow MNIST CNN 手写数字识别
- Tensorflow 实现各种学习率衰减
- only integer scalar arrays can be converted to a scalar index
- 不再迷惑,无值和 NULL 值
- Tensorflow 读取 CIFAR-10 数据集
- 使用二维数据构造简单卷积神经网络
- HTTP的同源策略与跨域资源共享(CORS)机制
- tf.transpose函数解析
- 新版RTSP协议视频流媒体平台EasyNVR首页播放器遮挡下拉框的问题优化
- CentOS系统下RTSP协议拉流视频平台EasyNVR端口如何穿透防火墙?
- 高吞吐量消息系统—kafka
- 国人开源了一款小而全的 Java 工具类库,厉害啊!!
- tf.session.run()单函数运行和多函数运行区别