scrapy抓取下载360图片

时间:2022-06-26
本文章向大家介绍scrapy抓取下载360图片,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。

需求分析

假设我们要做一个有关美食的网站,需要从360图片库采集一批美食图片,不仅是采集图片的链接,而是将图片下载到本地,引用第三方图片链接总是不可靠的,哪天设置了防盗链,又得重新忙活,还是要放在自己的图床才踏实

页面分析

进入360图片库,以美食分类为范例,url为:https://image.so.com/z?ch=food

下拉浏览器滚动条,在 chrome 的开发者模式中,可捕获到获取数据的请求:

获取图片数据的请求

从这些 url 的请求格式,可得出其规律为:https://image.so.com/zjl?ch=food&sn=数量&listtype=new&temp=1 每页的数量为 30 ,url 中的数量取值为 (页数-1)*30

因此,第一页的url便是:https://image.so.com/zjl?ch=food&sn=0&listtype=new&temp=1 直接访问该url,可得到以下json数据

json结果解析

创建项目

# 创建项目
$ scrapy startproject image_so
$ cd image_so
# 生成爬虫
$ scrapy genspider images image.so.com
Created spider 'images' using template 'basic' in module:
  image_so.spiders.images

修改 settings.py 配置文件:

# 不遵循 robots 协议,如果遵循,绝大多数网站都不能抓取
ROBOTSTXT_OBEY = False
ITEM_PIPELINES = {
    # 启用图片下载管道
    'scrapy.pipelines.images.ImagesPipeline': 1,
}
# 指定图片下载目录,会自动创建此目录
IMAGES_STORE = 'download_images'

编写爬虫代码