120种小狗图像傻傻分不清?用fastai训练一个分类器
作者:一杯奶茶的功夫
链接:https://www.jianshu.com/p/ab35ed21df87
这篇文章会讲解如何制作能够分类120种小狗的图像分类器。
这篇文章中所讲述的内容都是基于colab notebook和fastai技术的深度学习的应用。
为什么使用colab?
- 使用colab的好处是,你不需要有任何显卡GPU,colab中提供了一块免费的k80带12G显存的GPU
- colab是google提供的一个免费的Jupyter notebook的环境,可以省去安装它的功夫
为什么使用fastai?
- fastai是一种超级简洁的深度学习工具,代码上甚至比当前Keras还要简洁。
- 底层是pytorch,能够提供高速的处理性能。
和之前文章中的两个物种(猫和狗)的分类略有不同,这次使用的数据集全部是狗,需要把这些狗分到不同的类别中。也就是说,图片之间特征的区别的差异要比之前猫和狗分类的来的更加细微。
好吧,接下来我们看看如何动手制作。
1.在colab的作业本中配置fastai的环境
!curl https://course.fast.ai/setup/colab | bash
2.导入fastai包
from fastai import *
from fastai.vision import *
3.加载kaggle.json
这里我们准备从kaggle下载所需要的狗的数据集,如果你可以从其他地方得到数据集,那么可以省略步骤3和4,按照自己的方法在环境中导入数据集即可。
!mkdir /content/.kaggle/
!mkdir /content/data/dogsbreed/
PATH = "/content/data/dogsbreed/"
from google.colab import files
# load from upload dialog
uploaded = files.upload()
for fn in uploaded.keys():
with open(f'/content/.kaggle/{fn}', 'wb') as f:
f.write(uploaded[fn])
4.安装kaggle环境
!chmod 600 /content/.kaggle/kaggle.json
!pip install kaggle
!cp /content/.kaggle/kaggle.json ~/.kaggle/kaggle.json
!kaggle config set -n path -v{/content}
import kaggle
!kaggle competitions download -p /content/data/dogsbreed/ dog-breed-identification
从结果中可以看到,我们已经从kaggle成功的下载了数据集文件。
5.验证GPU
torch.cuda.is_available()
#True
torch.backends.cudnn.enabled
#True
6.解压缩文件
! cd /content/data/dogsbreed && unzip labels.csv.zip
! cd /content/data/dogsbreed && unzip sample_submission.csv.zip
! cd /content/data/dogsbreed && unzip test.zip
! cd /content/data/dogsbreed && unzip train.zip
7.读取label.csv
labels_df=pd.read_csv(f'{PATH}labels.csv')
labels_df.head()
这里我们可以看到labels.csv中的前五条数据
8.查看狗的类别
labels_df.pivot_table(index='breed',aggfunc=len).sort_values('id',ascending=False)
这里可以看到一共有120行数据,也就是120种狗的类别,以及每种类别里面有多少条数据。
9.加载数据集并显示
data = ImageDataBunch.from_csv(
PATH,
folder='train',
valid_pct=0.2,
ds_tfms=get_transforms(),
size=224,
test='test',
suffix='.jpg',
bs=64).normalize(imagenet_stats)
data.show_batch(rows=3, figsize=(10,12))
如果一切顺利,这里会显示出9张狗的图片,并且图片上方会显示相应的狗的类别。
如果只显示了图片,而图片上的标签不是类别的话,那说明数据导入部分存在问题。
OK,我们继续下一步。
10.下载与训练模型并微调
learner = create_cnn(data,models.resnet101,metrics=[accuracy])
learner.fit_one_cycle(10)
这里我们设置了10个epoch,会稍微花费点时间大约40分钟。
可以看到,在最后一个epoch时候,我们的精度在89%。当然我们还可以继续调优:)
或者直接从零开始对每一层权重的训练,这都是可以的。
到这里我们就已经成功的完成了一个120种狗狗的图片分类器的制作啦,怎么样?是不是很简单?希望这篇文章可以给每一个前来阅读的朋友带来收获,对深度学习,图像分类有一个直接的体会。
如果有问题,欢迎来评论区留言讨论^^
(本文为AI科技大本营转载文章,转载请联系原作者)
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- Python | 从 PDF 中提取文本内容
- Stata | 自动生成中南财大2019拟录取硕士研究生分析报告
- Stata | 聊聊数据排序的几种方式
- 在生产中应用广泛的排序算法
- SQL | SQL 必知必会笔记 (一 )
- 如何在树莓派4B上安装EMQ X Broker
- SQL | SQL 必知必会笔记 (二)
- 基于桶子法实现的两种排序算法
- Notes | 微观经济学课堂笔记(一)
- 将终结点图添加到你的ASP.NET Core应用程序中
- Stata | 爬取 CFPS 文献传送门并制作成 Markdown
- 委托的好处
- Elasticsearch安装和配置
- Notes | QUAIDS 模型
- Stata | 520,听说你也想快点找到...