图解EfficientNet模型的完整细节
重磅干货,第一时间送达
作者:Vardan Agarwal 编译:ronghuaiyang AI公园
导读
深入研究所有不同EfficientNet结构的细节。
我在一个Kaggle竞赛中翻阅notebooks,发现几乎每个人都在使用EfficientNet 作为他们的主干,而我之前从未听说过这个。谷歌AI在这篇文章中:https://arxiv.org/abs/1905.11946介绍了它,他们试图提出一种更高效的方法,就像它的名字所建议的那样,同时改善了最新的结果。一般来说,模型设计得太宽,太深,或者分辨率太高。刚开始的时候,增加这些特性是有用的,但很快就会饱和,然后模型的参数会很多,因而效率不高。在EfficientNet中,这些特性是按更有原则的方式扩展的,也就是说,一切都是逐渐增加的。
不明白发生了什么?不要担心,一旦看到了架构,你就会明白了。但首先,让我们看看他们得到了什么结果。
由于参数的数目相当少,这个模型族是非常高效的,也提供更好的结果。现在我们知道了为什么这些可能会成为标准的预训练模型,但是缺少了一些东西。
共同之处
首先,任何网络都以它为主干,在此之后,所有对架构的实验都以它为开始,这在所有8个模型和最后的层中都是一样的。
之后,每个主干包含7个block。这些block还有不同数量的子block,这些子block的数量随着EfficientNetB0到EfficientNetB7而增加。要可视化模型层,代码如下:
!pip install tf-nightly-gpu
import tensorflow as tf
IMG_SHAPE = (224, 224, 3)
model0 = tf.keras.applications.EfficientNetB0(input_shape=IMG_SHAPE, include_top=False, weights="imagenet")
tf.keras.utils.plot_model(model0) # to draw and visualize
model0.summary() # to see the list of layers and parameters
如果你计算EfficientNet-B0的总层数,总数是237层,而EfficientNet-B7的总数是813层!!但不用担心,所有这些层都可以由下面的5个模块和上面的主干组成。
我们使用这5个模块来构建整个结构。
- 模块1 — 这是子block的起点。
- 模块2 — 此模块用于除第一个模块外的所有7个主要模块的第一个子block的起点。
- 模块3 — 它作为跳跃连接到所有的子block。
- 模块4 — 用于将跳跃连接合并到第一个子block中。
- 模块5 — 每个子block都以跳跃连接的方式连接到之前的子block,并使用此模块进行组合。
这些模块被进一步组合成子block,这些子block将在block中以某种方式使用。
- 子block1 — 它仅用于第一个block中的第一个子block。
- 子block2 — 它用作所有其他block中的第一个子block。
- 子block3 — 用于所有block中除第一个外的任何子block。
到目前为止,我们已经指定了要组合起来创建EfficientNet模型的所有内容,所以让我们开始吧。
EfficientNet-B0
EfficientNet-B0架构。(x2表示括号内的模块重复两次)
EfficientNet-B1
EfficientNet-B1的结构
EfficientNet-B2
它的架构与上面的模型相同,唯一的区别是特征图(通道)的数量不同,增加了参数的数量。
EfficientNet-B3
EfficientNet-B3的结构
EfficientNet-B4
EfficientNet-B4的结构
EfficientNet-B5
EfficientNet-B5的结构
EfficientNet-B6
EfficientNet-B6的结构
EfficientNet-B7
EfficientNet-B7的结构
很容易看出各个模型之间的差异,他们逐渐增加了子block的数量。如果你理解了体系结构,我鼓励你将任意的模型打印出来,并仔细阅读它以更彻底地了解它。下面的表表示了EfficientNet-B0中卷积操作的内核大小以及分辨率、通道和层。
此表已包含在原始论文中。对于整个模型族来说,分辨率是一样的。我不确定卷积核的大小是否改变了。层的数量已经在上面的图中显示了。通道数量是不同的,它是根据从每个型号的摘要中看到的信息计算出来的,如下所示:
在结束之前,我附上了另一个图像,来自它的研究论文,显示了它与其他的SOTA的performance的比较,还有减少的参数的数量和所需的FLOPS。
—END—
英文原文:https://towardsdatascience.com/complete-architectural-details-of-all-efficientnet-models-5fd5b736142
- 经典面试问题: Top K 之 -- 海量数据找出现次数最多或,不重复的
- Java多线程详解4【面试+工作】
- Java多线程详解5【面试+工作】
- Java多线程详解6【面试+工作】
- MySQL备份恢复第二篇(r5笔记第6天)
- SpringMVC 中配置 Swagger 插件.
- MySQL和Oracle对比学习之事务(r5笔记第4天)
- 【面试宝典】Java如何打印数组
- MySQL数据导入导出牛刀小试(r5笔记第3天)
- SpringMVC 异常处理.
- 一条简单的sql在11g和12c中的不同(r5笔记第2天)
- 浅析 SpringMVC 原理和配置.
- 使用impdp不当导致的数据丢失问题(r5笔记第1天)
- MySQL数据库 Event 定时执行任务.
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- GitHub 标星过万!计算机与网络知识总结电子书下载!
- 盘一盘,那些提效/创意的 vscode 插件
- 基于jenkins实现手动拉取码云代码,实现半自动化部署
- so easy!网页骨架屏自动生成方案(dps)
- 深夜,我偷听到程序员要对session下手……
- CAM 系列论文阅读总结
- kafka客户端指标上报Prometheus方案(已开源)
- 2020-09-25:rust中Point是结构体类型,【let p1=Point{x:25,y:25};let p2=p1;】...
- R语言在BRFSS数据中可视化分析探索糖尿病的影响因素
- R语言可视化探索BRFSS数据并逻辑回归Logistic回归预测中风
- R语言对BRFSS数据探索回归数据分析
- 使用R语言创建自定义桑基图Sankey图
- 在r语言中使用GAM(广义相加模型)进行电力负荷时间序列分析
- R语言中的偏最小二乘回归PLS-DA
- R语言实现偏最小二乘回归法 partial least squares (PLS)回归