ICLR2020 | 深度自适应Transformer
作者 | kaiyuan
整理 | NewBeeNLP
一篇来自ICLR2020,facebook人工智能实验室的论文,关于改进Transformer推理速度的。
- 论文地址:https://arxiv.org/abs/1910.10073
写在前面
大模型在困难任务上表现非常好,而小模型也可以在比较简单的任务上表现出色。但是目前大模型在应用简单任务时的运算量同复杂任务一样,这就导致了不必要的资源浪费,此外还会导致推理速度变慢。对此,提出了一种depth-adaptive transformer
,可以在推理阶段针对不同的token自动选择在合适的层进行停止并输出,在不损失模型效果的同时大大提高推理速度。
Anytime Prediction
传统的transformer decoder,所有的token都需要经过N个block,且最后的分类器是唯一的。但是一些简单的任务并不需要推理如此多步,可能在第
层模型已经得出结果了,再往上走并没有意义,于是可以选择在第
层就输出,这称为「动态计算(Dynamic Computation)」,
并且,每一层的分类器
可以选择不同或者相同。接下去就是怎么去实现上面的想法,即对于每个输入token,如何自动确定其在哪一层退出?文中提出了两种策略:
Aligned training
对齐训练会同时优化所有分类器,并假设当前状态之前的所有状态
均可以被看见,然后计算
项loss,如下图(a)
其中,
是第
层所有
损失和,
是
的加权平均(论文附录A实验说明平均加权的效果最好)。
Mixed training
但是上述对齐训练是不好实现的,因为不是所有token都在同一层输出,那么当有的token在较早的层输出后,在后续层计算时就无法看见它。解决这个问题一个直观的想法就是将已经输出的单元直接copy到上面一层即可,如下图(b)。对输入序列采样
个退出序列
,并对每个退出序列计算损失,
Adaptive Depth Estimation
自适应深度估计。上文还有一个问题待解决:如何采样退出序列?提出了两种策略:
-
「sequence-specific」:对应于
aligned training
,所有token都在同一层退出; -
「token-specific」:对应于
mixed training
,每个token可能在不同的层退出;
表示第
步对应的退出层参数分布,其中
表示
在第
层退出并得到预测
的概率,
表示真实分布,使用下式优化:
总体的损失函数为:
Sequence-Specific Depth
在该种模式下,所有token都在同一层退出,所以我们不考虑time-step
。通过将encoder输出的平均值
送到多项式分类器,我们得到分布
:
接下来怎么得到真实分布
呢?本文提出了两种策略:
- 「Likelihood-based」:基于每个块之后整个序列的似然性,并且以Dirac delta为中心对退出进行了优化,从而使序列似然性最高,
并且还可以加入正则项鼓励更低的退出层
-
「Correctness-based」:基于似然的方式无法判断最大的似然是不是正确的序列,因此基于正确性的方式选择
正确字符最大分数的最低的层
。具体来说,对每个层,我们计算在该层上所有正确预测的字符数,然后选择最大正确数的一层,并同样加上正则项:
Token-Specific Depth
基于token的方式对每个token自动学习在哪一层退出,提出两种exit distribution
的计算方式:
- 「Multinomial」:多项分布,
表示第一层decoder的输出
- 「Poisson Binomial」:泊松二项分布,
表示停止概率(halting probability),其对应有一个阈值
,当
超过这个阈值时即退出否则继续往上走直至结束
接下去也是对真实分布的计算,提出了三种策略:
- 「Likelihood-based」:基于似然的方式在每一步选择似然最大的层退出,
但是显然,这种方法是贪心做法,我们还想要考虑未来的字符,所以本文考虑一个光滑化(smoothed)似然,它考虑附近的几个字符:
- 「Correctness-based」:基于正确性的方式,
- 「Confidence thresholding」:基于自信度阈值,定义了一个自信度阈值
,当当前输出
的最大得分超过阈值时,即选择退出。其中
是通过验证集确定的。
上述几种方法的示意图:
一些结论
- Aligned training效果要优于Mixed training;
- 用对齐训练方法得到的模型,在
的时候,差不多就能超过baseline模型(传统Transformer),而Possion方法大体上比多项分布好;
- 更多更详细的实验分析推荐阅读reference里的作者PPT分享;
- 整体感觉和之前介绍过的Universal Transformer很像,都是采用dynamic computation的思想。但是很多细节还是不同,比如没有大型共享的Transformer层,并且本文主要关注动态停止策略设计等等:
There are a number of differences to universal transformer (UT): UT repeatedly applies the same layer for a number of steps, while as our approach applies different layers at every step. The dynamic computation in UT considers a single type of mechanism to estimate the number of steps (=network depth) while as we consider a number of mechanisms and supervision regimes. Moreover, dynamic computation was not actually used for the machine translation experiments in the UT paper (it was used for other tasks though), the authors used a fixed number of steps for every input instead.
- Open Review[1]DAT作者PPT分享[2]
本文参考资料
[1]
Open Review: https://openreview.net/forum?id=SJg7KhVKPH
[2]
DAT作者PPT分享: http://elbayadm.github.io/assets/talks/anytime/decore_04102019.pdf
- React第三方组件6(状态管理之Mobx的使用①简单使用)
- poj 1088 滑雪
- 八数码难题解法大全
- React第三方组件5(状态管理之Redux的使用⑥Redux DevTools)
- React第三方组件5(状态管理之Redux的使用⑤异步操作)
- HDU - 1846 Brave Game
- React多页面应用4(webpack4 提取第三方包及公共组件)
- zoj 2420
- SPOJ NWERC11B Bird tree
- React多页面应用6(gulp自动化发布到多个环境、生成版本号、压缩成zip等)
- SDIBT 1046 Primary Arithmetic
- 洛谷P2415 集合求和
- React多页面应用5(webpack生产环境配置,包括压缩js代码,图片转码等)
- SDIBT 1046 Primary Arithmetic
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- Day15.异常的处理
- 「翻译」在生物信息学中使用 GNU-Parallel
- Kafka运维小贴士 | Kafka 消息监控
- MySQL慢查询优化 | 联结原理
- MySQL千万大表优化实践
- GitHub 标星过万!计算机与网络知识总结电子书下载!
- 盘一盘,那些提效/创意的 vscode 插件
- 基于jenkins实现手动拉取码云代码,实现半自动化部署
- so easy!网页骨架屏自动生成方案(dps)
- 深夜,我偷听到程序员要对session下手……
- CAM 系列论文阅读总结
- kafka客户端指标上报Prometheus方案(已开源)
- 2020-09-25:rust中Point是结构体类型,【let p1=Point{x:25,y:25};let p2=p1;】...
- R语言在BRFSS数据中可视化分析探索糖尿病的影响因素
- R语言可视化探索BRFSS数据并逻辑回归Logistic回归预测中风