caffe详解之softmax层
时间:2022-07-22
本文章向大家介绍caffe详解之softmax层,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
从零开始,一步一步学习caffe的使用,期间贯穿深度学习和调参的相关知识!
softmax layer
softmax layer: 输出似然值
layers {
bottom: "cls3_fc"
top: "prob"
name: "prob"
type: "softmax"
}
公式如下所示:
softmax-loss layer:输出loss值
layer {
name: "loss"
type: "SoftmaxWithLoss"
bottom: "ip1"
bottom: "label"
top: "loss"
loss_param{
ignore_label:0
normalize: 1
normalization: FULL
}
}
公式如下所示:
loss_param 说明:
- ignore_label int型变量,默认为空。 如果指定值,则label等于ignore_label的样本将不参与Loss计算,并且反向传播时梯度直接置0.
- normalize bool型变量,即Loss会除以参与计算的样本总数;否则Loss等于直接求和
- normalization enum型变量,默认为VALID,具体代表情况如下面的代码。
enum NormalizationMode {
// Divide by the number of examples in the batch times spatial dimensions.
// Outputs that receive the ignore label will NOT be ignored in computing the normalization factor.
FULL = 0;
// Divide by the total number of output locations that do not take the
// ignore_label. If ignore_label is not set, this behaves like FULL.
VALID = 1;
// Divide by the batch size.
BATCH_SIZE = 2;
//
NONE = 3;
}
(1) 未设置normalization,但是设置了normalize:
normalize==1
: 归一化方式为VALID
normalize==0
: 归一化方式为BATCH_SIZE
(2)一旦设置normalization
,归一化方式则由normalization
决定,不再考虑normalize
。
其他说明
softmax的上溢与下溢
对于softmax
的计算公式来说,对于比较小的输入数据来说是没有什么问题的,但是针对指数函数的特点,对于较大或者较小的数据进行softmax
计算会出现数据上溢与下溢的问题。计算机中浮点数的最大表示位数为2^64
,如果超过此数会产生上溢inf
,同样数据小于2^(-64)计算机在计算过程中会产生下溢-inf
。举个例子:
- 对于[3,1,-3],直接计算是可行的,我们可以得到(0.88,0.12,0)。
- 对于[1000,1000,1000],我们会得到inf(上溢);
- 对于[-1000,-999,-1000],我们会得到-inf(下溢)。
softmax解决上溢与下溢的办法
对任意a都成立,这意味着我们可以自由地调节指数函数的指数部分,一个典型的做法是取输入向量中的最大值:a=max{x1,x2…..xn}
这可以保证指数最大不会超过0,于是避免了上溢。即便剩余的部分下溢出了,加了a之后,也能得到一个合理的值。
并且softmax
不受输入的常数偏移影响,即softmax(x)=softmax(x+c)证明如下:
参考
softmax函数计算时候为什么要减去一个最大值? caffe层解读系列-softmax_loss(http://blog.csdn.net/shuzfan/article/details/51460895)
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法