• Tensorflow提供了多种激活函数,在CNN中,人们主要是用tf.nn.relu,是因为它虽然会带来一些信息损失,但是性能较为突出.开始设计模型时,推荐使用tf.nn.relu,但高级用户也可创建自己的激活函数.评价某个激活函数是否有用时,需要考虑的因素有:

1. 该函数应是单调的, 这样输出便会随着输入的增长而增长,从而使利用梯度下降法寻找局部极值点成为可能.
2. 该函数应是可微分的,以保证该函数定义域内的任意一点上导数都存在,从而使得梯度下降法能够正常使用来自这类激活函数的输出.

在这里插入图片描述

tf.nn.relu

tf.nn.relu(features, name = None)

• 解释：这个函数的作用是计算激活函数relu，即max(features, 0)。所有负数都会归一化为0，所以的正值保留为原值不变
• 优点在于不受"梯度消失"的影响,且取值范围在[0,+oo]
• 缺点在于使用了较大的学习速率时,易受达到饱和的神经元的影响

使用例子

import tensorflow as tf

a = tf.constant([-1.0, 2.0])
with tf.Session() as sess:
    b = tf.nn.relu(a)
    print(sess.run(b))
    # [0.  2.]

输入参数：● features: 一个Tensor。数据类型必须是：float32，float64，int32，int64，uint8，int16，int8。● name: （可选）为这个操作取一个名字。

输出参数：● 一个Tensor，数据类型和features相同。

tf.sigmoid

tf.sigmoid(x, name = None)

• 解释：这个函数的作用是计算 x 的 sigmoid 函数。具体计算公式为

• 函数的返回值位于区间[0.0 , 1.0]中,当输入值较大时,tf.sigmoid将返回一个接近于1.0的值,而当输入值较小时,返回值将接近于0.0.
• 优点在于对在真实输出位于[0.0,1.0]的样本上训练的神经网络,sigmoid函数可将输出保持在[0.0,1.0]内的能力非常有用.
• 缺点在于当输出接近于饱和或者剧烈变化是对输出返回的这种缩减会带来一些不利影响.
• 当输入为0时,sigmoid函数的输出为0.5,即sigmoid函数值域的中间点

使用例子

import tensorflow as tf

a = tf.constant([[-1.0, -2.0], [1.0, 2.0], [0.0, 0.0]])
sess = tf.Session()
print(sess.run(tf.sigmoid(a)))

# [[ 0.26894143  0.11920292]
#  [ 0.7310586   0.88079703]
#  [ 0.5         0.5       ]]

输入参数：● x: 一个Tensor。数据类型必须是float，double，int32，complex64，int64或者qint32。● name: （可选）为这个操作取一个名字。

输出参数：● 一个Tensor，如果 x.dtype != qint32 ，那么返回的数据类型和x相同，否则返回的数据类型是 quint8

tf.tanh

tf.tanh(x, name = None)

• 解释：这个函数的作用是计算 x 的 tanh 函数。具体计算公式为

• tanh和tf.sigmoid非常接近,且与后者具有类似的优缺点,tf.sigmoid和tf.tanh的主要区别在于后者的值为[-1.0,1.0]
• 优点在于在一些特定的网络架构中,能够输出负值的能力十分有用.
• 缺点在于注意tf.tanh值域的中间点为0.0,当网络中的下一层期待输入为负值或者为0.0时,这将引发一系列问题.

使用例子

import tensorflow as tf

a = tf.constant([[-1.0, -2.0], [1.0, 2.0], [0.0, 0.0]])
sess = tf.Session()
print(sess.run(tf.tanh(a)))
# [[-0.76159418 -0.96402758]
#  [ 0.76159418  0.96402758]
#  [ 0.          0.        ]]

输入参数：● x: 一个Tensor。数据类型必须是float，double，int32，complex64，int64或者qint32。● name: （可选）为这个操作取一个名字。

输出参数：● 一个Tensor，如果 x.dtype != qint32 ，那么返回的数据类型和x相同，否则返回的数据类型是 quint8 .

tf.nn.dropout

tf.nn.dropout(x, keep_prob, noise_shape = None, seed = None, name = None)

• 解释：这个函数虽然不是激活函数，其作用是计算神经网络层的dropout。一个神经元将以概率keep_prob决定是否放电，如果不放电，那么该神经元的输出将是0，如果该神经元放电，那么该神经元的输出值将被放大到原来的1/keep_prob倍。这里的放大操作是为了保持神经元输出总个数不变。比如，神经元的值为[1, 2]，keep_prob的值是0.5，并且是第一个神经元是放电的，第二个神经元不放电，那么神经元输出的结果是[2, 0]，也就是相当于，第一个神经元被当做了1/keep_prob个输出，即2个。这样保证了总和2个神经元保持不变。
• 默认情况下，每个神经元是否放电是相互独立的。但是，如果noise_shape被修改了，那么他对于变量x就是一个广播形式，而且当且仅当 noise_shape[i] == shape(x)[i] ，x中的元素是相互独立的。比如，如果 shape(x) = [k, l, m, n], noise_shape = [k, 1, 1, n] ，那么每个批和通道都是相互独立的，但是每行和每列的数据都是关联的，即要不都为0，要不都还是原来的值。一荣俱荣,一损俱损.

使用例子

import tensorflow as tf
# tf.nn.dropout(x, keep_prob, noise_shape = None, seed = None, name = None)
a = tf.constant([[-1.0, 2.0, 3.0, 4.0]])
with tf.Session() as sess:
    b = tf.nn.dropout(a, 0.5, noise_shape=[1, 4])  # 第0维相互独立，第1维相互独立
    print(sess.run(b))
    b = tf.nn.dropout(a, 0.5, noise_shape=[1, 1])  # 第0维相互独立，第1维不是相互独立的
    print(sess.run(b))
    # 第一次
    # [[-0.  4.  0.  0.]]
    # [[-2.  4.  6.  8.]]
    # 第二次
    # [[-2.  0.  6.  8.]]
    # [[-0.  0.  0.  0.]]

输入参数：● x: 一个Tensor。● keep_prob: 一个 Python 的 float 类型。表示元素是否放电的概率。● noise_shape: 一个一维的Tensor，数据类型是int32。代表元素是否独立的标志。● seed: 一个Python的整数类型。设置随机种子。● name: （可选）为这个操作取一个名字。

输出参数：● 一个Tensor，数据维度和x相同。

异常：● 输入异常: 如果 keep_prob 不是在(0, 1]区间，那么会提示错误。