Keras学习系列——神经网络层组件

对Keras提供的对各种层的抽象进行相对全面的概括

1 基础常用层

名称	作用	原型参数
Dense	实现全连接层	Dense(units,activation,use_bias=True, kernel_initializer=’glorot_uniform’, bias_initializer=’zeros’)
Activation	对上层输出应用激活函数	Activation(activation)
Dropout	对上层输出应用dropout以防止过拟合	Dropout(ratio)
Flatten	对上层输出一维化	Flatten()
Reshape	对上层输出reshape	Reshape(target_shape)
Permute	对输入的维度按照指定的顺序交换并重排数据	Permute(dims)
RepeatVector	将输入重复若干次后进行输出	RepeatVector(n)
Lambda	对输入施加TF/TH表达式后输出	Lambda(function, output_shape,arguments=None)
Masking	屏蔽指定的序列值	Masking(mask_value=0.0)

PS1：Dense()参数说明

名称	说明
units	层中单元数，也是输出维度
activation	激活函数
use_bias	是否使用偏置
kernel_initializer	权值初始化方法
bias_initalizer	偏置初始化方法
kernel_regularizer	权值规范化方法
bias_regularizer	偏置规范化方法
activity_regularizer
kernel_constraints	权值约束
bias_constraints	偏置约束

PS2: 预置激活函数/初始化器/正则化器说明

激活函数	初始化器	正则化器
softmax	Zeros 全0	l1
elu	Ones 全1	l2
softplus	Constant 常数	l1_l2
softsign	RandomNormal 正态分布
relu	RandomUniform 平均分布
tanh	TruncatedNormal 无尾正态
sigmoid	Orthogonal 正交矩阵
hard_sigmoid	Identity 单位矩阵
linear	glorot_normal

2 卷积层

层名	作用	原型
Conv1D	1维卷积层	Conv1D(filters, kernel_size, strides=1, padding=’valid’)
Conv2D	2维卷积层	Conv2D（filters, kernel_size, strides=(1, 1), padding=’valid’，dilation_rate=(1, 1))
UpSampling1D	1维上采样，将数据重复指定的次数	UpSampling2D(size=2)
UpSampling2D	2维上采样，将数据在2个维度上重复指定的次数	UpSampling2D(size=(2, 2))
ZeroPadding2D	边界填充0	ZeroPadding2D(padding=(1, 1))

 参数说明：

名称	说明
filters	卷积核的数目（即输出的维度）
kernel_size	卷积核的宽度和长度。如为单个整数，表示在各个空间维度的相同长度
strides	为卷积的步长。如为单个整数，则表示在各个空间维度的相同步长
padding	补0策略，为“valid”, “same”
activation
data_format	channels_first或channels_last之一，代表图像的通道维的位置,默认为channels_last
use_bias
kernel_initializer
bias_initializer
kernel_regularizer
bias_regularizer
activity_regularizer
kernel_constraints
bias_constraints

3 池化层

层名	作用	原型
MaxPooling1D	对1维输入进行最大值池化过滤	MaxPooling1D(pool_size=2, strides=None, padding=’valid’)
AveragePooling1D	对1维输入进行平均池化过滤	AveragePooling1D(pool_size=2, strides=None, padding=’valid’)
MaxPooling2D	对2维输入进行最大值池化过滤	MaxPooling2D(pool_size=(2, 2), strides=None, padding=’valid’, data_format=None)
AveragePooling2D	对3维输入进行平均池化过滤	AveragePooling2D(pool_size=(2, 2), strides=None, padding=’valid’, data_format=None)
GlobalMaxPooling1D	对1维输入进行全局最大值池化过滤	GlobalMaxPooling1D()
GlobalAveragePooling1D	对1维输入进行全局平均值池化过滤	GlobalAveragePooling1D()
GlobalMaxPooling2D	对2维输入进行全局最大值池化过滤	GlobalMaxPooling2D()
GlobalAveragePooling2D	对2维输入进行全局平均值池化过滤	GlobalAveragePooling2D()

2d参数说明

名称	说明
pool_size	过滤器的大小，通常取(2,2)或(3,3)
strides	过滤器的移动步长，取2使得输出shape缩小一半
padding	valid为1填充，same为0填充
data_format	字符串，channels_first或channels_last之一

4 循环层

名称	作用	原型参数
SimpleRNN	全连接RNN网络	SimpleRNN(units, activation=’tanh’, use_bias=True, kernel_initializer=’glorot_uniform’, recurrent_initializer=’orthogonal’, bias_initializer=’zeros’,dropout=0.0, recurrent_dropout=0.0))
GRU	门限循环单元层	GRU(units, activation=’tanh’, recurrent_activation=’hard_sigmoid’, use_bias=True, kernel_initializer=’glorot_uniform’, recurrent_initializer=’orthogonal’, bias_initializer=’zeros’, dropout=0.0, recurrent_dropout=0.0)
LSTM	长短期记忆模型层	LSTM(units, activation=’tanh’, recurrent_activation=’hard_sigmoid’, use_bias=True, kernel_initializer=’glorot_uniform’, recurrent_initializer=’orthogonal’, bias_initializer=’zeros’, unit_forget_bias=True, dropout=0.0, recurrent_dropout=0.0)

5 嵌入层

名称	作用	原型参数
Embedding	嵌入层将输入中的整数转换为向量，导致原维度+1	EmbeddingEmbedding(input_dim, output_dim, embeddings_initializer=’uniform’, embeddings_regularizer=None, activity_regularizer=None, embeddings_constraint=None, mask_zero=False, input_length=None)

 参数说明：
input_dim： 字典长度，即输入数据最大下标+1
output_dim：全连接嵌入的维度
input_length：当输入序列的长度固定时，该值为其长度。如果要在该层后接Flatten层，然后接Dense层，则必须指定该参数，否则Dense层的输出维度无法自动推断。