TensorFlow2.X学习笔记(7)--TensorFlow中阶API之losses、metrics、optimizers、callbacks
一、损失函数
一般来说,监督学习的目标函数由损失函数和正则化项组成。(Objective = Loss + Regularization)
- 对于二分类模型,通常使用的是二元交叉熵损失函数 binary_crossentropy。
- 对于多分类模型,如果label是类别序号编码的,则使用类别交叉熵损失函数 categorical_crossentropy。如果label进行了one-hot编码,则需要使用稀疏类别交叉熵损失函数 sparse_categorical_crossentropy。
1、内置损失函数
内置的损失函数一般有类的实现和函数的实现两种形式。
常用的内置损失函数
-
mean_squared_error
(平方差误差损失,用于回归,简写为 mse, 类实现形式为 MeanSquaredError 和 MSE) -
mean_absolute_error
(绝对值误差损失,用于回归,简写为 mae, 类实现形式为 MeanAbsoluteError 和 MAE) -
mean_absolute_percentage_error
(平均百分比误差损失,用于回归,简写为 mape, 类实现形式为 MeanAbsolutePercentageError 和 MAPE) -
Huber
(Huber损失,只有类实现形式,用于回归,介于mse和mae之间,对异常值比较鲁棒,相对mse有一定的优势) -
binary_crossentropy
(二元交叉熵,用于二分类,类实现形式为 BinaryCrossentropy) -
categorical_crossentropy
(类别交叉熵,用于多分类,要求label为onehot编码,类实现形式为 CategoricalCrossentropy) -
sparse_categorical_crossentropy
(稀疏类别交叉熵,用于多分类,要求label为序号编码形式,类实现形式为 SparseCategoricalCrossentropy) -
hinge
(合页损失函数,用于二分类,最著名的应用是作为支持向量机SVM的损失函数,类实现形式为 Hinge) - kld(相对熵损失,也叫KL散度,常用于最大期望算法EM的损失函数,两个概率分布差异的一种信息度量。
类实现形式为
KLDivergence 或 KLD) -
cosine_similarity
(余弦相似度,可用于多分类,类实现形式为 CosineSimilarity)
2、 自定义损失函数
自定义损失函数接收两个张量
y_true
,y_pred
作为输入参数,并输出一个标量作为损失函数值。
函数形式
python
def focal_loss(gamma=2., alpha=.25):
def focal_loss_fixed(y_true, y_pred):
pt_1 = tf.where(tf.equal(y_true, 1), y_pred, tf.ones_like(y_pred))
pt_0 = tf.where(tf.equal(y_true, 0), y_pred, tf.zeros_like(y_pred))
loss = -tf.sum(alpha * tf.pow(1. - pt_1, gamma) * tf.log(1e-07+pt_1))
-tf.sum((1-alpha) * tf.pow( pt_0, gamma) * tf.log(1. - pt_0 + 1e-07))
return loss
return focal_loss_fixed
类形式
python
class FocalLoss(losses.Loss):
def __init__(self,gamma=2.0,alpha=0.25):
self.gamma = gamma
self.alpha = alpha
def call(self,y_true,y_pred):
pt_1 = tf.where(tf.equal(y_true, 1), y_pred, tf.ones_like(y_pred))
pt_0 = tf.where(tf.equal(y_true, 0), y_pred, tf.zeros_like(y_pred))
loss = -tf.sum(self.alpha * tf.pow(1. - pt_1, self.gamma) * tf.log(1e-07+pt_1))
-tf.sum((1-self.alpha) * tf.pow( pt_0, self.gamma) * tf.log(1. - pt_0 + 1e-07))
return loss
二、评估指标metrics
损失函数除了作为模型训练时候的优化目标,也能够作为模型好坏的一种评价指标。
1、常用的内置评估指标
-
MeanSquaredError
(平方差误差,用于回归,可以简写为MSE,函数形式为mse) -
MeanAbsoluteError
(绝对值误差,用于回归,可以简写为MAE,函数形式为mae) -
MeanAbsolutePercentageError
(平均百分比误差,用于回归,可以简写为MAPE,函数形式为mape) -
RootMeanSquaredError
(均方根误差,用于回归) -
Accuracy
(准确率,用于分类,可以用字符串”Accuracy”表示,Accuracy=(TP+TN)/(TP+TN+FP+FN),要求y_true和y_pred都为类别序号编码) -
Precision
(精确率,用于二分类,Precision = TP/(TP+FP)) -
Recall
(召回率,用于二分类,Recall = TP/(TP+FN)) -
TruePositives
(真正例,用于二分类) -
TrueNegatives
(真负例,用于二分类) -
FalsePositives
(假正例,用于二分类) -
FalseNegatives
(假负例,用于二分类) -
AUC
(ROC曲线(TPR vs FPR)下的面积,用于二分类,直观解释为随机抽取一个正样本和一个负样本,正样本的预测值大于负样本的概率) -
CategoricalAccuracy
(分类准确率,与Accuracy含义相同,要求y_true(label)为onehot编码形式) -
SparseCategoricalAccuracy
(稀疏分类准确率,与Accuracy含义相同,要求y_true(label)为序号编码形式) -
MeanIoU
(Intersection-Over-Union,常用于图像分割) -
TopKCategoricalAccuracy
(多分类TopK准确率,要求y_true(label)为onehot编码形式) -
SparseTopKCategoricalAccuracy
(稀疏多分类TopK准确率,要求y_true(label)为序号编码形式) -
Mean
(平均值) -
Sum
(求和)
2、自定义评估指标
KS指标适合二分类问题,其计算方式为 KS=max(TPR-FPR).
TPR=TP/(TP+FN) , FPR = FP/(FP+TN) TPR曲线实际上就是正样本的累积分布曲线(CDF),FPR曲线实际上就是负样本的累积分布曲线(CDF)。
KS指标就是正样本和负样本累积分布曲线差值的最大值。
函数形式的自定义评估指标
python
#函数形式的自定义评估指标
@tf.function
def ks(y_true,y_pred):
y_true = tf.reshape(y_true,(-1,))
y_pred = tf.reshape(y_pred,(-1,))
length = tf.shape(y_true)[0]
t = tf.math.top_k(y_pred,k = length,sorted = False)
y_pred_sorted = tf.gather(y_pred,t.indices)
y_true_sorted = tf.gather(y_true,t.indices)
cum_positive_ratio = tf.truediv(
tf.cumsum(y_true_sorted),tf.reduce_sum(y_true_sorted))
cum_negative_ratio = tf.truediv(
tf.cumsum(1 - y_true_sorted),tf.reduce_sum(1 - y_true_sorted))
ks_value = tf.reduce_max(tf.abs(cum_positive_ratio - cum_negative_ratio))
return ks_value
y_true = tf.constant([[1],[1],[1],[0],[1],[1],[1],[0],[0],[0],[1],[0],[1],[0]])
y_pred = tf.constant([[0.6],[0.1],[0.4],[0.5],[0.7],[0.7],[0.7],
[0.4],[0.4],[0.5],[0.8],[0.3],[0.5],[0.3]])
tf.print(ks(y_true,y_pred))
类形式的自定义评估指标
python
#类形式的自定义评估指标
class KS(metrics.Metric):
def __init__(self, name = "ks", **kwargs):
super(KS,self).__init__(name=name,**kwargs)
self.true_positives = self.add_weight(
name = "tp",shape = (101,), initializer = "zeros")
self.false_positives = self.add_weight(
name = "fp",shape = (101,), initializer = "zeros")
@tf.function
def update_state(self,y_true,y_pred):
y_true = tf.cast(tf.reshape(y_true,(-1,)),tf.bool)
y_pred = tf.cast(100*tf.reshape(y_pred,(-1,)),tf.int32)
for i in tf.range(0,tf.shape(y_true)[0]):
if y_true[i]:
self.true_positives[y_pred[i]].assign(
self.true_positives[y_pred[i]]+1.0)
else:
self.false_positives[y_pred[i]].assign(
self.false_positives[y_pred[i]]+1.0)
return (self.true_positives,self.false_positives)
@tf.function
def result(self):
cum_positive_ratio = tf.truediv(
tf.cumsum(self.true_positives),tf.reduce_sum(self.true_positives))
cum_negative_ratio = tf.truediv(
tf.cumsum(self.false_positives),tf.reduce_sum(self.false_positives))
ks_value = tf.reduce_max(tf.abs(cum_positive_ratio - cum_negative_ratio))
return ks_value
y_true = tf.constant([[1],[1],[1],[0],[1],[1],[1],[0],[0],[0],[1],[0],[1],[0]])
y_pred = tf.constant([[0.6],[0.1],[0.4],[0.5],[0.7],[0.7],
[0.7],[0.4],[0.4],[0.5],[0.8],[0.3],[0.5],[0.3]])
myks = KS()
myks.update_state(y_true,y_pred)
tf.print(myks.result())
三、优化器optimizers
1、优化器
优化器主要使用apply_gradients
方法传入变量和对应梯度从而来对给定变量进行迭代,或者直接使用minimize方法对目标函数进行迭代优化。
python
# 使用optimizer.apply_gradients
optimizer = tf.keras.optimizers.SGD(learning_rate=0.01)
while tf.constant(True):
with tf.GradientTape() as tape:
y = a*tf.pow(x,2) + b*x + c
dy_dx = tape.gradient(y,x)
optimizer.apply_gradients(grads_and_vars=[(dy_dx,x)])
python
# 使用model.fit
model.compile(optimizer =
tf.keras.optimizers.SGD(learning_rate=0.01),loss = myloss)
history = model.fit(tf.zeros((100,2)),
tf.ones(100),batch_size = 1,epochs = 10) #迭代1000次
python
# 使用optimizer.minimize
def train(epoch = 1000):
for _ in tf.range(epoch):
optimizer.minimize(f,[x])
tf.print("epoch = ",optimizer.iterations)
return(f())
2、内置优化器
深度学习优化算法大概经历了 SGD -> SGDM -> NAG ->Adagrad -> Adadelta(RMSprop) -> Adam -> Nadam 这样的发展历程。
在keras.optimizers子模块中,它们基本上都有对应的类的实现。
-
SGD
, 默认参数为纯SGD, 设置momentum参数不为0实际上变成SGDM, 考虑了一阶动量, 设置 nesterov为True后变成NAG,即 Nesterov Acceleration Gradient,在计算梯度时计算的是向前走一步所在位置的梯度。 -
Adagrad
, 考虑了二阶动量,对于不同的参数有不同的学习率,即自适应学习率。缺点是学习率单调下降,可能后期学习速率过慢乃至提前停止学习。 -
RMSprop
, 考虑了二阶动量,对于不同的参数有不同的学习率,即自适应学习率,对Adagrad进行了优化,通过指数平滑只考虑一定窗口内的二阶动量。 -
Adadelta
, 考虑了二阶动量,与RMSprop类似,但是更加复杂一些,自适应性更强。 -
Adam
, 同时考虑了一阶动量和二阶动量,可以看成RMSprop上进一步考虑了Momentum。 -
Nadam
, 在Adam基础上进一步考虑了 Nesterov Acceleration。
四、回调函数callbacks
tf.keras的回调函数实际上是一个类,一般是在model.fit时作为参数指定,用于控制在训练过程开始或者在训练过程结束,在每个epoch训练开始或者训练结束,在每个batch训练开始或者训练结束时执行一些操作,例如收集一些日志信息,改变学习率等超参数,提前终止训练过程等等。
1、内置回调函数
-
BaseLogger
: 收集每个epoch上metrics在各个batch上的平均值,对stateful_metrics参数中的带中间状态的指标直接拿最终值无需对各个batch平均,指标均值结果将添加到logs变量中。该回调函数被所有模型默认添加,且是第一个被添加的。 -
History
: 将BaseLogger计算的各个epoch的metrics结果记录到history这个dict变量中,并作为model.fit的返回值。该回调函数被所有模型默认添加,在BaseLogger之后被添加。 -
EarlyStopping
: 当被监控指标在设定的若干个epoch后没有提升,则提前终止训练。 -
TensorBoard
: 为Tensorboard可视化保存日志信息。支持评估指标,计算图,模型参数等的可视化。 -
ModelCheckpoint
: 在每个epoch后保存模型。 -
ReduceLROnPlateau
:如果监控指标在设定的若干个epoch后没有提升,则以一定的因子减少学习率。 -
TerminateOnNaN
:如果遇到loss为NaN,提前终止训练。 -
LearningRateScheduler
:学习率控制器。给定学习率lr和epoch的函数关系,根据该函数关系在每个epoch前调整学习率。 -
CSVLogger
:将每个epoch后的logs结果记录到CSV文件中。 -
ProgbarLogger
:将每个epoch后的logs结果打印到标准输出流中。
2、自定义回调函数
可以使用callbacks.LambdaCallback
编写较为简单的回调函数,也可以通过对callbacks.Callback
子类化编写更加复杂的回调函数逻辑。
- 09(01)总结final,多态,抽象类,接口
- 01 Mybatis 的配置和使用
- Oracle总结【视图、索引、事务、用户权限、批量操作】
- 02 使用Mybatis的逆向工程自动生成代码
- 关于ORA-12801,ORA-27090的简单分析(r4笔记第58天)
- Oracle总结【PLSQL学习】
- 01 Maven构建的项目中,把.xml等配置文件添加到编译目录
- Java 语法清单-快速回顾
- 常用的CSS框架
- JsChart组件使用
- 01 Spring Boot 的简单配置和使用
- 浅谈CDN、SEO、XSS、CSRF
- 09(02)总结final,多态,抽象类,接口
- 关于sql_profile中的绑定变量(r4笔记第57天)
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- 浅谈Android Studio3.6 更新功能
- Android 自定义View手写签名并保存图片功能
- android 使用Xml文件定义Shape方式
- Android 判断所有字段是否已经输入的实例
- Android 将网络的Url资源转换为Drawable资源方式
- Android实现动态改变shape.xml中图形的颜色
- 解决android.support.v4.content.FileProvide找不到的问题
- 为Android系统添加config.xml 新配置的设置
- 浅析Android录屏 MediaRecorder
- 实用的网站开发工具导航源码,可以提高工作效率
- Github服务端和客户端完成本地代码上传至Github教程
- 一软在手截图无忧:ShareX截图神器-短小精悍功能完备 自动化任务可截动图截视频
- 使用SurfaceView实现视频弹幕
- 01 CentOS 7.6 切换系统语言
- Android双重SurfaceView实现弹幕效果