优化器Optimizer

时间:2022-06-19
本文章向大家介绍优化器Optimizer,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。

深度学习常见的是对于梯度的优化,也就是说,优化器最后其实就是各种对于梯度下降算法的优化。 理论部分可以见斯坦福深度学习的课程。这里推荐一个博客,总结了这些优化器的原理以及性能,写的挺好的:An overview of gradient descent optimazation algorithms 从其中讲几个比较常用的,其他的可以自己去看文档。官方文档:Training

Optimizer GradientDescentOptimizer AdagradOptimizer AdagradDAOptimizer MomentumOptimizer AdamOptimizer FtrlOptimizer RMSPropOptimizer

常用的optimizer类

tf.train.Optimizer

优化器(optimizers)类的基类。这个类定义了在训练模型的时候添加一个操作的API。你基本上不会直接使用这个类,但是你会用到他的子类比如GradientDescentOptimizer, AdagradOptimizer, MomentumOptimizer.等等这些。

tf.train.AdamOptimizer

__ init __(learning_rate=0.001, beta1=0.9, beta2=0.999, epsilon=1e-08, use_locking=False, name=‘Adam’)

此函数是Adam优化算法:是一个寻找全局最优点的优化算法,引入了二次方梯度校正。

相比于基础SGD算法,1.不容易陷于局部优点。2.速度更快

tf.train.GradientDescentOptimizer

这个类是实现梯度下降算法的优化器。(结合理论可以看到,这个构造函数需要的一个学习率就行了)

__ init __(learning_rate, use_locking=False,name=’GradientDescent’)

作用:创建一个梯度下降优化器对象 参数:

  • learning_rate: A Tensor or a floating point value. 要使用的学习率
  • use_locking: 要是True的话,就对于更新操作(update operations.)使用锁
  • name: 名字,可选,默认是”GradientDescent”.

tf.train.AdadeltaOptimizer

实现了 Adadelta算法的优化器,可以算是下面的Adagrad算法改进版本

tf.train.AdadeltaOptimizer.init(learning_rate=0.001, rho=0.95, epsilon=1e-08, use_locking=False, name=’Adadelta’)

作用:构造一个使用Adadelta算法的优化器 参数:

  • learning_rate: tensor或者浮点数,学习率
  • rho: tensor或者浮点数. The decay rate.
  • epsilon: A Tensor or a floating point value. A constant epsilon used to better conditioning the grad update.
  • use_locking: If True use locks for update operations.
  • name: 【可选】这个操作的名字,默认是”Adadelta”

参考:https://blog.csdn.net/zj360202/article/details/70263110 https://blog.csdn.net/xierhacker/article/details/53174558