优化器Optimizer
深度学习常见的是对于梯度的优化,也就是说,优化器最后其实就是各种对于梯度下降算法的优化。 理论部分可以见斯坦福深度学习的课程。这里推荐一个博客,总结了这些优化器的原理以及性能,写的挺好的:An overview of gradient descent optimazation algorithms 从其中讲几个比较常用的,其他的可以自己去看文档。官方文档:Training
Optimizer GradientDescentOptimizer AdagradOptimizer AdagradDAOptimizer MomentumOptimizer AdamOptimizer FtrlOptimizer RMSPropOptimizer
常用的optimizer类
tf.train.Optimizer
优化器(optimizers)类的基类。这个类定义了在训练模型的时候添加一个操作的API。你基本上不会直接使用这个类,但是你会用到他的子类比如GradientDescentOptimizer
, AdagradOptimizer
, MomentumOptimizer
.等等这些。
tf.train.AdamOptimizer
__ init __(learning_rate=0.001, beta1=0.9, beta2=0.999, epsilon=1e-08, use_locking=False, name=‘Adam’)
此函数是Adam优化算法:是一个寻找全局最优点的优化算法,引入了二次方梯度校正。
相比于基础SGD算法,1.不容易陷于局部优点。2.速度更快
tf.train.GradientDescentOptimizer
这个类是实现梯度下降算法的优化器。(结合理论可以看到,这个构造函数需要的一个学习率就行了)
__ init __(learning_rate, use_locking=False,name=’GradientDescent’)
作用:创建一个梯度下降优化器对象 参数:
- learning_rate: A Tensor or a floating point value. 要使用的学习率
- use_locking: 要是True的话,就对于更新操作(update operations.)使用锁
- name: 名字,可选,默认是”GradientDescent”.
tf.train.AdadeltaOptimizer
实现了 Adadelta算法的优化器,可以算是下面的Adagrad算法改进版本
tf.train.AdadeltaOptimizer.init(learning_rate=0.001, rho=0.95, epsilon=1e-08, use_locking=False, name=’Adadelta’)
作用:构造一个使用Adadelta算法的优化器 参数:
- learning_rate: tensor或者浮点数,学习率
- rho: tensor或者浮点数. The decay rate.
- epsilon: A Tensor or a floating point value. A constant epsilon used to better conditioning the grad update.
- use_locking: If True use locks for update operations.
- name: 【可选】这个操作的名字,默认是”Adadelta”
参考:https://blog.csdn.net/zj360202/article/details/70263110 https://blog.csdn.net/xierhacker/article/details/53174558
- [C#1] 2-类型基础
- WCF服务中操作FormsAuthentication的Cookie
- [C#1] 5-属性
- 制作WordPress“带Gravatar头像评论”小工具(集成主题中、含选项)
- 采用CAS原理构建单点登录
- 集中管理远程计算机终端程序
- [C#1] 3-基元类型、引用类型和值类型、装箱拆箱
- 如何封装属于自己的ajax
- [C#1] 4-通用对象操作
- [C#3] 2-var 类型推断
- [C#3] 3-对象和集合初始化器
- 制作WordPress“带Gravatar头像评论”小工具(集成主题中、含选项)
- 移除WordPress 顶部管理菜单左侧的logo 图标
- [C#3] 1-扩展方法
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- 全网首发:12306抢票算法大曝光?(勘误)
- 新一代垃圾回收器ZGC的探索与实践
- Python GUI项目实战(一)登录窗体的设计与实现
- Python GUI项目实战(二)主窗体的界面设计与实现
- Python GUI项目实战(三)实现信息查询功能
- 在 Kubernetes 上使用 Argo 实现 CI/CD
- 微信小程序:授权登录 + 基于token的身份验证详解
- 「最强」Lettuce 已支持 Redis6 客户端缓存
- Go中校验一个字符串是否是有效的JSON字符串
- 在 Vue 中,如何从插槽中发出数据
- Azure DevOps+Docker+Asp.NET Core 实现CI/CD(二.创建CI持续集成管道)
- 这样的奇技淫巧,劝你不用也罢
- 我服务又双叒叕奔溃了,含泪干货分享
- Azure DevOps+Docker+Asp.NET Core 实现CI/CD(一 .简介与创建自己的代理池)
- Android数据库高手秘籍(十二),LitePal的索引功能