Keras: model实现固定部分layer,训练部分layer操作
需求:Resnet50做调优训练,将最后分类数目由1000改为500。
问题:网上下载了resnet50_weights_tf_dim_ordering_tf_kernels_notop.h5,更改了Resnet50后,由于所有层均参加训练,导致训练速度慢。实际上只需要训练最后3层,前面的层都不需要训练。
解决办法:
①将模型拆分为两个模型,一个为前面的notop部分,一个为最后三层,然后利用model的trainable属性设置只有后一个model训练,最后将两个模型合并起来。
②不用拆分,遍历模型的所有层,将前面层的trainable设置为False即可。代码如下:
for layer in model.layers[:-3]:
print(layer.trainable)
layer.trainable = False
注意事项:
①尽量不要这样:
layers.Conv2D(filters1, (1, 1), trainable=False)(input_tensor)
因为容易出错。。。
②加载notop参数时注意by_name=True.
补充知识:Keras关于训练冻结部分层
设置冻结层有两种方式。
(不推荐)是在搭建网络时,直接将某层的trainable设置为false,例如:
layers.Conv2D(filters1, (1, 1), trainable=False)(input_tensor)
在网络搭建完成时,遍历model.layer,然后将layer.trainable设置为False:
# 冻结网络倒数的3层
for layer in model.layers[:-3]:
print(layer.trainable)
layer.trainable = False
也可以根据layer.name来确定哪些层需要冻结,例如冻结最后一层和RNN层:
for layer in model.layers:
layerName=str(layer.name)
if layerName.startswith("RNN_") or layerName.startswith("Final_"):
layer.trainable=False
可以在实例化之后将网络层的 trainable 属性设置为 True 或 False。为了使之生效,在修改 trainable 属性之后,需要在模型上调用 compile()。
这是一个例子
x = Input(shape=(32,))
layer = Dense(32)
layer.trainable = False
y = layer(x)
frozen_model = Model(x, y)
# 在下面的模型中,训练期间不会更新层的权重
frozen_model.compile(optimizer='rmsprop', loss='mse')
layer.trainable = True
trainable_model = Model(x, y)
# 使用这个模型,训练期间 `layer` 的权重将被更新
# (这也会影响上面的模型,因为它使用了同一个网络层实例)
trainable_model.compile(optimizer='rmsprop', loss='mse')
frozen_model.fit(data, labels) # 这不会更新 `layer` 的权重
trainable_model.fit(data, labels) # 这会更新 `layer` 的权重
在网络搭建时,可以考虑最后一个分类层命名和分类数量关联,这样当费雷数量方式变化时,model.load_weight(“weight.h5”,by_name=True)不会加载最后一层
以上这篇Keras: model实现固定部分layer,训练部分layer操作就是小编分享给大家的全部内容了,希望能给大家一个参考。
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- goldengate同步无主键无唯一索引表的问题以及解决方案
- goldengate同步无主键无唯一索引表的问题以及解决方案--更新关于附加日志
- 分布式任务调度平台 → XXL-JOB 实战
- PyTorch2:张量的运算
- Django+Vue开发生鲜电商平台之11.首页、商品数量、缓存和限速功能开发
- Oracle私网mtu滚动修改实施方案
- 如何使用GOLDENGATE构建数据库的审计表之一
- [java][Servlet]Servlet 简介-Servlet 到 Spring MVC 的简化之路-Servlet/Tomcat/ Spring 之间的关系
- oracle19c安装脚本.
- GOLDENGATE EXTRACT在DATABASE SWITCHOVER后表现以及处理方案
- JAVA中的23种设计模式(GOF)
- 机器学习第3天:预测汽车的燃油效率
- Oracle GoldenGate 19 Microservices安装、配置以及简单数据同步
- 最小覆盖子串
- 通配符匹配