TensorFlow 深度学习笔记 从线性分类器到深度神经网络
时间:2022-04-21
本文章向大家介绍TensorFlow 深度学习笔记 从线性分类器到深度神经网络,主要内容包括Limit of Linear Model、Neural network、Deep Neural Network、优化:、About t-model、Avoid Overfit、基本概念、基础应用、原理机制和需要注意的事项等,并结合实例形式分析了其使用技巧,希望通过本文能帮助到大家理解应用这部分内容。
Limit of Linear Model
- 实际要调整的参数很多
如果有N个Class,K个Label,需要调整的参数就有(N+1)K个
- Linear Model不能应对非线性的问题
- Linear Model的好处
- GPU就是设计用于大矩阵相乘的,因此它们用来计算Linear Model非常efficient
- Stable:input的微小改变不会很大地影响output
- 求导方便:线性求导是常数
- 我们希望参数函数是线性的,但整个model是非线性的
- 所以需要对各个线性模型做非线性组合
- 最简单的非线性组合:分段线性函数(RELU)
Neural network
- 用一个RELU作为中介,一个Linear Model的输出作为其输入,其输出作为另一个Linear Model的输入,使其能够解决非线性问题
- 神经网络并不一定要完全像神经元那样工作
- Chain Rule:复合函数求导规律
- Lots of data reuse and easy to implement(a simple data pipeline)
- Back propagation
- 计算train_loss时,数据正向流入,计算梯度时,逆向计算
- 计算梯度需要的内存和计算时间是计算train_loss的两倍
Deep Neural Network
Current two layer neural network:
优化:
- 优化RELU(隐藏层), wider
- 增加linear层,layer deeper
- Performance: few parameters by deeper
- 随层级变高,获得的信息越综合,越符合目标
About t-model
- t-model只有在有大量数据时有效
- 今天我们才有高效的大数据训练方法:Better Regularization
- 难以决定适应问题的神经网络的规模,因此通常选择更大的规模,并防止过拟合
Avoid Overfit
Early Termination
- 当训练结果与验证集符合度下降时,就停止训练
Regulation
- 给神经网络里加一些常量,做一些限制,减少自由的参数
- L2 regularization
在计算train loss时,增加一个l2 norm作为新的损失,这里需要乘一个β(Hyper parameter),调整这个新的项的值
Hyper parameter:拍脑袋参数→_→
- l2模的导数容易计算,即W本身 DropOut 最近才出现,效果极其好
- 从一个layer到另一个layer的value被称为activation
- 将一个layer到另一个layer的value的中,随机地取一半的数据变为0,这其实是将一半的数据直接丢掉
- 由于数据缺失,所以就强迫了神经网络学习redundant的知识,以作为损失部分的补充
- 由于神经网络中总有其他部分作为损失部分的补充,所以最后的结果还是OK的
- More robust and prevent overfit
- 如果这种方法不能生效,那可能就要使用更大的神经网络了
- 评估神经网络时,就不需要DropOut,因为需要确切的结果
- 可以将所有Activation做平均,作为评估的依据
- 因为我们在训练时去掉了一半的随机数据,如果要让得到Activation正确量级的平均值,就需要将没去掉的数据翻倍
觉得得我的文章对您有帮助的话,就给个star吧~
- 在jfinal中使用druid,并配置查看权限
- java中遇到过的String的一些特性
- Kaggle案例——使用scikit-learn解决DigitRecognition问题
- 基于Kaggle数据的词袋模型文本分类教程
- javascript中遇到的字符串对象处理
- 传统企业站开发 - 页面布局
- AngularJS中使用service,并同步数据
- 2016.05 第四周 群问题分享
- angularjs中 *.min.js.map 404的问题
- Git与通过Git添加提交文件
- Facebook社交网络R语言分析
- 初次使用AngularJS中的ng-view,路由控制
- Android Hook技术防范漫谈
- 美团点评基于Storm的实时数据处理实践
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法