梯度下降原理及Python实现
梯度下降算法是一个很基本的算法,在机器学习和优化中有着非常重要的作用,本文首先介绍了梯度下降的基本概念,然后使用Python实现了一个基本的梯度下降算法。梯度下降有很多的变种,本文只介绍最基础的梯度下降,也就是批梯度下降。
实际应用例子就不详细说了,网上关于梯度下降的应用例子很多,最多的就是NG课上的预测房价例子:
假设有一个房屋销售的数据如下:
面积(m^2) 销售价钱(万元)
面积(m^2) |
销售价钱(万元) |
---|---|
123 |
250 |
150 |
320 |
87 |
180 |
根据上面的房价我们可以做这样一个图:
于是我们的目标就是去拟合这个图,使得新的样本数据进来以后我们可以方便进行预测:
对于最基本的线性回归问题,公式如下:
x是自变量,比如说房子面积。θ是权重参数,也就是我们需要去梯度下降求解的具体值。
在这儿,我们需要引入损失函数(Loss function 或者叫 cost function),目的是为了在梯度下降时用来衡量我们更新后的参数是否是向着正确的方向前进,如图损失函数(m表示训练集样本数量):
下图直观显示了我们梯度下降的方向,就是希望从最高处一直下降到最低出:
梯度下降更新权重参数的过程中我们需要对损失函数求偏导数:
求完偏导数以后就可以进行参数更新了:
伪代码如图所示:
好了,下面到了代码实现环节,我们用Python来实现一个梯度下降算法,求解:
y=2x1+x2+3
,也就是求解:
y=ax1+bx2+c
中的a,b,c三个参数 。
下面是代码:
x_train是训练集x,y_train是训练集y, x_test是测试集x,运行后得到如下的图,图片显示了算法对于测试集y的预测在每一轮迭代中是如何变化的:
放大局部后如图:
我们可以看到,线段是在逐渐逼近的,训练数据越多,迭代次数越多就越逼近真实值。
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- spring之为java.util.Properties类型的属性进行赋值
- python之类也是一个对象
- spring之使用命名空间p来简化bean的配置
- SpringBoot 2.X中的@Async和Java8中的completableFuture的使用比较
- c语言之创建字符串的两种方式
- 机器学习-文本分类(1)之独热编码、词袋模型、N-gram、TF-IDF
- spring之自动装配的三种方式
- 机器学习-文本分类(2)-新闻文本分类
- Mysql5.6版本新增列,执行DDL的时候竟然锁表了,这应该是是最好的解决办法之一了!!
- spring之bean的作用域
- spring之spring表达式语言:SpEL
- 反欺诈模型(数据不平衡)
- 基于TypeScript封装Axios笔记(一)
- 一次性清除“知乎”所有DIV
- spring之bean之间的关系