梯度下降法基本推导--机器学习最基本的起点

时间:2022-06-24
本文章向大家介绍梯度下降法基本推导--机器学习最基本的起点,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。

仍然是一篇入门文,用以补充以前文章中都有意略过的部分。 之前的系列中,我们期望对数学并没有特别喜好的程序员,也可以从事人工智能应用的开发。但走到比较深入之后,基本的数学知识,还是没办法躲过的。

导言

所有的深度学习,始于一个最简单的公式:

[ y=ax+b ]

如果不理解的,可以去看一下房价预测的例子。

简单说:y是要预测的房价,x是房子的平米数。a是每平米的房价,b是基本费用。

这个公式每当有一个房子的平米数,预测出来一个y,就是房子的总价格。当然作为简化的举例,这里排除了很多更复杂的因素。

所以,作为小学数学的课程,这是一个很简单的房价方程式。

然后机器学习的重点来了。 在常见的方程式中,y是计算结果不用说了,x从来都当做未知数,a/b是常量,常量在方程式中也是已知量的意思。 而在机器学习中,我们会有一大批用于学习的数据。仍以这个杜撰的房价预测为例,我们手头会有大量房间平米数、房价的对应样本。所以房价y是已知量,房间平米数x也不再是未知数,而成为了已知量。 反过来作为常量的a/b,我们并不知道,也就是未知数。 单纯从符号系统来看,这个公式太诡异了,已知数变成了未知数,未知数变成了已知数。 但也不过是就这么一点点不适应,作为程序员,用惯了各种奇怪的变量名,x/y声明为常量,a/b当做求解的未知数,也没有什么好奇怪的对不对?

只要适应了这一点点,接下来就没有什么好神奇的了。 公式(y=ax+b)中,有a/b两个未知数,常识告诉我们,其实不需要很多样本,有两组样本,足以求得两个未知数了。比如两组样本为: 公寓A,30平米,房价69万。公寓B,90平米,房价195万。还是老话,先别在意这两个数据合不合理,以及房价包含的很多复杂因素。 那么,列出的方程组为:

[ begin{equation} begin{cases} 69=30a+b \ 195=90a+b end{cases} end{equation} ]

这样的方程,应当可以秒解吧?万一忘了怎么解方程也没关系,再附送一个python版本的解方程:

from sympy import *

a,b = symbols("a b")
s1 = solve([Eq(69,30*a+b),Eq(195,90*a+b)],[a,b])
print("a=",s1[a].evalf(),"    b=",s1[b].evalf())

最后的结果:

a= 2.10000000000000     b= 6.00000000000000

现在a/b两个常量,终于是真正的常量了。之后再利用这个公式,就能够用来预测房价了。

小结一下: 机器学习,就是利用样本中的已知量,求解方程中常量系数的过程。 机器学习完成后,人工智能的预测过程,是使用在学习过程中求得的常量,通过计算输入的特征值x,得出预测值y的过程。

未知数无限多的方程

那说了这么多,这跟梯度下降有啥关系呢? 事情是这样的,在上面简单的例子中,只有一个特征值x,和两个未知数(两个常量系数需要求解),我们很容易就能解方程。 但在人工智能系统中,特征值可能有很多,比如一幅224x224的彩色图片,就是224x224x3(色深)=150528个特征值。至少有150529个常量需要求解。 用公式来表示会是这样:

[ y = a_1x_1+a_2x_2+a_3x_3+ ... +a_{150528}x_{150528}+b ]

推广一下:

[ y = a_1x_1+a_2x_2+a_3x_3+ ... +a_nx_n+b ]

这个公式还能化简,现在特征值是(x_1)一直到(x_n)。

我们人为设置一个内置的特征值(x_0),值一直是1。这样常量b也就能统一进来了,因为(bx_0 = 1b = b)。而把b换一个名字换成(a_0),不用担心这个名字换来换去,因为求解出来,都是一个固定的常量,叫什么名字都不重要。那整个方程就等于:

[ begin{align} y &= a_0x_0+a_1x_1+a_2x_2+a_3x_3+ ... +a_nx_n \ &= sum_{i=0}^na_ix_i end{align} ]

这样看起来更舒服,也更有代表性。

这样情况下,要求的未知数可多了,使用通常的解方程方式已经无法满足这个要求。此时,梯度下降法已经可以粉墨登场了。

假设函数

我们首先要引入两个概念,先说第一个:假设函数。 假设函数的意思是指,我们使用一组特征值x(x是简写,实际上是(x_1)一直到(x_n)),通过上述的计算公式,可以得到一个结果y'。为什么是y'而不直接是y呢?因为我们公式中所有的权重值(a_0)至(a_n)还没有确定的值,所以求得的y',跟实际上的y必然还不同。 整理一下,我们把假设函数列出来,公式中h,是英语假设Hypothesis的缩写:

[ y' = h_a(x) = sum_{i=0}^na_ix_i ]

刚才的数学公式,我们一直延续了小学生的习惯,为了跟机器学习课程的统一,我们再次重命名一下常量名称,用希腊字母θ代替我们一直使用的英文字母a。这是为了便于我们跟同行的交流,以及学习其它课程。那么再次列出改名后的公式:

[ y' = h_θ(x) = sum_{i=0}^nθ_ix_i ]

损失函数

上面说到,我们使用一组样本的特征值x,可以求得一个目标值y'。因为公式中,我们的常量值尚未求得正确结果,所以此时y'跟正式的y值,肯定是不同的。那么两者的差异,就是“损失”。求得两者差异的函数,就是“损失函数”。也即:

[ l(θ) = (y' - y)^2 = (h_θ(x) - y)^2 ]

l是损失(loss)的缩写。这里的差值再取平方就是大名鼎鼎的“方差”,是为了保证结果是一个正数。因为我们肯定希望这个“损失”值越小越好,最好是0,0表示无差别。如果出现了负数,那负的越多,结果实际上更恶劣了。

如果只有一组样本,我们不可能求得很多的未知数,但幸运的是,我们通常都有很多组数据样本。

这也是很多大佬口中说:拥有数据就拥有未来的意思。

在多组样本的情况下,科学表达损失值的方法有很多,常见的是均方差(Mean Squared Error)。均方差并非最好,但易懂易用,就是累计m组样本的方差,再求平均值:

[ J(θ) = frac1msum_{i=1}^m(h_θ(x^{(i)}) - y^{(i)})^2 ]

这里的J是均方差损失的意思,汇总了所有样本的表现。

损失函数也经常被称为代价函数Cost Function。但两者实际还是有细微区别。不过现在混用已经如此普及,我们就不吹毛求疵了。

为了后续的计算方便,我们把上面公式前面再增加一个1/2,后续化简的时候你会看到这个1/2的作用。在这里,我们期望的J(θ)是无限接近于0,所以前面增加1/2不会影响J(θ)的结果。

[ J(θ) = frac1{2m}sum_{i=1}^m(h_θ(x^{(i)}) - y^{(i)})^2 ]

梯度下降求解

对每一个要求解的量θ,同损失函数值之间,都有一个函数关系图示如下:

当然这是一个极度理想化的图,只有一个全局的最低点。实际上大多复杂的机器学习问题,其图示关系都如同重峦叠嶂,有很多个低谷,不理解的可以参考以下题头图。那会导致我们很容易到达了一个局部最优解之后陷入在那里,而不是全局最优,这种情况不在本文讨论。 梯度下降是微分中的一个概念,在这里应用的大意是,我们把每一个θ的取值范围,都划分为很多份,每一份的宽度我们称为动态∂,其实际宽度是由微分步长α决定的,我们一步步尝试改变θ的值,直至求得的损失值J(θ)最小,无限接近于0。 根据微分公式变形得到的θ迭代公式为:

[ θ_j := θ_j - αfrac∂{∂θ_j}J(θ) ]

这个公式的原理不详细解释了,你知道是由微分公式推导得来的就好。这里面的J是表示第J个未知数θ的意思。

我们看公式中α步长后面的部分:

[ begin{align} frac∂{∂θ_j}J(θ) & = frac∂{∂θ_j}frac1{2m}sum_{i=1}^m(h_θ(x^{(i)}) - y^{(i)})^2 \ 化简后 \ & = sum_{i=1}^m(h_θ(x^{(i)}) - y^{(i)})x_j^i end{align} ]

因为有人为添加的1/2的原因,这个化简让公式变得相对简单。所以对于确定的每一个θ,我们的梯度下降求值公式为:

[ begin{cases} θ_0 := θ_0 - αsum_{i=1}^m(h_θ(x^{(i)}) - y^{(i)})^i \ θ_1 := θ_1 - αsum_{i=1}^m(h_θ(x^{(i)}) - y^{(i)})x_1^i \ θ_2 := θ_2 - αsum_{i=1}^m(h_θ(x^{(i)}) - y^{(i)})x_2^i \ ...... \ θ_j := θ_j - αsum_{i=1}^m(h_θ(x^{(i)}) - y^{(i)})x_j^i \ θ_n := θ_n - αsum_{i=1}^m(h_θ(x^{(i)}) - y^{(i)})x_n^i \ end{cases} ]

上面公式第一行还记得(x_0)恒定为1吗?所以那里并没有(x_0)。随后有多少个要求解的θ,就有多少行公式。

从数学角度上说,这些公式没有疑问。从编程上说,有一个提醒。那就是这些公式在求取权重系数θ的时候,每一行求取一个新的θ的过程中,所使用计算假设函数的θ,是在上一个循环中固定下来的那个θ值,所有行的θ均为如此。直到所有这一个批次的θ值计算完成后,整体θ才可以代入到公式,从而参与下一个循环的计算。不能每计算一个θ值,就单独的代入到公式中,那样梯度下降就永远找不到方向了。

总结

说了这么多,梯度下降就是一种解方程的方法,特别对应于机器学习这种,因为数据集特征维度超多导致的方程式权重系数量大,无法使用传统方式求解的问题。 公式的推导和解释只是为了对机器学习的底层逻辑理解的更为清楚,实际上在各个机器学习框架中,这些工作都已经由框架帮我们完成了,并且封装了很多种经典的算法,以适应不同的习惯和不同的工作。我们更多的是灵活运用即可。 当然还是期望出现更多的基础数学专家,在基础方程和解方程方面取得突破,相信每一次的收获,对于这个计算密集的领域来说都是里程碑式的。