机器学习的数学基础之线代

时间:2019-03-19
本文章向大家介绍机器学习的数学基础之线代,主要包括机器学习的数学基础之线代使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。

参考:https://zhuanlan.zhihu.com/p/25197792
概述:以计算机为工具和平台,以数据为研究对象,以学习方法为中心;是概率论、线性代数、数值计算、信息论、最优化理论和计算机科学等多个领域的交叉学科

线代

  • 标量:一个单独的数,一般用小写的的变量名称表示
  • 向量:一列数,这些数是有序排列的。用过次序中的索引,我们可以确定每个单独的数。通常会赋予向量粗体的小写名称。
  • 矩阵:二维数组,其中的每一个元素被两个索引而非一个所确定。我们通常会赋予矩阵粗体的大写变量名称,比如A。 如果一个实数矩阵高度为m,宽度为n,那么我们说 AϵRm×nA\epsilon R^{m\times n}
  • 张量:基于向量和矩阵的推广,可视标量为零阶张量,矢量为一阶张量,矩阵为二阶张量
  • 所有运算和优化算法几乎都是基于张量进行的。
  • 范数(norm) 的函数衡量矩阵大小。Lp 范数如下:

    L1范数和L2范数很常见,主要用在损失函数中起到一个限制模型参数复杂度的作用
  • 特征分解是使用最广的矩阵分解之一,将矩阵分解成一组特征向量特征值
    方阵A的特征向量是指与A相乘后相当于对该向量进行缩放的非零向量ν\nu
    Aν=λνA\nu =\lambda \nu 标量\lambda 被称为这个特征向量对应的特征值。
    使用特征分解去分析矩阵A时,得到特征向量构成的矩阵V和特征值构成的向量λ\lambda ,我们可以重新将A写作:
    A=Vdiag(λ)V1A=Vdiag\left( \lambda \right) V^{-1}