一、分类算法中的损失函数

1、0-1损失函数

2、Log损失函数

2.1、Log损失

2.2、Logistic回归算法的损失函数

2.3、两者的等价

3、Hinge损失函数

3.1、Hinge损失

Hinge损失是0-1损失函数的一种代理函数，Hinge损失的具体形式如下：

max(0,1−m)

运用Hinge损失的典型分类器是SVM算法。

3.2、SVM的损失函数

3.3、两者的等价

4、指数损失

4.1、指数损失

指数损失是0-1损失函数的一种代理函数，指数损失的具体形式如下：

exp(−m)

运用指数损失的典型分类器是AdaBoost算法。

4.2、AdaBoost基本原理

4.3、两者的等价

5、感知损失

5.1、感知损失

感知损失是Hinge损失的一个变种，感知损失的具体形式如下：

max(0,−m)

运用感知损失的典型分类器是感知机算法。

5.2、感知机算法的损失函数

感知机算法只需要对每个样本判断其是否分类正确，只记录分类错误的样本，其损失函数为：

5.3、两者的等价

Hinge损失对于判定边界附近的点的惩罚力度较高，而感知损失只要样本的类别判定正确即可，而不需要其离判定边界的距离，这样的变化使得其比Hinge损失简单，但是泛化能力没有Hinge损失强。

import matplotlib.pyplot as plt
import numpy as np

xmin, xmax = -4, 4
xx = np.linspace(xmin, xmax, 100)
plt.plot([xmin, 0, 0, xmax], [1, 1, 0, 0], 'k-', label="Zero-one loss")
plt.plot(xx, np.where(xx < 1, 1 - xx, 0), 'g-', label="Hinge loss")
plt.plot(xx, np.log2(1 + np.exp(-xx)), 'r-', label="Log loss")
plt.plot(xx, np.exp(-xx), 'c-', label="Exponential loss")
plt.plot(xx, -np.minimum(xx, 0), 'm-', label="Perceptron loss")

plt.ylim((0, 8))
plt.legend(loc="upper right")
plt.xlabel(r"Decision function $f(x)$")
plt.ylabel("$L(y, f(x))$")
plt.show()

参考文章

Advice for applying Machine Learning

机器学习中的常见问题——损失函数