序言：近期主要帮同事讲解《图解机器学习》，刚拿到这本书觉得内容相比较平常使用的机器学习算法，很多地方讲解得比较奇怪，在认真的读完后，觉得还是有很多重要的东西，因此读了书就想把知识点整理出来，加上一些自己对各种算法的认识，因此这个系列里面有一些个人的理解，若有不对的地方，还请不吝指出，谢谢。

一、机器学习的概念

对于机器学习概念的理解，机器学习主要是从大量的数据中找到数据中潜在的模式或者规律，并利用这样的模式或者规律作用于一些未知的数据。根据数据形式的不同，可以将机器学习分为：

监督学习。
无监督学习。
强化学习。

1.1、监督学习

1.2、无监督学习

1.3、强化学习

强化学习的数据形式与监督学习一致，但是在学习的过程中，不要通过标签评价学习的效果，而是通过自己对预测的结果进行评估。强化学习在机器人的自动控制、计算机游戏中的人工智能等方面有着广泛的应用。

二、机器学习中的典型任务

在机器学习中，典型的任务包括

回归
分类
异常检测
聚类
降维

2.1、回归

2.2、分类

2.3、异常检测

2.4、聚类

聚类也是一类无监督学习问题，是将样本划分到不同的类别中。

常用的聚类算法有：K-Means，谱聚类等。

2.5、降维

降维，是指从高维数据中提取出关键的信息，将其转换为易于计算的低维问题，进而对其进行求解。降维可以分为无监督的降维和有监督的降维。

常用的降维算法有：PCA，SVD等。

三、机器学习的方法

在机器学习中，对于分类问题，通常可以分为两种不同的学习的方法，即：

判别式分类
生成式分类

3.1、判别式分类

3.2、生成式分类

四、机器学习中的各种模型

1、线性模型

2、核模型

'''
Date:20160409
@author: zhaozhiyong
'''
import matplotlib.pyplot as plt
import math

def cal_Gaussian(x, c=0, h=1):
    molecule = (x - c) * (x - c)
    denominator = 2 * h * h
    return math.exp(-molecule / denominator)

x = []

for i in xrange(-40,40):
    x.append(i * 0.5);

score_1 = []
score_2 = []
score_3 = []
score_4 = []

for i in x:
    score_1.append(cal_Gaussian(i,0,1))
    score_2.append(cal_Gaussian(i,5,1))
    score_3.append(cal_Gaussian(i,0,3))
    score_4.append(cal_Gaussian(i,5,3))

plt.plot(x, score_1, 'b--', label="c=0,h=1")
plt.plot(x, score_2, 'k--', label="c=5,h=1")
plt.plot(x, score_3, 'g--', label="c=0,h=3")
plt.plot(x, score_4, 'r--', label="c=5,h=3")

plt.legend(loc="upper right")
plt.xlabel(r"time(hour)")
plt.ylabel("score")
plt.show()

3、层级模型

与参数相关的非参数模型，称为非线性模型。在非线性模型中，有一类是层级模型。层级模型中典型的是神经网络模型。

图解机器学习总结——1、基本概念