简单易学的机器学习算法——线性可分支持向量机
时间:2022-05-04
本文章向大家介绍简单易学的机器学习算法——线性可分支持向量机,主要内容包括一、线性可分支持向量机的概念、二、线性可分支持向量机的原理、2、对偶算法、1、构造带约束的优化问题:、2、计算原始问题的最优解:、3、求分离超平面:、四、实验的仿真、基本概念、基础应用、原理机制和需要注意的事项等,并结合实例形式分析了其使用技巧,希望通过本文能帮助到大家理解应用这部分内容。
一、线性可分支持向量机的概念
线性可分支持向量机是用于求解线性可分问题的分类问题。对于给定的线性可分训练数据集,通过间隔最大化构造相应的凸二次优化问题可以得到分离超平面:
以及相应的分类决策函数
称为线性可分支持向量机。
二、线性可分支持向量机的原理
1、原始问题
支持向量机学习的基本想法是求解能够正确划分训练数据集并且几何间隔最大的分离超平面,这里的间隔最大化又称为硬间隔最大化。
我们可以把这样的问题抽象称为如下的数学表达式:
然而,函数间隔
的取值并不影响最优化问题的解,我们可以取
。则上述的优化问题就可以转化为:
可以将上述的最大化问题转化为最小化问题:
这样的问题是一个凸二次规划的问题。在线性可分情况下,训练数据集的样本点中的分离超平面距离最近的样本点的事例称为支持向量,即满足:
2、对偶算法
对于上述的带约束的优化问题,我们可以引进拉格朗日函数来解决:
这样,原始的问题就转化成一个极小极大问题:
再通过拉格朗日函数的对偶性,将上述的极小极大问题转换成一个极大极小问题:
此时,我们先求
将拉格朗日函数
分别对
和
求偏导,并令其为0,则为
可得:
将上面两个等式带入拉格朗日函数
,得
再求
对
的极大,即:
将这样的最大化问题转化为最小化问题,即为
根据拉格朗日对偶性,通过对偶函数的最优解即可以求出原始函数的最优解:
三、线性可分支持向量机的步骤
1、构造带约束的优化问题:
2、计算原始问题的最优解:
3、求分离超平面:
分类决策平面:
四、实验的仿真
我们通过二次规划来求解上述的带约束的优化问题,对于一个实例:(选自:《统计学习方法》)正例点为
,
,负例点为
,图像为:
(正例点和负例点)
MATLAB代码
%% 基于凸二次规划的线性可分支持向量机
% 清空内存
clear all;
clc;
%简单的测试数据集
X = [3,3;4,3;1,1];
x_1 = X(:,1);
x_2 = X(:,2);
Y = [1,1,-1];%标签
m = size(X);
for i = 1:m(1,1)
X(i,:) = X(i,:)*Y(1,i);
end
%% 对偶问题,用二次规划来求解
H = X*X';
f = [-1;-1;-1];
A = Y;
b = 0;
lb = zeros(3,1);
% 调用二次规划的函数
[x,fval,exitflag,output,lambda] = quadprog(H,f,[],[],A,b,lb);
% 求原问题的解
n = size(x);
w = x' * X;
for i = 1:n(1,1)
if x(i,1) > 0
b = Y(1,i)-w*X(i,:)'*Y(1,i);
break;
end
end
% 求出分离超平面
y_1 = [0,4];
for i = 1:2
y_2(1,i) = (-b-w(1,1)*y_1(1,i))./w(1,2);
end
hold on
plot(y_1,y_2);
for i = 1:3
if Y(1,i) == 1
plot(x_1(i,:),x_2(i,:),'+r');
elseif Y(1,i) == -1
plot(x_1(i,:),x_2(i,:),'og');
end
end
axis([0,7,0,7])
hold off
分类的结果:
(最终的分类超平面)
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- Python 技术篇-文件操作:本地文件重命名
- 3种方法加密Python文件
- 用两个栈实现队列
- Python+selenium 自动化-selenium自带的截图功能
- PyQt5 技巧篇-便于文字排版的等宽字体推荐,中文为英文两倍宽字体
- php List()函数及json_encode时无法转为数组的问题
- Python 技术篇-邮件发送并展示本地图片
- PHP变量传递值的方法
- Python 技术篇-邮件发送各种类型的附件
- PHP循环语句
- Markdown简易教程
- 【剑指Offer】表示数值的字符串
- JetBrains 集成开发环境常用插件-快捷键-内存优化
- Hugo Travis
- hugo-站点变量