博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
支持向量机(SVM)(三)-- 最优间隔分类器(optimal margin classifier)
阅读量:5054 次
发布时间:2019-06-12

本文共 676 字,大约阅读时间需要 2 分钟。

在之前为了寻找最有分类器,我们提出了例如以下优化问题:

clip_image057[6]

在这里我们能够把约束条件改写成例如以下:

clip_image058[6]

首先我们看以下的图示:

clip_image067[6]

非常显然我们能够看出实线是最大间隔超平面,如果×号的是正例,圆圈的是负例。在虚线上的点和在实线上面的两个一共这三个点称作支持向量。如今我们结合KKT条件分析下这个图。

clip_image048[6]

我们从式子和式子能够看出假设那么

这个也就说明时。w处于可行域的边界上,这时才是起作用的约束。

 

1、那我们如今能够构造拉格朗日函数例如以下:

clip_image068[6]

注意到这里仅仅有没有是由于原问题中没有等式约束,仅仅有不等式约束。

2、接下来我们对w和b分别求偏导数。

    clip_image071[6]

    clip_image072[6]

    并得到

    clip_image073[6]

3、将上式带回到拉格朗日函数中得到:

clip_image074[6]

 

因为clip_image072[6],因此简化为

    clip_image075[6]

 

4、如今我们得到了关于w和b的能够最小化的等式。我们在联合这个參数,当然他的条件还是>=0,如今我们能够得到例如以下的二元优化等式了:

5、如今你还必须知道我们之前解说的条件一是,二是KKT条件:

clip_image037[6]

 

非常显然存在w使得对于全部的i,。因此,一定存在使得是原问题的解。是对偶问题的解。

    假设求出了(也就是clip_image082[10]),依据

clip_image073[6]

就可以求出w(也是,原问题的解)。然后

    clip_image084[6]

    就可以求出b。即离超平面近期的正的函数间隔要等于离超平面近期的负的函数间隔。

 

6、如今我们在看另外一个问题:

 

因为clip_image073[6]

所以clip_image089[6]

这里我们将向量内积表示为

如今能够看出我要计算等式的话就仅仅须要计算向量的内积就好了。同一时候要是 在支持向量上面的话。那么,这样就更简单了,因此非常多的值都是0。

转载于:https://www.cnblogs.com/liguangsunls/p/6705066.html

你可能感兴趣的文章
BZOJ 1200 木梳
查看>>
【Linux】【C语言】菜鸟学习日志(一) 一步一步学习在Linxu下测试程序的运行时间...
查看>>
hostname
查看>>
SpringBoot使用其他的Servlet容器
查看>>
关于cookie存取中文乱码问题
查看>>
mysql 多表管理修改
查看>>
group by order by
查看>>
Oracle学习之简单查询
查看>>
log4j配置
查看>>
linux 配置SAN存储-IPSAN
查看>>
java学习笔记之String类
查看>>
pymysql操作mysql
查看>>
Linux服务器删除乱码文件/文件夹的方法
查看>>
牛腩记账本core版本源码
查看>>
Word Break II
查看>>
UVA 11082 Matrix Decompressing 矩阵解压(最大流,经典)
查看>>
jdk从1.8降到jdk1.7失败
查看>>
一些关于IO流的问题
查看>>
mongo备份操作
查看>>
8 -- 深入使用Spring -- 3...1 Resource实现类InputStreamResource、ByteArrayResource
查看>>