首页 > 其他分享 >SVM笔记1:SVM中超平面的理解!

SVM笔记1:SVM中超平面的理解!

时间:2022-12-26 14:31:19浏览次数:39  
标签:SVM 笔记 距离 超平面 平面 向量


一、什么是超平面

SVM笔记1:SVM中超平面的理解!_二维

以上是三维为例子。 通过查阅资料对超平面有了一定的认识, 

SVM笔记1:SVM中超平面的理解!_统计学习_02

维空间中的超平面由下面的方程确定:

                                                                                             

SVM笔记1:SVM中超平面的理解!_SVM_03

其中,

SVM笔记1:SVM中超平面的理解!_Machine_04

 和 

SVM笔记1:SVM中超平面的理解!_Machine Learning_05

 都是 

SVM笔记1:SVM中超平面的理解!_统计学习_06

维列向量,

SVM笔记1:SVM中超平面的理解!_Machine Learning_05

 为平面上的点,

SVM笔记1:SVM中超平面的理解!_Machine_04

为平面上的法向量,决定了超平面的方向,

SVM笔记1:SVM中超平面的理解!_统计学习_09

 是一个实数,代表超平面到原点的距离。并且有:                                                                                 

SVM笔记1:SVM中超平面的理解!_Machine Learning_10

那么,

SVM笔记1:SVM中超平面的理解!_统计学习_11

 为什么是法向量呢?

SVM笔记1:SVM中超平面的理解!_统计学习_12

 为什么表示平面到原点的距离呢?下面给出详细解释: 我们对“平面”概念的理解,一般是定义在三维空间中的,即                                                                               

SVM笔记1:SVM中超平面的理解!_二维_13

这个平面由两个性质定义:

  • 方程是线性的,是由空间点的各分量的线性组合。
  • 方程数量是1。这个平面是建立在“三维”上的。如果我们撇开“维度”这个限制,那么就有了超平面的定义。

实际上,超平面是纯粹的数学概念,不是物理概念,它是平面中的直线、空间中的平面的推广,只有当维度大于3,才称为“超平面”。它的本质是自由度比空间维度小1。自由度的概念可以简单的理解为至少要给定多少个分量的值才能确定一个点. 例如, 三维空间里的(超)平面只要给定了 

SVM笔记1:SVM中超平面的理解!_二维_14

 中任意两个分量, 剩下的一个的值就确定了. 先确定值的两个分量是自由的, 因为它们想取什么值就能取什么值;剩下的那个是"不自由的", 因为它的值已经由另外两确定了. 二维空间里的超平面为一条直线. 一维空间里超平面为数轴上的一个点。

在李航老师的《 统计学习方法》一书给出如下说明:

SVM笔记1:SVM中超平面的理解!_二维_15

其中 

SVM笔记1:SVM中超平面的理解!_Machine_04

 和 

SVM笔记1:SVM中超平面的理解!_Machine Learning_05

 都是 

SVM笔记1:SVM中超平面的理解!_Machine_18

维列向量 

SVM笔记1:SVM中超平面的理解!_Machine_19

 为平面上的点 

SVM笔记1:SVM中超平面的理解!_二维_20

 为平面的法向量。

SVM笔记1:SVM中超平面的理解!_统计学习_12

 是一个实数,代表平面与原点之间的距离。 所以显而易见: 二维平面就是 

SVM笔记1:SVM中超平面的理解!_SVM_22

   即 

SVM笔记1:SVM中超平面的理解!_Machine_23

 (直线方程!) 

二、点到超平面的距离

样本空间中的任意一点

SVM笔记1:SVM中超平面的理解!_Machine_24

,到超平面 

SVM笔记1:SVM中超平面的理解!_二维_25

 的距离,可以表示为                                                                                               

SVM笔记1:SVM中超平面的理解!_SVM_26

点到超平面上的点为什么这么计算呢?我在这里再具体说一下。推导过程并不繁琐(这里以三维空间为例), 点到平面的距离公式(可以作为类比):

                                                                            

SVM笔记1:SVM中超平面的理解!_SVM_27

SVM笔记1:SVM中超平面的理解!_二维_28

 注意:上面利用了向量内积的等价替换,例如下面2个向量做内积。

                                                     

SVM笔记1:SVM中超平面的理解!_二维_29

三、判断超平面的正反

一个超平面可以将它所在的空间分为两半, 它的法向量指向的那一半对应的一面是它的正面, 另一面则是它的反面。如果利用数学来判断的话,需要利用到法向量

SVM笔记1:SVM中超平面的理解!_Machine Learning_30


SVM笔记1:SVM中超平面的理解!_Machine Learning_31

 若将距离公式中分子的绝对值去掉, 让它可以为正为负. 那么, 它的值正得越大, 代表点在平面的正向且与平面的距离越远. 反之, 它的值负得越大, 代表点在平面的反向且与平面的距离越远。

  • 下一讲:
  1. ​​SVM笔记2:硬间隔手写详细推导​​
  2. ​​SVM笔记3:软间隔手写详细推导​​
  3. ​​SVM笔记4:Support Vector Domain Description(SVDD)支持向量数据域描述​​
  4. ​​SVM笔记:Support Vector Machine​​

参考文献

  • 李航老师的统计学习!
  • ​​理解超平面(SVM开篇之超平面详解)​​

标签:SVM,笔记,距离,超平面,平面,向量
From: https://blog.51cto.com/u_15866474/5968925

相关文章

  • 『ML笔记』深入浅出字典学习1(Dictionary Learning)
    目录​​一、预备知识​​​​二、字典学习以及稀疏表示的概要​​ ​​2.1、我们为什么需要字典学习?​​​​2.2、我们为什么需要稀疏表示?​​​​三、下一节​​​​参考......
  • 模态分析理论基础笔记
    introduce模态分析是研究结构动力特性的一种方法。模态是指机械结构的固有振动特性,一阶模态都对应特定的固有频率、阻尼比和振型。得到这些模态参数的过程就是模态分析。......
  • CMU15-445:Lecture #06 笔记
    Lecture#6:BufferPools本文是对CMU15-445课程第5节笔记的一个粗略总结和翻译。仅供个人(M1kanN)复习使用。1.IntroductionDBMS的任务是管理内存和从磁盘移入移......
  • 新增随笔主题-阅读笔记
    看书,专业书,自学,从《深入理解计算机系统》开始,但是这本书目前不在身边,所以只好从《操作系统导论》开始主要是感觉有点闲了,或者换个说法,能自由支配的时间很多,找工作暂时也不......
  • Android笔记--文本显示
    文本显示设置文本内容方式一:在.xml文件中利用android:text属性设置文本新创建一个.xml文件示范一下:方式二:在java代码中调用文本视图对象的setText方法设置文本......
  • .NET 云原生架构师训练营(基于 OP Storming 和 Actor 的大型分布式架构二)--学习笔记
    目录为什么我们用OrleansDaprVSOrleansActor模型Orleans的核心概念结合OPStorming的实践结合OPStorming的实践业务模型设计模型代码实现业务模型......
  • CMU15-445:Lecture #05 笔记
    Lecture#5:StorageModels&Compression本文是对CMU15-445课程第5节笔记的一个粗略总结和翻译。仅供个人(M1kanN)复习使用。本节课介绍了数据库压缩操作,这个知识点......
  • charles学习笔记
    一:认识Charles1:Charles是什么?CharlesisanHTTPproxy/HTTPmonitor/ReverseProxythatenablesadevelopertoviewalloftheHTTPandSSL/HTTPStrafficb......
  • 学习笔记——刷题小记
    2022.12.25550D-RegularBridge*1900+构造+图论。评分虚高,属于比较一眼的题;主要考察构造能力,与图论关联不大,不过涉及到了“割边”的知识,这个图论标签打的没太大毛......
  • 【数据挖掘】心跳信号分类预测My_Task5 模型融合 笔记
    5.2内容介绍​​https://mlwave.com/kaggle-ensembling-guide/​​https://github.com/MLWave/Kaggle-Ensemble-Guide模型融合是比赛后期一个1重要的环节,大体来说有如下......