首页 > 编程语言 >机器学习中的算法——支持向量机(SVM)

机器学习中的算法——支持向量机(SVM)

时间:2023-12-14 21:22:57浏览次数:34  
标签:直线 分割 SVM 函数 非线性 算法 向量

1.SVM的核心要素

支持向量机是一种二分类模型,他基本模型是定义在特征空间上的间隔最大的线性分类器。
通俗的说很类似于上次讲的那个回归的分类,其实从平面上看也是找一条直线来分割,分割的两边就是分类的结果,只不过这次的分类是找到一条线使得它能够对两旁的点距离最远。

  • 也就是说,离直线最近的点要尽可能远离这条直线,而这些点就是支持向量。

2.SVM中如何找这个线

图解:

图上有三条线,均可以分割两旁的点即分成两类,但是倾斜程度不一样,(这里说的距离都是点到直线的垂直距离)很明显看到红色的线距离两旁离直线最近的点(A,B点)距离都最近,就是说要找的这条线离A最近的同时,B也要最近,比如说绿色这条他虽然和B的距离比红色那条离B近但是它离A太远,黑色那条反之,所以说综合来看红线最好,这就完成了SVM的分类。

3.非线性支持向量机

刚刚说的是用一条直线分割,但是实际情况很多点都是无规律的散部着,所以直线可能不能去分割,比如说

比如这样子如果非要在二维平面上给他分割就只能用高次曲线,所以叫非线性支持向量机。

4.核函数构建非线性支持向量机

核函数(向量内积相同,高斯核函数,Sigmoid核函数,线性核函数,多项式核函数这四种最常见)
我们可以把这些点投影到空间的不同面上,然后用一个平面进行分割(在三维空间中,平面是线性的(相对于曲面))。

5.最后,总结

  • SVM的核心:(二维)找一条线,使得它能够最好的分割开两类点(且这条线离两旁点距离最大),我自认为也可说距离之差的绝对值最大;
  • SVM的非线性:实际情况下,很少由一条直线就可以分开的情况,通常的点都是非线性的,用高次曲线进行分割;
  • 投影到更高维进行用平面分割;
  • 核函数(向量内积相同)(内积就是a·b(点乘)):高斯核函数,Sigmoid核函数,线性核函数,多项式核函数这四种在SVM中最常见;
  • 如果是三维需要更高维就需要超平面。

标签:直线,分割,SVM,函数,非线性,算法,向量
From: https://www.cnblogs.com/cyz666666/p/17902037.html

相关文章

  • 代码随想录算法训练营第二天|977.有序数组的平方、209.长度最小的子数组、59.螺旋矩阵
    LeetCode977有序数组的平方题目链接:977.有序数组的平方思路:双指针,由两侧向中间逼近 LeetCode 209.长度最小的子数组题目链接:209.长度最小的子数组思路:滑动窗口,关键点滑动窗口起始点和终止点位置关系的确定 LeetCode 59.螺旋矩阵题目链接:59.螺旋矩阵关键点:循环处理......
  • 文心一言 VS 讯飞星火 VS chatgpt (156)-- 算法导论12.3 3题
    三、用go语言,对于给定的n个数的集合,可以通过先构造包含这些数据的一棵二叉搜索树(反复使用TREE-INSERT逐个插入这些数),然后按中序遍历输出这些数的方法,来对它们排序。这个排序算法的最坏情况运行时间和最好情况运行时间各是多少?文心一言:在Go语言中,使用二叉搜索树(BST)进行排序......
  • 【机器学习】算法作用与依赖库合集
    算法与库1.决策树:-库: fromsklearn.treeimportDecisionTreeClassifier(分类树) fromsklearn.treeimportDecisionTreeRegressor(回归树)-计算场景:分类和回归问题2.逻辑回归:-库: fromsklearn.linear_modelimportLogisticRegression-......
  • 算法中的复杂度认识O(logn)
    今天在看到O(logn)的时候,先去看了下什么是对数,有一个博主说的特别好,经过勤奋的工作之后,已经忘记了什么是对数。参考百度百科的对数公式:对数公式是数学中的一种常见公式,如果ax=N(a>0,且a≠1),则x叫做以a为底N的对数,记做x=logaN,其中a要写于log右下。其中a叫做对数的底,N叫做真数。通......
  • Python算法——计数排序
    计数排序(CountingSort)是一种非比较性排序算法,适用于对一定范围内的整数进行排序。它通过统计每个元素出现的次数,然后根据统计信息重新构建有序数组。计数排序是一种线性时间复杂度的排序算法,具有稳定性和适用性广泛的特点。本文将详细介绍计数排序的工作原理和Python实现。计数排......
  • R语言贝叶斯Metropolis-Hastings采样 MCMC算法理解和应用可视化案例
    全文链接:https://tecdat.cn/?p=34543原文出处:拓端数据部落公众号贝叶斯MCMC模拟是一个丰富的领域,涵盖了各种算法,共同目标是近似后验模型。例如,使用的rstan包采用了一个HamiltonianMonteCarlo算法。用于贝叶斯建模的另一个rjags包采用了Gibbssampling算法。尽管细节有所不同,但......
  • 算法战斗第二天C++2
    A.NextRound"Contestantwhoearnsascoreequaltoorgreaterthanthek-thplacefinisher'sscorewilladvancetothenextround,aslongasthecontestantearnsapositivescore..."—anexcerptfromcontestrules.Atotalofnpartic......
  • 算法期末复习指北
    目录叠甲声明复习思路模板刷题复习重点基础考点复习选择题前置基础排序与堆动态规划DP贪心图论计算几何FFT字符串其它技巧正式考试一些想法注意事项最后叠甲声明这是一份并不算详细的算法复习指北,不包含算法详细讲解(想看详细讲解的去翻PPT或者找网上博客或者找oi-wiki),也不包含......
  • 代码随想录算法训练营第一天|704.二分查找、27.移除元素
    LeetCode704二分查找题目链接704.二分查找二分法确定区间(循环不变量):对于有序数组,定义循环区间二分查找元素 LeetCode27.移除元素题目链接:27.移除元素快慢指针,快指针查,慢指针存 ......
  • 基于WTMM算法的图像多重分形谱计算matlab仿真
    1.算法运行效果图预览 2.算法运行软件版本matlab2022a 3.算法理论概述       基于WTMM算法的图像多重分形谱计算是一种利用小波变换模极大值(WTMM)方法,对图像进行多重分形分析的方法。下面将详细介绍这种方法的原理和数学公式。 3.1、WTMM算法概述   ......