首页 > 其他分享 >机器学习原理之 -- 支持向量机分类:由来及原理详解

机器学习原理之 -- 支持向量机分类:由来及原理详解

时间:2024-07-03 16:55:59浏览次数:22  
标签:SVM 泛化 -- 分类 支持 由来 超平面 原理 向量

        支持向量机(Support Vector Machine, SVM)是统计学习理论的一个重要成果,广泛应用于分类和回归问题。SVM以其高效的分类性能和良好的泛化能力在机器学习领域中占据重要地位。本文将详细介绍支持向量机的由来、基本原理、构建过程及其优缺点。

二、支持向量机的由来

        支持向量机的概念最早由Vladimir N. Vapnik和他的同事于20世纪60年代提出,后来在20世纪90年代得到了进一步的发展和推广。SVM的基础源自于统计学习理论中的结构风险最小化原则(Structural Risk Minimization, SRM),旨在通过优化模型复杂度和经验风险的平衡,达到最优的泛化能力。

三、支持向量机的基本原理

1. 线性可分支持向量机

        对于线性可分的数据集,支持向量机通过找到一个最佳的超平面,将不同类别的数据点分开。该超平面最大化了两类数据点之间的间隔,从而提高分类的鲁棒性和泛化能力。

(1) 超平面

        一个超平面可以表示为:

eq?%5Cmathbf%7Bw%7D%20%5Ccdot%20%5Cmathbf%7Bx%7D%20+%20b%20%3D%200

        其中,w是超平面的法向量,b是偏置项,x是数据点。

(2) 间隔

        间隔定义为超平面到最近数据点的距离。支持向量机通过最大化这个间隔来找到最优的超平面。间隔可以表示为:

eq?%5Cgamma%20%3D%20%5Cfrac%7B2%7D%7B%5C%7C%5Cmathbf%7Bw%7D%5C%7C%7D

        最大化间隔的问题可以转化为一个凸优化问题,通过拉格朗日乘子法和KKT条件进行求解。

2. 线性不可分支持向量机

        对于线性不可分的数据集,引入软间隔(Soft Margin)来允许一些数据点位于错误的一侧。软间隔支持向量机通过引入松弛变量eq?%5Cxi_i​,并最小化误分类代价来实现。

        目标函数变为:

eq?%5Cmin_%7B%5Cmathbf%7Bw%7D%2C%20b%2C%20%5Cxi%7D%20%5Cfrac%7B1%7D%7B2%7D%5C%7C%5Cmathbf%7Bw%7D%5C%7C%5E2%20+%20C%20%5Csum_%7Bi%3D1%7D%5E%7Bn%7D%20%5Cxi_i

        约束条件为:

eq?y_i%20%28%5Cmathbf%7Bw%7D%20%5Ccdot%20%5Cmathbf%7Bx%7D_i%20+%20b%29%20%5Cgeq%201%20-%20%5Cxi_i%2C%20%5Cquad%20%5Cxi_i%20%5Cgeq%200

        其中,C是惩罚参数,用于控制间隔和误分类之间的权衡。

3. 非线性支持向量机

        对于非线性数据,引入核函数(Kernel Function)将数据映射到高维空间,在高维空间中寻找最优超平面。常用的核函数包括线性核、多项式核、径向基函数核(RBF)和 sigmoid 核。

        核函数的定义为:

eq?K%28%5Cmathbf%7Bx%7D_i%2C%20%5Cmathbf%7Bx%7D_j%29%20%3D%20%5Cphi%28%5Cmathbf%7Bx%7D_i%29%20%5Ccdot%20%5Cphi%28%5Cmathbf%7Bx%7D_j%29

        其中,eq?%5Cphi是将数据映射到高维空间的映射函数。

四、支持向量机的优缺点

1. 优点

  • 高效的分类性能:SVM在高维空间中寻找最优超平面,能够处理复杂的分类任务。
  • 良好的泛化能力:通过结构风险最小化原则,SVM在避免过拟合的同时具有较好的泛化能力。
  • 适用于高维数据:SVM能够处理维数较高的数据,且有效避免维数灾难。

2. 缺点

  • 计算复杂度高:对于大规模数据集,SVM的训练时间和内存消耗较大。
  • 参数选择困难:核函数的选择和惩罚参数CCC的设定对模型性能影响较大,需要通过交叉验证等方法进行调参。
  • 对缺失数据敏感:SVM对缺失数据较为敏感,需要进行数据预处理。

五、支持向量机的应用

        支持向量机广泛应用于文本分类、图像识别、生物信息学、金融风控等领域。其强大的分类性能和良好的泛化能力使其成为解决复杂分类问题的重要工具。

六、结论

        支持向量机作为一种强大的分类算法,通过引入结构风险最小化原则,在高维空间中寻找最优超平面,实现了高效的分类性能和良好的泛化能力。尽管在大规模数据集和参数选择方面存在一定的挑战,但其在实际应用中依然表现出色。理解和掌握支持向量机的基本原理,有助于更好地应用这一算法解决实际问题。

 

标签:SVM,泛化,--,分类,支持,由来,超平面,原理,向量
From: https://blog.csdn.net/wodertianna/article/details/140077267

相关文章

  • Leetcode秋招冲刺(专题13--15)
    专题13:广度优先搜索题目559:N叉树的最大深度(YES)解题思路:使用广度优先搜索,广度优先搜索的核心就是使用队列queue存储每个根节点,然后再存储孩子节点。给定一个N叉树,找到其最大深度。最大深度是指从根节点到最远叶子节点的最长路径上的节点总数。N叉树输入按层序遍历序......
  • 真太卷了...又开源一款开放API管理工具,支持扩展插件(带私活源码)
     关于API管理工具,相信大家已经都有自己用着顺手的。像国外的Postman,国内有Apifox等等。今天给大家分享的是近期在GitHub比较热门的另一款开放API管理工具:Eoapi。1.Eoapi简介概括来说:这是一款API管理工具,支持扩展插件,简单,开源。Eoapi集合了基础的API管理功能和测试......
  • Yolo
    ONNXformat是什么?ONNX(OpenNeuralNetworkExchange),中文名是开放神经网络交换格式,是一种针对机器学习所设计的开放式的文件格式,用于存储训练好的模型。它使得不同的人工智能框架(如PyTorch、MXNet)可以采用相同格式存储模型数据并交互。ONNX的规范及代码主要由微软、亚马逊、Face......
  • 三菱 FX3U系列PLC输出接线方法
    不管使用哪种型号的三菱PLC,都需要掌握其接线方式,明白三菱PLC所接电源是多少,知道怎么把信号接入到PLC里面,怎么用PLC的输出信号来控制负载,模拟量信号的输入和输出怎么接,等等我们都需要掌握,在了解接线方式前,我们需要先了解此三菱PLC的型号,清楚了型号后我们才能够更好的来接线。如......
  • charles使用
    一.charles简介Charles是一个HTTP代理服务器,HTTP监视器,当浏览器连接Charles的代理访问互联网时,Charles可以监控浏览器发送和接收的所有数据。它允许一个开发者查看所有连接互联网的HTTP通信,这些包括request,response和HTTPheaders(包含cookies与caching信息)二.charles下载安......
  • 模块一
    变量命名规范见名知义下划线命名法(推荐使用),驼峰命名法只能包含字母、数字和下划线,不能以数字开头不能使用保留字基本数据类型整型(integer)和浮点型(float)​ 不可变数据类型(immutable)字符串类型​ 通常使用一对单引号('')或双引号(""),三重引号('''或""")......
  • 代码随想录算法训练营第四十六天 | 买卖股票的最佳时机
    121.买卖股票的最佳时机题目链接文章讲解视频讲解动规五部曲:dp[j][0]:表示持有股票的最大现金,dp[j][1]表示不持有股票的最大现金递推公式:第j天持有股票的最大现金为:之前就持有这只股票和今天持有这只股票取最大值:dp[j][0]=max(dp[j-1][0],-prices[j]);第j天不持有......
  • Cosmopedia: 如何为预训练构建大规模合成数据集
    本文概述了我们在生成含数十亿词元的合成数据集以复现Phi-1.5过程中所遇到的挑战及其解决方案,由此最终创建了Cosmopedia合成数据集。合成数据已成为机器学习社区的C位话题,其题中之义是用人工(如使用大语言模型(LLM))生成的数据模拟真实数据。传统上,构建用于有监督微调和......
  • kafka消息积压处理办法
    首先分析一下它为什么会积压,无非是以下几种情况,写个思路代码中消费者处理消费效率低、kafka参数使用默认、消费者消费能力不足(生产者生产能力过盛)、网络带宽、服务器性能等1、代码质量问题(消费者处理逻辑复杂等)这个问题运维并不好直接验证,处理消费的速度慢,或者说处理的流程相对......
  • OpenAI 向少部分用户推出 GPT-4o(S2S)模型;Meta 发布 3D Gen AI 模型丨 RTE 开发者日报
      开发者朋友们大家好: 这里是「RTE开发者日报」,每天和大家一起看新闻、聊八卦。我们的社区编辑团队会整理分享RTE(Real-TimeEngagement)领域内「有话题的新闻」、「有态度的观点」、「有意思的数据」、「有思考的文章」、「有看点的会议」,但内容仅代表编辑的个人观点,......