首页 > 其他分享 >机器学习-线性分类-支持向量机SVM-软间隔-13

机器学习-线性分类-支持向量机SVM-软间隔-13

时间:2023-12-18 22:45:28浏览次数:28  
标签:约束条件 13 感知器 间隔 样本 SVM 超平面 向量

目录

1. 总结 SVM

SVM算法的基础是感知器模型,
感知器模型 与 逻辑回归的不同之处?
逻辑回归 sigmoid(θx) 映射到 0-1之间给出预测概率
感知器分类 sign(θx) 输出θx的符号, +1 或者-1 给出x是属于正样本还是负样本
直接输出 θx的值就是 线性回归

感知器 模型 只要能将寻找到这样的一个超平面 将正样本与负样本能够区分开来就行,
而SVM不仅要能区分 而且还要能使得 距离超平面最进的点 到达这样的一个超平面距离最大

这也就是一个 二次优化的问题, 先找最近的点,再通过这些最近的点,确定最终的超平面。
显然 SVM 具有比 感知器 更优的泛化能力


寻找这样的 模型参数 w b(也就是θ), 使得 最近的点 Xmin Ymin 到达 参数确定的的平面 距离尽可能的远,这样得到的参数θ 就是最终的完美的

仔细品味下这张图:

超平面的法向量 w 是方向的 通过W b 就能唯一确定一个平面

简单总结下:
求解W b 转化成 求解α*

m条样本 就有m个α

α求得之后 可直接 求得W

通过那些不为0的α 带入后 可求得b 取平均 得到b

以上的求解 叫做 硬间隔SVM
下面讲解 软间隔svm

2. 软间隔svm

有些时候 噪声 会造成 线性 不可分

正样本 负样本 在边界处 相互渗透 这就导致 没法用 上面的SVM 意味着找不到一个合格的超平面

引入松弛变量 提出松弛变量ξi≥0(每个数据点自己有一个ξi)

这样就至少肯定有好多的 w 和 b 满足条件了
ξ代表异常点嵌入间隔面的深度, 我们要在能选出符合约束条件的最好的 w 和 b 的同时,让
嵌入间隔面的总深度越少越好

问题转化成:

约束条件 变成了两个

构造拉格朗日函数:

问题转化成对偶问题:

先求 L 函数对 w,b,ξ的极小值,再求其对α和μ的极大值

得到:

与硬间隔 SVM一样的表达式 只不过约束条件不一样

最终问题换成:

与之前相比,只是多了个约束条件而已,仍然可以使用 SMO 来求解

结论:

C是一个系数
损失函数两部分更侧重于哪一部分

标签:约束条件,13,感知器,间隔,样本,SVM,超平面,向量
From: https://www.cnblogs.com/cavalier-chen/p/17912549.html

相关文章

  • 不容错过的 13 个顶级 C++ 程序库
    不容错过的13个顶级C++程序库Incredibuild​已认证账号​关注 135人赞同了该文章关于C++,不论是其长达40年的发展历史,或者C++是高级还是低级编程语言的争论等等,这些内容都已老生常谈。如果你对C++库有所研究,不用我多说,大家也都心中......
  • 发布 VectorTraits v1.0, 它是C#下增强SIMD向量运算的类库
    发布VectorTraitsv1.0,它是C#下增强SIMD向量运算的类库zyl910吃瓜群众​关注 你经常看C#话题的内容发布VectorTraitsv1.0,它是C#下增强SIMD向量运算的类库VectorTraits:SIMDVectortypetraitsmethods(SIMD向量类型的特征方法).N......
  • 12.13
    UserMapperpackagecom.example.mapper;importcom.example.pojo.Agent;importcom.example.pojo.Customer;importcom.example.pojo.House;importcom.example.pojo.Users;importorg.apache.ibatis.annotations.*;importjava.util.List;@Mapperpublicinterf......
  • 11.13
    今天完成了一个分级测试,主要功能如下:(1)能够在Tomcat服务器中正确部署,并通过浏览器查看;(2)网站页面整体风格统一;(3)首页(登录页)要求实现不同用户登录后,进入的功能页不相同。(4)教师功能页:有添加课程、修改个人信息、浏览选课学生信息三个模块。(5)学生功能页:有修改个人信息、浏览课程......
  • day13
    1.今日内容今日内容:0、有参装饰器1、迭代器2、生成器3、面向过程编程4、表达式三表达式列表生成式生成器表达式2.有参装饰器importtimecurrent_user={'username':None,#'login_time':None}#装饰器最多......
  • 《产品平台和CBB管理高级实务》公开课(深圳2024年1月12-13日)
    【课程收益】解决的关键问题:在研发体系建设、研发管理,以及产品开发过程中,研发管理人员、系统工程师、项目经理等通常会面临以下问题,希望通过本课程的学习,能够为以上人员提供具体的解决思路和应对措施。①.   为了满足不同用户的需求,长期积累下来的产品型号和物料种类繁......
  • 【K哥爬虫普法】北京某公司惨遭黑客攻击13000000余次,连夜报警……
     我国目前并未出台专门针对网络爬虫技术的法律规范,但在司法实践中,相关判决已屡见不鲜,K哥特设了“K哥爬虫普法”专栏,本栏目通过对真实案例的分析,旨在提高广大爬虫工程师的法律意识,知晓如何合法合规利用爬虫技术,警钟长鸣,做一个守法、护法、有原则的技术人员。案情介绍“我啥......
  • DP1363F高性能、多协议NFC读卡IC
     DP1363F是一款高度集成的非接触读写芯片,集强大的多协议支持、最高射频输出功率,以及突破性技术低功耗卡片检测等优势于一身,满足市场对更高集成度、更小外壳和互操作性的需求,适用于银行、电子政务、交通、移动支付等众多基础设施应用。相关参数DP1363F支持下列操作模式:•读写......
  • 云原生向量计算引擎 PieCloudVector:为大模型提供独特记忆
    拓数派大模型数据计算系统(PieDataComputingSystem,缩写:πDataCS)在10月24日程序员节「大模型数据计算系统」2023拓数派年度技术论坛正式发布。πDataCS以云原生技术重构数据存储和计算,「一份存储,多引擎数据计算」,让AI模型更大更快,全面升级大数据系统至大模型时代。除云原生虚拟数......
  • 12.13
    UserMapperpackagecom.example.mapper;importcom.example.pojo.Agent;importcom.example.pojo.Customer;importcom.example.pojo.House;importcom.example.pojo.Users;importorg.apache.ibatis.annotations.*;importjava.util.List;@Mapperpublicinterfa......