首页 > 编程语言 >机器学习算法(一)之KNN算法理论

机器学习算法(一)之KNN算法理论

时间:2023-06-08 18:03:47浏览次数:33  
标签:KNN 机器 样本 距离 算法 类别 进行


KNN算法又称为K近邻算法,是机器学习中比较简单的数据挖掘算法,其基本思想也简单,将“距离相近的,判定为同一类”,在整个样本空间中,k个最为接近的样本,大多数属于同一类别。
对其进行一个细致的理解如下:
如果在操场中心有一只羊,在以它为中心的周围,分布着奶牛和山羊,现在要对这只羊进行分类,如果以50M为半径画圆弧,发现范围内有10只羊,2头奶牛,如果以100m为半径进行画圆弧,发现范围内有20头奶牛,5只羊,根据比例来看,前者羊的数量占总数5/6,后者样的数量占1/5,因此我们可以判定中心这个就是羊,计算的半径是通过不断地迭代进行的选择。在不断的半径选择过程中选择类别所占比例的最大部分的种类作为中心的类别label。
KNN算法理论:
(1)计算样本空间的中数据集中点与当前点的距离,这里的距离是欧几里得距离
(2)对距离进行递增的排序,选取与当前待确定的点,距离最为接近的K个样本点,进行范围内样本的类别统计。
(3)选取样本中数据类别最大的数据对应的类别作为待分类的数据的分类结果。
这就是KNN算法的所有计算理论,其实还是很好的理解,下一次我们对具体的python的代码进行一下系统的分析。对手写数字进行一下分类,对代码进行一下理解。
详细内容请关注博主公众号:AI初学者的学习笔记
AI学习的道路上一起学习进步~


标签:KNN,机器,样本,距离,算法,类别,进行
From: https://blog.51cto.com/u_13638291/6442046

相关文章

  • 关于CV算法岗就业相关问题,精华回答分享
    粉丝提问:你好,看星球上做前端,后端,java的人比较多,好像没有看到有多少人做算法,我现在已经毕业了,是一名cv算法工程师,但是我现在很苦恼,感觉自己代码能力很弱,每次都是拿别人的开源代码跑一跑,不会复现论文,也不知道怎么做优化,想请教一下,该怎么去培养自己复现论文的能力,以及怎么去做算法......
  • m基于自适应修复算法的AODV-SAR路由协议matlab性能仿真
    1.算法仿真效果matlab2022a仿真结果如下:2.算法涉及理论知识概要AODV-SAR,Self-AdaptiveRepair定义1自修复节点:任意选取路径S→A→B→C→D为MANET中一条业务传输路径,其中节点S为该传输路径的源节点,节点D为该传输路径的目的节点。如果在某一时间,节点B和节点C之间的路径发生......
  • m基于自适应修复算法的AODV-SAR路由协议matlab性能仿真
    1.算法仿真效果matlab2022a仿真结果如下:    2.算法涉及理论知识概要AODV-SAR,Self-AdaptiveRepair          定义1自修复节点:任意选取路径S→A→B→C→D为MANET中一条业务传输路径,其中节点S为该传输路径的源节点,节点D为该传输路径的目的节点。如果在某......
  • 机器翻译​
    机器翻译现成工具:沙拉查词机器翻译原理最佳翻译会意会的机器翻译:你有算法,我有意会 现成工具:沙拉查词网页:https://saladict.crimx.com/大赞,Google浏览器最好用的扩展之一! 机器翻译原理如果一个事件的概率会因为某个条件而产生变化,那在这个条件发生的情况下,这个事件发生的概率......
  • QuasarRAT-windows下远程控制工具 之前用过 生成Client.exe 然后远控你的机器
    QuasarRAT-windows下远程控制工具怀揣梦想的大鸡腿2018-02-2810:00:314873收藏1分类专栏:安全版权资源:https://github.com/quasar/QuasarRATQuasar是一种用C#编码的快速轻量级远程管理工具。Quasar提供高稳定性和简单易用的用户界面,是远程管理解决方案。就一开源的远控......
  • 联邦学习算法介绍-FedAvg详细案例-Python代码获取
    联邦学习算法介绍-FedAvg详细案例-Python代码获取一、联邦学习系统框架二、联邦平均算法(FedAvg)三、联邦随梯度下降算法(FedSGD)四、差分隐私随联邦梯度下降算法(DP-FedSGD)五、差分隐私联邦平均算法(DP-FedAVG)六、FedAVG案例附代码1)案例背景2)参数设置3)结果展示4)代码详解七、完整......
  • FTL潜规则:调优,才是算法精华
    前言在存储领域中有一个FTL的概念,这是一种Flash的内存管理算法,属于各个厂商的核心机密,每个厂商的处理方式不同,有的处理简单,有的处理复杂。FTL,即FlashTranslationslayer,也就是闪存转换层,可以完成从逻辑地址到物理地址的转换,简称为映射。 为什么需要FTL因为Flash的质量参差......
  • 基于OpenSSL(GMSSL)的国密算法的应用
    ===基于OpenSSL(GMSSL)的国密算法的应用1.gmssl介绍GmSSL是一个开源的加密包的python实现,支持SM2/SM3/SM4等国密(国家商用密码)算法、项目采用对商业应用友好的类BSD开源许可证,开源且可以用于闭源的商业应用。2.安装gmssl包相关包网址:https://pypi.org/project/gmssl/在终端输......
  • 《机器学习实战》学习笔记(4)—— Logistic 回归
    1Logistic回归算法描述工作原理:为了实现Logistic回归分类器,可以在每个特征上都乘以一个回归系数,然后把所有结果的值相加,将这个总和带入Sigmoid函数中,进而得到一个范围在0-1之间的数值。任何大于0.5的数据被分入1类别,任何小于0.5的数据被分入0类别。Logistic回归也可以被看......
  • 《机器学习实战》学习笔记(3)—— 朴素贝叶斯
    1朴素贝叶斯算法描述工作原理:对于给出的待分类项,求解在此项出现的条件下各个类别出现的概率,哪个最大,就认为此待分类项属于哪个类别。2计算概率的伪代码计算每个类别中的文档数目:对每篇训练文档:对每个类别:If词条出现在文档中:增加该词条的计数值......