一、K近邻算法基础介绍
K近邻算法也是常说的KNN算法，是一种常见的分类和回归算法，当然我们常将其用于分类。是一种监督算法，该算法的内容其实和名字很像，根据邻居来进行判断。有点近朱者赤近墨者黑的意味。
比如我们常说：某个人的工资一般是与其玩的最好的5个朋友(或者说是N个)工资的平均值。
在K近邻算法中也是如此，某个样本的类别是与其最近的K个样本类别的众数，某个样本的值(回归问题中)是与其最近的K个样本的平均值。
上句话中我将三个地方标黑了，这也是K近邻算法中最重要的三个地方，也是KNN算法的三要素：
(1)：k值的选择
(2)：距离的度量(即何为最近)
(3)：决策规则(为什么分类用众数，回归用平均值)
算法介绍：
以使用KNN算法分类为例，给定一个数据集：
其中 是一个k维向量，
为数据
所属的类别。一般