本周从周一开始学习cs231n的相关内容，看完了231n的课程介绍，背景介绍，图像分类的KNN和SVM算法，完成了作业中assignment1的KNN部分的代码（附件），思考总结了KNN的实现原理：即将原本的training data直接作为input读入，获取其中每一个pixel的值，然后对每一个输入的test data，遍历所有的training data，将training data所生成的像素值矩阵与原本的矩阵相减，得到一个样本的距离矩阵，这个距离可以是L1距离，也可是L2距离，不同的问题情景下选取不同的距离表示。对于test data，我们遍历像素矩阵，距离最小的前k的样本的label，然后根据这k个样本的label投票产生最终的答案，在k个样本中，哪个label出现的次数多，哪个作为最终的答案进行预测。
此外，KNN算法还需要讨论超参数K的不同取值，从数据上看，对于CIFAR_10这个数据集而言，最好的超参数为k=7，在这时预测的准确率能到达最大，此外，还有k折交叉验证，即将训练集分为K份，运行K次，每次将不同的集合作为测试集，剩余部分作为验证集，最后的测试结果为K组数据的平均值，这样的好处是具有稳定性和保真性。
此外，分析KNN的时间复杂度可知：时间复杂度为O（NM*col*row*channel），其中n为训练集总数，m为测试数据，row*col为每个训练集像素具有多少像素点，channel为每个像素点有多少个色彩频道，由时间复杂度可知，此方法较为低效，并且准确率得不到保证（k=7时，仅有27.4的准确率）。所以KNN的算法并不是很好的算法，后续的SVM和CNN将解决这一点。
遇到的问题：在最开始接触的时候，配置环境，去Google硬盘注册账号等就用了好长时间，尤其是在Google退出中国大陆之后，注册一个Google账号就显得格外的困难，包括得挂一个加速器才能上到Stanford的官网看笔记等，还是挺艰难的，花了将近一个下午的时间，才把各项的工具都配置好。此外，由于作业都采用的Python的语言书写，对于没学过Python的人来说还是挺困难的，不过在学习中边学边写，边体会代码的含义，问题还是不大的，目前还想是否有必要将代码用C++实现一下。主要的问题就在于上cs231n的课程时，尤其是SVM中的一些内容，设计到了很多之前没听过的概念，比如正则项等，理解起来可能稍显费力。
目前的学习时间是每周三周四周五的下午和晚上，以及周六周日，由于周六军训，所以进度耽搁了一段时间，初步的学习计划是这学期之内完成cs231n的全部内容的学习和作业实现。
标签：KNN,10.23,矩阵,距离,学习,SVM,data,cv From： https://www.cnblogs.com/Lbmttw/p/16821803.html