本笔记介绍机器学习中的KNN（K-NearestNeighbors，K近邻算法）文章目录思想工作原理K值选择交叉验证类似K-means的肘部法经验选择法/奇数优先加权KNN距离度量欧氏距离（EuclideanDistance）特点曼哈顿距离（ManhattanDistance）特点切比雪夫距离（ChebyshevDistance）特点

一.填空题（共3题，60分）(填空题)支持向量到超平面的距离之和称之为。我的答案：(1)间隔(填空题)支持向量机的核心思想是（最大化/最小化）间隔。我的答案：(1)最大化(填空题)函数可以作为核函数。我的答案：(1)满足Mercer定理条件

一、降维的概念    降维是一种减少数据集中特征数量的技术，目的是减少计算复杂性，同时尽量保留原始数据的重要信息。降维通常用于高维数据集，其中可能包含成千上万个特征。降维可以分为两类：一类是特征选择，指从现有特征中选择一个子集的过程，不创建新的特征；另一类是特征提

介绍t-SNE（t-distributedStochasticNeighborEmbedding）是一种用于高维数据可视化的非线性降维技术。它由LaurensvanderMaaten和GeoffreyHinton在2008年提出。t-SNE的主要目的是将高维空间中的数据点映射到二维或三维空间中，同时尽可能保持数据点之间的相对距离，使得相

        空间是我们生活和存在的基础。我们所熟悉的三维空间由长度、宽度和高度构成，通过这三个维度，我们可以描述和理解我们周围的世界。然而，科学家和哲学家们提出了更多维度的概念，这些维度在我们的直觉之外，似乎超出了我们对空间的常规认识。在这篇文章中，我们将探讨1到1

1.支持向量机SupportVectorMachine（SVM）是一种对数据二分类的线性分类器，目的是寻找一个超平面对样本进行分割，广泛应用人像识别，手写数字识别，生物信息识别。二维空间分割界是一条直线，在三维空间是一个平面，在本文中为了方便起见，把二维空间也称为超平面。2.SVM求解是一个含有不

降维的动机从k-近邻算法的角度看降维如果给定测试样本\(x\)与最近邻样本\(z\)，那么正确率就为\[P(acc)=P(c_1=c_2|x,z)=\sum{c\in\mathcal{C}}P(c_1=c_2=c|x,z)=\sum_{c\in\mathcal{C}}P(c_1=c|x)P(c_2=c|z)\]如果在度量空间中满足密采样假

大侠幸会，在下全网同名「算法金」0基础转AI上岸，多个算法赛Top「日更万日，让更多人享受智能乐趣」t-SNE（t-DistributedStochasticNeighborEmbedding）是一种用于降维和数据可视化的非线性算法。它被广泛应用于图像处理、文本挖掘和生物信息学等领域，特别擅长处理高维数

原文链接：https://zhuanlan.zhihu.com/p/402766063作为轻量化网络的经典网络，MobileNet自诞生就被广泛应用于工业界。笔者也经常在结构设计中使用MobileNet的诸多设计思想。本文参考众多大神文章，较详细介绍MobileNet系列的设计及改进思想，力求温故知新，举一反三。MobileNetV1Mobil

目录参考:流形假设(ManifoldHypothesis)在介绍流形学习（Manifoldlearning）之前，首先需要理解一个假设，就是流形假设(ManifoldHypothesis)。这个假设认为，高维数据很多都是低维流形嵌入（embedding）于高维空间当中，比如说三维空间里的各种平面或者曲面，虽然这些平面或者曲面处于三

数据降维是指通过保留数据的重要信息，将高维数据转换为低维数据的过程。这有助于减少数据的复杂性、提高计算效率、消除噪音等。以下是一些常见的数据降维方法：1、主成分分析（PrincipalComponentAnalysis,PCA）：PCA是一种线性降维技术，它通过找到数据中的主成分来减少维度。

多任务级联通过级联（即顺序连接）不同的任务来改善整体模型性能。这种方法通常涉及将几个相关的任务组织成一个流水线，其中每个任务的输出都作为下一个任务的输入。多任务级联的核心思想是利用不同任务之间的内在联系和互补信息，以此来增强模型的泛化能力和提高特定任务的精度。

1.背景介绍支持向量机（SupportVectorMachines，SVM）是一种常用的二分类和多分类的机器学习算法，它通过寻找数据集中的支持向量来将不同类别的数据分开。SVM的核心思想是将输入空间中的数据映射到高维空间，从而使数据更容易被线性分离。这种映射是通过核函数（kernelfunction）来实现的。

统计学和机器学习在处理数据和模型时的侧重点确实有一些区别，其中涉及到低维和高维空间的问题。统计学强调低维空间问题的统计推导：统计学通常关注的是从一组有限样本中获得总体特征的推断。在传统统计学中，数据通常被认为是在低维空间中采样的，即特征的数量相对较少。例如，在古典

前言我们通常接触到的维度是\(1\sim3\)维，我们的认知大部分都是从这些维度得到的，虽然我们常常会想象高维空间的事物，但是难免有一些不同之处。我们理解一个事物，通常要转换为图像，但是高维空间的事物显然我们无法在脑海中形成图像，只能用数学来解释。正文先放结论：在极高维度下，球的

前言我们通常接触到的维度是\(1\sim3\)维，我们的认知大部分都是从这些维度得到的，虽然我们常常会想象高维空间的事物，但是难免有一些不同之处。我们理解一个事物，通常要转换为图像，但是高维空间的事物显然我们无法在脑海中形成图像，只能用数学来解释。正文先放结论：在极高维度下，球的

约定\(K\)维空间中，整点的坐标以\(K\)个整数表示，形如\[Point\left(X_1,X_2,\cdots,X_k\right)\]定义两个点的曼哈顿距离为每一维坐标差的绝对值之和，记为\[MD\left(A,B\right)=\sum_{i=1}^{K}\left|{X_{i_A}-X_{i_B}}\right|\]定义两个点\(A\),\(B\)相邻当且仅当

线性可分下图有两种类型的数据，红色和蓝色。在kNN中，对于一个测试数据，我们用来测量它与所有训练样本的距离，并取距离最小的一个。测量所有的距离需要大量的时间，存储所有的训练样本需要大量的内存。但是考虑到图像中给出的数据，我们需要那么多吗?考虑另一个想法。我们找到一条直线，f(x

2024版更新记录： 2024EditionupdateRecord:1、能计算一些7维空间的距离和角度的数据。2、能建立、保存和打开数据定义文件和结果文件。1,cancomputethedataof7dimssomedistancesofspacesandangle.2,cancreate,keepandopendocumentandresultdocument

\(n维空间中A,B两点的距离是指\sum|a_i-b_i|,a_i指A的第i维坐标\)\(曼哈顿距离有一个很重要的性质，如果点C在点A和点B同侧，则有AB=|AC-BC|\)\(这里的同侧是指对于每个i,c_i-a_i和c_i-b_i的符号都相同，那么对于n维空间，就有着2^n种侧边,即2^n种方向\)\((如1维有正方向和反方向，2维则

写在前面：B站刘二大人 传送门​​Pytorch深度学习实践第一讲​​预备知识线性代数和概率论与数理统计（至少知道分布）Python（了解面向对象、类）引言：HumanIntelligence推理能力

1、解释分类模型。2、导包fromsklearn.svmimportSVC3、核函数介绍3.1、linear：线性核函数,是在数据线性可分的情况下使用的，运算速度快，效果好。不足在于它不能

无限维度正如在之前的文章中提到的，我目前正在学习数据科学的课程。除其他外，我学习了各种统计和机器学习模型/算法，包括但不限于线性回归、逻辑回归、K最近邻、决策树和随

昨天看了一个很神奇的东西——杨辉三角，性质有很多离谱的东西，大家可以自行bd一下。不仅牵扯到了弦论，还跟易经搭上了边，认为与易经中的卦象变化有关。我就在思考，为什么自然界