李沐动手学深度学习V2文章内容说明本文主要是自己学习过程中的随手笔记，需要自取课程参考B站：https://space.bilibili.com/1567748478?spm_id_from=333.788.0.0课件等信息原视频简介中有CSV文件修改读取成张量tensor数据预处理首先(创建一个人工数据集，并存储在CSV（逗号分隔值

Course4C(X,R)X是定义域；R是值域；C是函数的集合 metricspace:度量空间集合：开集和闭集（⭐） d(x,y),d可以定义为各种形式，不一定是范数；不完备：极限不在该集合中，或存在柯西序列不收敛柯西序列：序列中的值xn,xm，若存在N>n0,使得d(xn,xm)能够任意小，则该序列为柯西序列完备

课件线性空间定义：交换律+结合律+零元素+负元素特殊的矩阵：对称矩阵：\(A=A^T\)正交矩阵：\(AA^T=I\)Hermite矩阵：\(A^H=A\)，对角元素为实数，特征值为实数反(斜)Hermite矩阵：\(A^H=-A\)，对角元素为纯虚数，特征值为纯虚数或者0酉矩阵：\(A^HA=I\)，酉相似\(U^HAU=B\)，酉相抵\(UA

人脸验证问题：对于进行人脸验证我们在数据库中可能只有每位员工的一张照片而已，然而要通过这一张照片验证出是否是库中的员工，同时如果在库中增加成员是否能验证出来，这种数据集实在太小，可以使用learningasimilarityfunction这个函数进行计算验证，其作用就是设置一个阈值，如果说对人

BasedonDeepLearning(2017,MIT)book.本文基于DeepLearning(2017,MIT)，推导过程补全了所涉及的知识及书中推导过程中跳跃和省略的部分。blog1概述现代数据集，如网络索引、高分辨率图像、气象学、实验测量等，通常包含高维特征，高纬度的数据可能不清晰、冗余，甚至具有误导

L2正则化和权重衰退(WeightDecay)一、权重衰退介绍1.什么是权重衰减/权重衰退——weight_decayL2正则化主要作用是：解决过拟合，在损失函数中加入L2正则化项2.L2范数L2范数，也被称作欧几里得范数或者Frobenius范数（当应用于矩阵时），是最常用的向量范数之一，用于衡量向量元

    范数（Norm）在数学中是一个非常重要的概念，它主要用于度量向量、矩阵、函数或其他数学对象的大小或长度。范数在数学分析、线性代数、泛函分析、数值分析、优化理论、机器学习和统计学等多个领域中均有广泛应用，如正则化、稳定性分析、逼近理论、优化算法的设计等。1.向

一、引言在老猿CSDN的博文《人工智能基础概念3：模型陷阱、过拟合、模型幻觉》中介绍了通过L1或L2正则化来限制模型的复杂度来解决过拟合的问题，老猿当时并不了解这背后的原理，这2天通过查阅资料终于明白了相关知识，在此一L1正则化来分享一下相关原理。二、相关概念2.1、

线性代数在AI中的应用作者：禅与计算机程序设计艺术1.背景介绍人工智能(AI)作为当今技术发展的前沿领域,在近几年中迅速崛起,在各行各业都得到了广泛的应用。这其中,线性代数作为AI算法的基础数学工具,在AI模型的构建、训练和优化中发挥着关键作用。本文将深入探讨线性代

1.1.1ML基本认识机器学习是研究AI的一种方法。其从数据中挖掘特征从而学习到一些规律、规则（模型），然后对输入的新数据做出预测(回归)和判断(分类)。机器学习主要分为：有监督学习：数据有标签无监督学习：数据无标签，如：聚类等。

数据特性：均值中位数众数中心趋势度量这些基本统计量有助于数据预处理时填补空缺值、光滑噪声、识别离群点。考察数据对象的"相似性/相异性"可以用于检测最近邻分类数据对象：一个实体（样本实例数据点）属性：一个数据字段特征变量维度单变量双变量标称属性：与名称相关，

1.算法运行效果图预览  2.算法运行软件版本MATLAB2022A 3.算法理论概述        多输入多输出(MIMO)技术是无线通信领域的关键技术之一，它利用多个天线同时发送和接收信号，可以显著提高系统容量和传输可靠性。在MIMO系统中，预编码技术是一种重要的信号处理技术，它

1.标量、向量、矩阵、张量：①标量指有大小没有方向的数。②向量指既有大小也有方向的一组数。③矩阵指二维的一组数，一行是一个对象，一列是一个对象的一个特征【一行一对象，一列一特征】。④张量指一个数组分布在多维网格坐标中。  2.向量的范数：①向量的

由于AdamW是Adam+L2正则化的改进，所以这里再详细总结一下正则化方法 正则化：所有防止过拟合，提升模型泛化能力的方法（包括常见的L1,L2,dropout等，可能还有许多更为广义上的正则化措施）L1,L2正则化：利用L1,L2番薯规范网络参数w的方法，注意这里只说了w没有说b（y=wx+b），因为w决定曲线形状，b偏

正则化深度学习可能存在过拟合问题——高方差，有两个解决方法，一个是正则化，另一个是准备更多的数据，这是非常可靠的方法，但可能无法时时刻刻准备足够多的训练数据或者获取更多数据的成本很高，但正则化通常有助于避免过拟合或减少的网络误差。如果怀疑神经网络过度拟合了数据，即存在高

向量范数是很常见的，在很多教科书里都能见到。矩阵范数是对向量范数的一种推广。下面转载一篇讲解矩阵范数的文章，里面有对弗罗贝尼乌斯范数的定义，比较适合扫盲。原文如下：矩阵范数（matrixnorm）是数学上向量范数对矩阵的一个自然推广。矩阵范数的特性以下 K 代表实数或复数域。现

数据的预处理是数据分析，或者机器学习训练前的重要步骤。通过数据预处理，可以提高数据质量，处理数据的缺失值、异常值和重复值等问题，增加数据的准确性和可靠性整合不同数据，数据的来源和结构可能多种多样，分析和训练前要整合成一个数据集提高数据性能，对数据的值进行变换，规约等（比如

目录什么是正则化什么是范数L1正则化L2正则化其他正则化方法什么是正则化在机器学习中，一个核心问题是设计不仅在训练数据集上表现好，而且能在新输入上有好的泛化性，因此许多策略被显式地设计来减少测试误差，这些策略统称为正则化。因此，正则化被定义为对学习算法地修改-减

一、什么是正则化英文Ragularization使模型普通化、均匀化、一般化，防止或减小模型的过拟合。二、正则化项（惩罚项）英文Ragularizer（Penalty）经验风险--经验指模型的预测值和数据真实值的相近程度结构风险--结构指模型，当数据量偏小时，复杂结构的模型存

向量范数一范数：\(||x||_1=|x_1|+|x_2|+\dots+|x_n|\)二范数：\(||x||_2=\sqrt{|x_1|^2+|x_2|^2+\dots+|x_n|^2}\)p范数：\(||x||_p=\sqrt[p]{|x_1|^p+|x_2|^p+\dots+|x_n|^p},\quadp\in[1,\infty)\)\(\infty\)范数：\(||x||_p=\max

就是研究函数和曲线可以近似为另一个函数或数据集，那么怎么来近似尼？逼近算法。两者之间的误差尼？逼近误差。范数、内积、正交函数族、最佳平方逼近是重点一、用python做数学计算importnumpyasnpfromscipy.interpolateimportCubicSplineimportmatplotlib.pyplotaspltx=

✅作者简介：热爱科研的Matlab仿真开发者，修心和技术同步精进，matlab项目合作可私信。

第一、为什么使用正则化？简答的说，正则化就是将n向量转换为一个标量的过程。第二、正则化的背后是拉格朗日求极值。函数f(x,y)在约束条件下的极值，转换在神经网络中求极值，即求损失函数的最小值。那么，为了防止权重值过大，引起的泛化误差过大的缘故，所以引入了范数。在这

4.5.1范数与权重衰减整节理论，详见书本。4.5.2高维线性回归%matplotlibinlineimporttorchfromtorchimportnnfromd2limporttorchasd2l#生成一些数据，为了使过拟合效果更明显，将维数增加到200并使用一个只包含20个样本的小训练集。n_train,n_test,num_inpu