本文是基于台大李宏毅教授2021年的强化学习课程制作的课程笔记，旨在用通俗易懂的语言对强化学习进行介绍，搬运至bilibili的课程视频链接：视频链接https://www.bilibili.com/video/BV18r421j7S4/?spm_id_from=333.337.search-card.all.click&vd_source=22173a6fa342ecf648e799cd933

P6自注意力机制引言：    到目前为止，在预测或者图像识别（已经假设了图像大小是相等的）的任务中，都是将输入看作是一个向量，输出可能是数值（回归任务）也可能是类别（分类任务），那假如输入是一排向量或者这个向量长度是改变的呢？例如：输入形式        （一）句子     

文章目录TaskBaselineFGSM(FastGradientSignMethod(FGSM)I-FGSM(IterativeFastGradientSignMethod)MI-FGSM(MomentumIterativeFastGradientSignMethod)M-DI2-FGSM(DiverseInputMomentumIterativeFastGradientSignMethod)ReportfgsmattackJepgCom

transformerEncoder之前的Self-attention其实已经提到过transformer，而且transformer和后面的bert也有很大关系，transformer就是一个sequencetosequence的model这些都是输出不定长的例子，语音识别+机器翻译=语音翻译吗，有些语言可能没有文字，或者说某些方言训练这样的模型，你就

  本次任务主要是了解模型在训练集或测试集上损失较大时的几大原因，了解改进的方向一、模型偏差   模型过于简单，未知参数函数的所有可能性的集合太小，让损失变低的函数不在模型可以描述的范围内；或者是模型的灵活性不够。这个时候重新设计一个模型，给模型更大的灵活性，将

批量归一化为什么不同的参数在更新时其梯度变化如此之大？首先，对于模型中w1,w2两个参数，可以看到其w1参数的梯度变化较为平滑，w2梯度变化较为陡峭，原因是x1较小时，当w1变化较大，由于x1较小，其整体乘积较小，对损失值影响不大；x2较大时，w2发生变化，其乘积较大，其对损失值变化很大，影响较大。

今天学的有些小兴奋，终于解锁了很多熟悉但不明就里的术语。天呢，原来ReLU是“修正线性单元”的意思！RectifiedLinearUnit！但是呢，也有不大对付的地方：好几个地方前言不搭后语。容我一一道来。今天就顺序边读边记：线性模型（linearmodel）==把模型输入的特征x乘上一个权重，再加

2、实践方法论（DatawhaleX李宏毅苹果书AI夏令营）在应用机器学习算法时，实践方法论能够帮助我们更好地训练模型。如果在Kaggle上的结果不太好，虽然Kaggle上呈现的是测试数据的结果，但要先检查训练数据的损失。2.1模型偏差有时候把模型设置的太过简单，使得函数的集合太小了，没

引入在简单了解到机器学习的过程，以及模型函数的优化升级之后，我们需要根据一些方法论，解决模型实践过程中会遇到的问题，学会分析模型数据，按照正确的路径优化模型，减少测试误差（TestingLoss）。实践方法论整体框架下图是实践方法论的整体框架，下文会根据逻辑顺序一一介绍。step

在上一章介绍完机器学习模型后，我们接着讨论模型中可能存在的一些问题。首先我们需要明确一件事，就是Kaggle上的测试结果不好，可能有多个原因。第一，如果模型在运行训练模型时，所产生的损失就很大，那么有可能是模型偏差(modelbias)或优化(optimization)问题。第二，如果模型在运行训

一.实践方法论(一)模型偏差模型偏差可能会影响模型训练。若模型过于简单，一个有未知参数的函数代θ1得到一个函数fθ1(x)，同理可得到另一个函数fθ2(x)，把所有的函数集合起来得到一个函数的集合。但是该函数的集合太小了，没有包含任何一个函数，可以让损失变低的函数不在模型可以描

第二章实践方法论2.1模型偏差模型过于简单导致未拟合重新设计模型增加特征2.2优化问题梯度下降优化的不够，没找到最优参数针在海里，大海捞针，但是方法不给力建议：先使用简单的线性模型或者是SVR测试一下，一般这些模型不会优化不到位训练数据损失突然不再降低或者

一.批量归一化继续上一篇文章的批量归一化，如果是固定的学习率，可能很难得到好的结果，所以我们才需要自适应的学习率、Adam等比较进阶的优化的方法，才能够得到好的结果。如果我们可以给不同的维度，同样的数值范围的话，那我们可能就可以制造比较好的误差表面，让训练变得比较容易一点其实

本章介绍深度学习常见的概念，主要包括3.1局部极小值与鞍点；3.2批量和动量。知识点讲解：3.1局部极小值和鞍点我们在做优化的时候，有时候会发现随着参数不断更新，函数的损失值却不再下降的现象，但这个优化结果离我们想要的理想值还差距很大。这是什么原因呢？接下来我们就研究这个问

目录一、机器学习框架&实践攻略1.总览2.训练误差较大时：    1.模型偏差    2. 优化问题3.训练误差较小时：    1.测试误差较小：    2.测试误差较大：            1.过拟合    2.不匹配一、机器学习框架&实

目录一、学习资料二、学习笔记（一）线性模型1、考虑周期性2、修改模型（二）模型变形之分段线性曲线1、分段线性直线2、分段线性曲线的图像和表达式（机器学习第一步：写出带有未知数的函数）（1）如何构成（2）如何表达（3）如何改进3、分段线性曲线的损失（机器学习第二步：定义损失）4、分段

1.2线性模型（DatawhaleX李宏毅苹果书AI夏令营）如图，可以先设一个方程：$$y=b+wx_{1}$$而通过观察可以得到每隔7天就有一个循环，所以可以通过观察得到新的模型：$$y=b+\sum_{j=1}^{7}w_{j}x_{j}$$而采用该模型预估时，由于考虑了7天，所以训练数据上会得到比考虑1天较低的损失。

一、批量化归一    当误差表面崎岖不平，就意味着它比较难以训练，而利用批量化归一将崎岖的误差表面“铲平”则是其中的方法之一。如果是固定学习率，可能很难得到好的结果，因此才需要自适应的学习率。        当输入的特征，每一个维度的值，它的范围差距很大的时候，我

引入上一篇文章中我们了解了机器学习中最基本的模型线性模型（Linearmodels），由于其过于简单（只能调整其斜率w与截距b）无法反映真实数据中多数折线或曲线情况这种限制称为模型偏差（modelbias）。下文介绍：如何构建更复杂，误差更小的函数解决问题。注：此处的bias与线性模型中的b不同。

Task2.1：《深度学习详解》-3.3&4&5自适应学习率的概念和方法，包括AdaGrad、RMSProp和Adam等优化器。-**训练网络时的梯度和损失变化**：训练网络时损失可能不再下降，但梯度范数不一定小，梯度可能在山谷壁间“震荡”，多数训练未到临界点就停止。-**不同学习率的影响**：学习率过大或过

机器学习概念就是使计算机模拟人类的学习过程，通过分析大量数据，完成任务，处理问题。这个过程简单来说就是，使计算机寻找到一个函数，构建起一个模型，通过数据使模型准确化，便于输出目标结果。机器学习类型机器学习根据其所需完成的任务不同，需要寻找不同类型的函数。类型一：回归（Regr

一.深度学习继续上一篇文章的深度学习的定义把w跟b更新的方向结合起来，就是一个向量，就是红色的箭头，再计算一次微分，再决定要走什么样的方向，把这个微分的值乘上学习率，再乘上负号，我们就知道红色的箭头要指向那里，就知道如何移动w跟b的位置，一直移动，期待最后可以找出一组不错的

文章目录Task2-1：《深度学习详解》-3.3&4&5自适应学习率(9页+38分钟)Part01：视频笔记训练技巧：自适应学习率（Adaptivelearningrate）：学习率应该为每一个参数特质化:RootMeanSquare（均方根）：

一.动量法在上一个博客中，我们提到了动量法，现在继续补充如图所示，红色表示负梯度方向，蓝色虚线表示前一步的方向，蓝色实线表示真实的移动量。一开始没有前一次更新的方向，完全按照梯度给指示往右移动参数。负梯度方向跟前一步移动的方向加起来，得到往右走的方向。一般梯度下降走到一

官方学习文档：https://linklearner.com/activity/16/14/55往期task01链接：https://mp.csdn.net/mp_blog/creation/editor/141535616李宏毅老师对应视频课程可供食用：https://www.bilibili.com/video/BV1JA411c7VT/?p=3机器学习基础线性模型        w跟b的值上期ta