RL概述增强式学习（一）与机器学习一样都是三个步骤那RL可以講的技術啊，非常非常地多，它不是在一堂課裡面可以講得完的，我甚至覺得說，如果有人要把它開成一整個學期的課，可能也是有這麼多東西可以講，所以今天啊，這堂課的目的，並不是要告訴你有關RL的一切，而是讓大家有一個基本的認識，大概

本文主要针对强化学习做出理解，讨论强化学习是什么，为什么难，他是怎么做的三个方面给具有一定基础知识的读者介绍强化学习。主要参考李宏毅的蘑菇书，在线阅读链接。概述主要示意图就是上图，强化学习主要讨论就是智能体（agent）怎么在复杂、不确定的环境（environment）中最大化它能

P6自注意力机制引言：    到目前为止，在预测或者图像识别（已经假设了图像大小是相等的）的任务中，都是将输入看作是一个向量，输出可能是数值（回归任务）也可能是类别（分类任务），那假如输入是一排向量或者这个向量长度是改变的呢？例如：输入形式        （一）句子     

文章目录TaskBaselineFGSM(FastGradientSignMethod(FGSM)I-FGSM(IterativeFastGradientSignMethod)MI-FGSM(MomentumIterativeFastGradientSignMethod)M-DI2-FGSM(DiverseInputMomentumIterativeFastGradientSignMethod)ReportfgsmattackJepgCom

  本次任务主要是了解模型在训练集或测试集上损失较大时的几大原因，了解改进的方向一、模型偏差   模型过于简单，未知参数函数的所有可能性的集合太小，让损失变低的函数不在模型可以描述的范围内；或者是模型的灵活性不够。这个时候重新设计一个模型，给模型更大的灵活性，将

批量归一化为什么不同的参数在更新时其梯度变化如此之大？首先，对于模型中w1,w2两个参数，可以看到其w1参数的梯度变化较为平滑，w2梯度变化较为陡峭，原因是x1较小时，当w1变化较大，由于x1较小，其整体乘积较小，对损失值影响不大；x2较大时，w2发生变化，其乘积较大，其对损失值变化很大，影响较大。

今天学的有些小兴奋，终于解锁了很多熟悉但不明就里的术语。天呢，原来ReLU是“修正线性单元”的意思！RectifiedLinearUnit！但是呢，也有不大对付的地方：好几个地方前言不搭后语。容我一一道来。今天就顺序边读边记：线性模型（linearmodel）==把模型输入的特征x乘上一个权重，再加

2、实践方法论（DatawhaleX李宏毅苹果书AI夏令营）在应用机器学习算法时，实践方法论能够帮助我们更好地训练模型。如果在Kaggle上的结果不太好，虽然Kaggle上呈现的是测试数据的结果，但要先检查训练数据的损失。2.1模型偏差有时候把模型设置的太过简单，使得函数的集合太小了，没

引入在简单了解到机器学习的过程，以及模型函数的优化升级之后，我们需要根据一些方法论，解决模型实践过程中会遇到的问题，学会分析模型数据，按照正确的路径优化模型，减少测试误差（TestingLoss）。实践方法论整体框架下图是实践方法论的整体框架，下文会根据逻辑顺序一一介绍。step

在上一章介绍完机器学习模型后，我们接着讨论模型中可能存在的一些问题。首先我们需要明确一件事，就是Kaggle上的测试结果不好，可能有多个原因。第一，如果模型在运行训练模型时，所产生的损失就很大，那么有可能是模型偏差(modelbias)或优化(optimization)问题。第二，如果模型在运行训

一.实践方法论(一)模型偏差模型偏差可能会影响模型训练。若模型过于简单，一个有未知参数的函数代θ1得到一个函数fθ1(x)，同理可得到另一个函数fθ2(x)，把所有的函数集合起来得到一个函数的集合。但是该函数的集合太小了，没有包含任何一个函数，可以让损失变低的函数不在模型可以描

第二章实践方法论2.1模型偏差模型过于简单导致未拟合重新设计模型增加特征2.2优化问题梯度下降优化的不够，没找到最优参数针在海里，大海捞针，但是方法不给力建议：先使用简单的线性模型或者是SVR测试一下，一般这些模型不会优化不到位训练数据损失突然不再降低或者

一.批量归一化继续上一篇文章的批量归一化，如果是固定的学习率，可能很难得到好的结果，所以我们才需要自适应的学习率、Adam等比较进阶的优化的方法，才能够得到好的结果。如果我们可以给不同的维度，同样的数值范围的话，那我们可能就可以制造比较好的误差表面，让训练变得比较容易一点其实

本章介绍深度学习常见的概念，主要包括3.1局部极小值与鞍点；3.2批量和动量。知识点讲解：3.1局部极小值和鞍点我们在做优化的时候，有时候会发现随着参数不断更新，函数的损失值却不再下降的现象，但这个优化结果离我们想要的理想值还差距很大。这是什么原因呢？接下来我们就研究这个问

目录一、机器学习框架&实践攻略1.总览2.训练误差较大时：    1.模型偏差    2. 优化问题3.训练误差较小时：    1.测试误差较小：    2.测试误差较大：            1.过拟合    2.不匹配一、机器学习框架&实

目录一、学习资料二、学习笔记（一）线性模型1、考虑周期性2、修改模型（二）模型变形之分段线性曲线1、分段线性直线2、分段线性曲线的图像和表达式（机器学习第一步：写出带有未知数的函数）（1）如何构成（2）如何表达（3）如何改进3、分段线性曲线的损失（机器学习第二步：定义损失）4、分段

一、批量化归一    当误差表面崎岖不平，就意味着它比较难以训练，而利用批量化归一将崎岖的误差表面“铲平”则是其中的方法之一。如果是固定学习率，可能很难得到好的结果，因此才需要自适应的学习率。        当输入的特征，每一个维度的值，它的范围差距很大的时候，我

引入上一篇文章中我们了解了机器学习中最基本的模型线性模型（Linearmodels），由于其过于简单（只能调整其斜率w与截距b）无法反映真实数据中多数折线或曲线情况这种限制称为模型偏差（modelbias）。下文介绍：如何构建更复杂，误差更小的函数解决问题。注：此处的bias与线性模型中的b不同。

Task2.1：《深度学习详解》-3.3&4&5自适应学习率的概念和方法，包括AdaGrad、RMSProp和Adam等优化器。-**训练网络时的梯度和损失变化**：训练网络时损失可能不再下降，但梯度范数不一定小，梯度可能在山谷壁间“震荡”，多数训练未到临界点就停止。-**不同学习率的影响**：学习率过大或过

文章目录Task2-1：《深度学习详解》-3.3&4&5自适应学习率(9页+38分钟)Part01：视频笔记训练技巧：自适应学习率（Adaptivelearningrate）：学习率应该为每一个参数特质化:RootMeanSquare（均方根）：