ML2023Spring-HW6相关信息：课程主页课程视频SamplecodeHW06视频HW06PDF个人完整代码分享:GitHub|Gitee|GitCodeP.S.HW06是在Judgeboi上提交的，出于学习目的这里会自定义两个度量的函数，不用深究，遵循Suggestion就可以达成学习的目的。每年的数据集si

Day9LogisticRegression（内涵，熵和交叉熵的详解）中间打了一天的gta5，图书馆闭馆正好+npy不舒服那天+天气不好，哈哈哈哈哈总之各种理由吧，导致昨天没弄起来，今天补更！这里重点注意一下，这个output值是概率哈，也就是说式子整体表示的含义是x属于c1的概率是多大这个老师

Day7RegressionCasestudy（预测宝可梦的cp）Regression可以做什么？股票预测自动驾驶推荐预测宝可梦的cp（能力类似这样的属性把）这里突然想到，是不是可以用洛克王国和赛尔号做事情哈哈注意：用下标来表示某一个完整的物体的某一个部分，例如：x表示妙蛙种子；那么xhp就表示

基本概念结构化学习机器学习中的任务不只包括Regression和Classification两大类，还有StructureLearning，也就是函数的输出并不是一个标量或者一个类别，而是生成有结构的输出（比如图像、文本等）。误差曲面通过试不同的参数，然后计算对应情况下的loss，画出来的等高线图称为ErrorSurfa

 “雕像其实本来就已经在大理石里面，我只是把不要的部分拿掉”：米开朗琪罗 DenoiseModel除了要输入要被输入的那张图片，还要输入这是第几张图片。(即Noise严重的程度)DenoiseModel内部实际上是在干什么呢： 1、DenoisePreidcter除了吃要还原的图片，还要吃一个步骤的数字

TaskSampleBaseline模型介绍classClassifier(nn.Module): def__init__(self,d_model=80,n_spks=600,dropout=0.1): super().__init__() #Projectthedimensionoffeaturesfromthatofinputintod_model. self.prenet=nn.Linear(40,d_model) #transfo

Homework4Dataset介绍及处理Datasetintroduction训练数据集metadata.json包括speakers和n_mels，前者表示每个speaker所包含的多条语音信息(每条信息有一个路径feature_path和改条信息的长度mel_len或理解为frame数即可)，后者表示滤波器数量，简单理解为特征数即可，由此可知每个.pt

引入Self-attention前面学到的内容输入都是一个向量，假如输入是一排向量，又应如何处理。来看下有什么例子需要将一排向量输入模型：当输入是一排向量时，输出有三种类型：输入和输出的长度一样，每一个向量对应一个label，如词性标注、音标识别、节点特性（如会不会买某件商品）。一

这一节主要讲解机器学习、类神经网络训练不起来怎么办？讲解一些训练的tips。先来回顾下机器学习的步骤：接下来将介绍在机器学习过程中，遇到问题时如何判断原因并解决：在训练数据上Loss值很大ModelBias在训练数据上Loss值很大，有可能是发生了Model问题。问题原因：模型太

引入机器学习MachineLearning概括来说就是LookingforFunction，即让机器具备找一个函数的能力这些函数显然非常复杂，要依靠机器自动找出该函数。随着要找的函数不同，机器学习有不同的类别：Regression，回归：函数输出的是数值。Classification，分类：函数从给定选项（类别）中选择一个

Homework3数据集下载在本地环境下进行实验总是令人安心，但是又苦于网上找不到数据集，虽然kaggle上有数据集但是下载存在问题于是有了一个天才的想法，间接从kaggle上下载（利用output文件夹中的文件是可下载这一机制将数据集从input文件夹拷贝到output文件夹），具体操作如下图等待数

引入给一张动物的图片，分辨是什么动物。这个问题可以用CNN解决（HW3）。核心是通过有标注（label）的图片进行学习。而在下围棋时，如何落子是一个难以标注的问题，但是机器可以学到什么是好的，什么是不好的。这就是强化学习的适用场景。结构总的目标是想找一个Actor（或称policy），环境（envir

重新学习了一下ResNet。。这作业平均一跑就是3、4个小时题目大意是让你做异常检测（anomalydetection），即给你一些正常的图片，再让你测试图片是正常的还是异常的（可以理解为2分类问题，只不过其中一个类别是无限大的）代码：https://www.kaggle.com/code/skyrainwind/hw8-anomaly-detec

BERT实际上是一个tranformerencoder，输入一串向量输出相同个数的向量。以下以句子为例，句子可以认为是一串向量。pre-train如何训练BERT呢（事实上应该是预训练，pre-train）？一个常用的方法是做填空题。即，随机挖去一些字，让模型学习如何去填空。其中这个“挖去”也有好几种方法（如

1ChatGPT原理剖析ChatGPT的社会化：学会文字接龙人类引导文字接龙方向模仿人类喜好用增强式学习向模拟老师学习1.1预训练（Pre-train）ChatGPT真正在做的事情本质上是文字接龙，将其看成一个函数\(f(x)\)，其中的\(x\)自变量可以是用户输入的一个语句，得到的函数就是接下来

调参调吐了。。最好做到了private0.82/public0.808这题前前后后做了五天。。主要是后来train一次就得花很长很长时间，我的kaggle余额也用的差不多了。。这个题目大概就是给你11种食物的图片，让你学习，并分类CNN处理图片就先转化成\(128\times128\)个pixel，然后做

前言当时老师要求我做transformer和self-attention的ppt，结果当时在训练ACM没大有时间，就弄了个质量不高的，不出意外的被喷了。。。现在回头看看当时做的整体没有大问题，但是由于知识没有连贯起来导致有些地方没有提到，也没有形成一个比较完整的架构。Transformer能做的任务

在slot-filling问题（如给一个句子，自己分析出时间、地点等）如果只连着不同的FC，那么会导致无法读出是arrive还是leave的情况，导致错误因此，需要NN来考虑到整个句子的信息，也就是需要有memory，这就是RNNRNN原理有了memory，就可以初步解决同一个信息由于句子不同导致的意

解决的问题：输入\(n\)个向量，输出相同个数的向量。（如，输入一个句子，输出句子中每个词的词性。每个单词转化成向量可以用one-hotvector、wordembedding方法等）一个比较初级的想法：将每个向量都连上去一个FC（fullyconnectednetwork），但是这样有个问题是，如果遇到一个句子中有两个相

使用场景：对图片进行分类首先，将图片变成向量。例如，对于一个彩色的\(N\timesN\)（这个N指的是像素个数）图片，其对应着一个\(N\timesN\times3\)的矩阵（其中3是图片的channel，在彩色图片中，每个像素由RGB构成，因此channel为3）一个初始的想法将这个矩阵拉长，变成一个向量，然后

核心问题：CriticalPoint在GradientDescent的时候，如果遇到梯度为0的情况，导致无法继续optimization，这样的点叫做CritcalPoint如果最后优化的结果不好，则出现这样的点的原因有2个：一个是到localminima了，另一个是在驻点了（也叫鞍点，SaddlePoint）。现在主要关注的是如何判

目录Sigmoid函数相关Sigmoid函数相关

强化学习入门方法分类Policy-based(Acotr)深度强化学习怎么做的（和普通监督学习类似）：1、Neuralnetworkasactor（定义模型）2、goodnessoffunction（定义目标函数）3、pickthebestfunction（选出最优模型/训练模型）定义模型$\theta$是神经网络参数$\pi_{\theta}(s)$

什么是BatchNormalization?1、先取平均值2、计算sigama2.1、sigama计算方式是见图中公式3、每一项减去平均值然后除以sigama什么是Softmax?  什么是Attention和Transformer?最近在重新学习和认识Attention和Transformer，看到一个视频讲的很详细，是从矩阵计算角度讲

课程描述    由国立台湾大学李宏毅老师主讲的纯中文版，2021年机器学习（深度学习）开课了，课程相关的部分资源已经release出来了，今年课程新增了很多新的前沿的内容，分享给大家。  课程大纲课程主页https://speech.ee.ntu.edu.tw/~hylee/ml/2021-spring.html 课程视频截图