这节课中介绍了循环神经网络的第一部分，主要介绍了循环神经网络的基本概念，vanilla循环网络架构，RNN的一些应用，vanilla架构的问题，更先进的rnn架构比如GRU和LSTM循环神经网络基本知识vanilla循环网络架构应用与理解vanilla架构的问题LSTMvanilla循环网络架构在之前的讨论

这节课中介绍了训练神经网络的第二部分，包括学习率曲线，超参数优化，模型集成，迁移学习训练神经网络2学习率曲线超参数优化模型集成迁移学习学习率曲线在训练神经网络时，一个常见的思路就是刚开始迭代的时候学习率较大，然后随着迭代次数的增加，学习率逐渐下降，下面我们就来介绍

这节课中介绍了训练神经网络的第一部分，包括激活函数的选择，权重初始化，数据预处理以及正则化方法训练神经网络1激活函数数据预处理权重初始化正则化方法激活函数这部分主要讨论我们之前提到的几种激活函数的利弊：首先我们看sigmoid函数，这种激活函数有着激活函数中常见

这节课中主要讨论了卷积神经网络的发展历史以及几种经典结构是如何构建的卷积网络经典结构AlexNetVGGGoogleNetResidualNetworkAlexNet在2012年的时候，Alexnet神经网络提出，这时网络的架构比如说各个层之间要如何排列组合，使用多少卷积层池化层，每个层又如何设置超参数其

这节课中介绍了卷积网络的基本组成部分(全连接层，激活函数，卷积层，池化层，标准化等)，下节课讨论了卷积神经网络的发展历史以及几种经典结构是如何构建的卷积网络组成部分前言卷积层池化层normalization前言在之前提到的全连接神经网络中，我们直接把一个比如说32*32*3的

UMICHCVNeuralNetwork既然谈到神经网络，我们肯定要讨论在神经网络中是如何进行梯度的计算以及参数的优化的传统的方法就是我们手动计算梯度，但是随着神经网络层数的增加，这种方法显然过于复杂因此我们引入了计算图的概念，从一个简单的例子出发：我们可以把一个(x+y)z的计算式拆

UMICHCVNeuralNetwork对于传统的线性分类器，分类效果并不好，所以这节引入了一个两层的神经网络，来帮助我们进行图像分类可以看出它的结构十分简单，x作为输入层，经过max（0，W1*x）到达h隐藏层，再经过W2到达s输出层如果我们对隐藏层的结果进行可视化，我们可以看到如下的图像：相对于之前

UMICHCVLinearClassifiers在上一篇博文中，我们讨论了利用损失函数来判断一个权重矩阵的好坏，在这节中我们将讨论如何去找到最优的权重矩阵想象我们要下到一个峡谷的底部，我们自然会选择下降最快的斜坡，换成我们这个问题就是要求权重矩阵相对于损失函数的梯度函数，最简单的方法就是

UMICHCVLinearClassifiers对于使用线性分类器来进行图片分类，我们可以给出这样的参数化方法：而对于这样一个式子，我们怎么去理解呢？首先从代数的角度，这个f(x,W)就是一张图片的得分，我们可以将一张图片所有的像素点输入，乘以一个权重矩阵，再加上一个偏置项b，就得到f(x,W)举个具体的