首页 > 其他分享 >《动手学深度学习》笔记3——矩阵求导

《动手学深度学习》笔记3——矩阵求导

时间:2024-09-08 20:51:47浏览次数:12  
标签:梯度 矩阵 笔记 李沐 计算 求导 向量

李沐老师的讲解思路是先从数学概念引入,讲完以后再到代码实现:

1. 数学概念

1.1 标量导数

1.2 向量求导(梯度)

分为四种情况:

1.2.1 标量y,关于向量x求导

李沐老师这里先讲了y为标量,x为向量的情况,x长度为1的列向量,关于列向量的导数(即梯度)行向量,具体解释如下:

在这个例子里, 

标签:梯度,矩阵,笔记,李沐,计算,求导,向量
From: https://blog.csdn.net/weixin_57972634/article/details/141915318

相关文章

  • 《动手学深度学习》笔记4——线性回归 + 基础优化算法
    李沐老师:线性回归是机器学习最基础的一个模型,也是我们理解之后所有深度学习模型的基础,所以我们从线性回归开始1.线性回归由于是案例引入,没有很难的知识点,咱直接贴上李沐老师的PPT:1.1线性模型--单层神经网络李沐老师:神经网络起源于神经科学,但现在深度学习的发展......
  • Java 21的Concurrency的笔记
    JavaCoreLibrariesConcurrencyConcurrencyAPI包括:VirtualthreadsStructuredconcurrencyTaskschedulingframework即线程池,常见、易用。Fork/joinframework即ForkJoinPool,不过目前还没有在项目中实际使用过。Concurrentcollections线程安全的容器,比如......
  • python文件处理笔记(1)
    1、open(文件名(通常是.txt),模式,encoding=模式)文件名通常是.txt,不然要做预处理(encoding的模式通常用utf-8)模式通常分为3种:①只读模式 'r'f=open('文件.txt','r',encoding='utf-8')这个模式只能读取文件内容②追加模式 'a'可以在文档后面增加内容f=open('......
  • 大二上 C++高级程序设计笔记(1) 栈和c++对c的补充 20240908
    Q1:什么是static类的储存变量?A1:在C++中,static关键字可以用于类成员变量和成员函数,以改变其作用域和生命周期。当static用于类的成员变量时,它具有以下特性:全局唯一性:静态成员变量不属于任何特定的对象实例,而是属于类本身。这意味着无论创建多少个类的对象,静态成员变量都只有......
  • 向量与矩阵几何关系
    目录一、基向量二、向量与基向量三、向量张成的空间四、矩阵与线性变换五、矩阵乘法与线性变换复合一、基向量基向量(basisvectors)是构成向量空间的一组基本元素,它们满足以下条件:线性无关:基中的向量之间不能通过线性组合相互表示。这意味着没有一个向量可以表示为......
  • 数据库系统概论笔记-第一章论述
    第一部分:数据库的系统概论1,数据库的四个基本概念数据Data:描述事物的符号记录,可以是数字文字图片等多种形式;数据的含义为数据的语义,故数据和其语义不可分割。数据库DB:存放数据的仓库(长期储存在计算机内有组织,可共享的大量数据集合)数据库管理系统DB......
  • 龙芯+FreeRTOS+LVGL实战笔记(新)——03完成驱动的移植
            本专栏是笔者另一个专栏《龙芯+RT-Thread+LVGL实战笔记》的姊妹篇,主要的区别在于实时操作系统的不同,章节的安排和任务的推进保持一致,并对源码做了改进和优化,各位可以先到本人主页下去浏览另一专栏的博客列表(目前已撰写36篇,图1所示),再决定是否订阅。此外,也可以前......
  • 红日靶机(一) 笔记
    红日靶机(一)笔记概述域渗透靶机,可以练习对域渗透的一些知识,主要还是要熟悉powershell语法,powershell往往比cmd的命令行更加强大,而很多渗透开源的脚本都是powershell的。例如NiShang,PowerView等等。这是域渗透的初学靶机。其中也遇到了一些问题靶机地址:http://vulnsta......
  • 计算机三级 - 数据库技术 - 第十一章 故障管理 笔记
    第十一章故障管理内容提要:了解故障管理类型及数据库恢复技术了解数据转储技术了解如何利用日志文件进行数据恢复了解硬件容错方案11.1故障管理概述故障类型及解决方案:事务内部故障:导致数据不一致预期的事务内部故障:可通过事务过程本身发现解决办......
  • 无向图的拉普拉斯矩阵
    Definition定义无权重的无向图G=(V,E)。V是顶点集合,E是边集合。根据G,可得到一系列定义:adjacencymatrix(邻接矩阵) ......