注意力机制（显示考虑随意线索）随意线索：查询query每个输入是一个value和不随意线索key的对通过注意力池化层偏向性选择某些输入历史演变：非参注意力池化层：60年代提的Nadaraya-Watson核回归，类似于knn如果使用高斯核，fx函数类似于softmax和y（y是一个value）的乘积参数化注意力机制：

一、手动实现softmax回归#手动实现softmax回归#%matplotlibinlineimporttorchfromd2limporttorchasd2limportmatplotlib.pyplotaspltfromIPythonimportdisplay#参数初始化：batch_size=256train_iter,test_iter=d2l.load_data_fashion_mnist(batc

一、L2正则化手动实现#权重衰退手动实现%matplotlibinlineimporttorchfromd2limporttorchasd2lfromtorchimportnn#n_train个训练样本,n_test个测试样本，输入数据维度是200维n_train,n_test,num_inputs,batch_size=20,200,200,5true_w,true_b=to

一、多层感知机手动实现#多层感知机的手动实现%matplotlibinlineimporttorchfromtorchimportnnfromd2limporttorchasd2lbatch_size=256train_iter,test_iter=d2l.load_data_fashion_mnist(batch_size)num_inputs,num_outputs,num_first_hiddens=

一、手动实现线性回归#线性回归的手动实现%matplotlibinlineimporttorchimportrandomfromd2limporttorchasd2l#随机按照参数w和b外加一些噪音来创造训练数据集data和labelsdefsynthetic_data(w,b,num_examples):X=torch.normal(0,1,(num_example

#人工智能##深度学习##语义分割##计算机视觉##神经网络#计算机视觉13.11全卷积网络全卷积网络（fullyconvolutionalnetwork，FCN）采用卷积神经网络实现了从图像像素到像素类别的变换。引入l转置卷积（transposedconvolution）实现的，输出的类别预测与输入图像在像素级别上具有

#深度学习##人工智能##神经网络#现代卷积神经网络7.5批量规范化可持续加速深层网络的收敛速度，是一种线性变化。批归一化原理公式思想：（B表批量大小，μB、B表示根据输入的小批量数据随机计算的均值和方差；γ和β是新学习到的新方差和均值）批量归一化固定小批量中的均值和

#人工智能##深度学习##语义分割##计算机视觉##神经网络#计算机视觉13.10转置卷积例如，卷积层和汇聚层，通常会减少下采样输入图像的空间维度（高和宽）。然而如果输入和输出图像的空间维度相同，在以像素级分类的语义分割中将会很方便。转置卷积（transposedconvolution）可以增加

resnet实现的细节：各种残差块各模型对比图代码：importtorchfromtorchimportnnfromtorch.nnimportfunctionalasFfromd2limporttorchasd2l​"""ResNet沿用了VGG完整的3*3卷积层设计。残差块里首先有2个有相同输出通道数的3*3卷积层。每个卷积

训练时候存在的问题为什么要做批量归一化批量归一化（BatchNormalization,BN）是一种用于加速深度学习模型训练的技术。它通过标准化每层网络的输入（通常是前一层网络的输出），使得网络中的每一层都能接收到具有相同分布的输入数据。这有助于解决训练过程中出现的一些问题，以下是

多通道卷积计算特殊的卷积层1*1卷积核代码："""​多输入多输出的互相关运算"""importtorchfromtorchimportnnfromd2limporttorchasd2l​"""实现多输入通道互相关运算"""​​defcorr2d_multi_in(x,k): returnsum(d2l.corr

卷积神经网络（李沐老师课程）回顾MLP单层（上述列子需要14GBGPU）找寻图片上的人在哪里找寻图片上的人的两个基本原则从全连接层出发到卷积卷积层二维交叉相关二维卷积层案列交叉相关和卷积代码的实现importtorchfromtorchimportnnfromd2limportt

李沐老师的讲解思路是先从数学概念引入，讲完以后再到代码实现：1.数学概念1.1标量导数1.2向量求导（梯度）分为四种情况：1.2.1标量y，关于向量x求导李沐老师这里先讲了y为标量，x为向量的情况，x是长度为1的列向量，关于列向量的导数（即梯度）是行向量，具体解释如下：在这个例子里， 

李沐老师：线性回归是机器学习最基础的一个模型，也是我们理解之后所有深度学习模型的基础，所以我们从线性回归开始1.线性回归由于是案例引入，没有很难的知识点，咱直接贴上李沐老师的PPT：1.1线性模型--单层神经网络李沐老师：神经网络起源于神经科学，但现在深度学习的发展

#深度学习##人工智能##神经网络#卷积神经网络（convolutionalneuralnetwork，CNN）6.4多输入多输出通道6.4.1多输入通道当输入包含多个通道时，需要构造一个与输入数据具有相同输入通道数的卷积核，以便与输入数据进行互相关运算。例子：两个输入通道的二维互相关运算的示例。阴

在Amazon呆到第五年的时候就想着创业了，但被疫情耽搁了。到第7年半的时候，觉得太痒了，就提了离职。现在想来，如果有什么事这一辈子总要试下的，就蹭早。因为真开始后会发现有太多新东西要学，总感叹为啥没能早点开始。名字：BosonAI的来源创业前做了一系列用Gluon命名的项目

原博客地址：https://staging.distill.pub/2021/gnn-intro/?ref=https://githubhelp.com由于该博客发表在distill上，具有许多交互性的图片，可以很好对原文作出解释，故本博客截取了较多原文中的图片。建议去原博客体验交互效果方便更好地理解。引言该博客发表在distill上，是一篇关于

论文地址：https://arxiv.org/pdf/1706.03762摘要当时的序列转录模型主要依赖于复杂的循环或者卷积神经网络加encoder+decoder架构组成，而论文提出了一种简单的网络架构transformer，在原有的encoder+decoder基础上增加注意力机制，而不使用循环和卷积。引言在引言中提到RNN的缺点

目录目录：d2l包安装失败的解决过程前言一、李沐提供的安装方式1.创建一个新的环境2.激活d2l环境3.安装深度学习框架和d2l软件包3.1安装PyTorch的CPU或GPU版本3.2安装d2l包二、安装报错三、解决办法四、检验是否安装成功尝试了很多方法都没有成功，知道看到这一篇介绍，故转载至

论文地址：https://arxiv.org/pdf/1512.03385v1.pdf引言作为一篇发表于2015年的文章，至今我们仍在深度卷积神经网络中用到ResNet，作为一个神经网络初学者，我觉得很有必要去阅读一下这篇文章。在ResNet发表之前，深层神经网络的训练非常困难，而且会遇到当网络层级超过一定界限之后，神经

李沐动手学深度学习V2文章内容说明本文主要是自己学习过程中的随手笔记，需要自取课程参考B站：https://space.bilibili.com/1567748478?spm_id_from=333.788.0.0课件等信息原视频简介中有CSV文件修改读取成张量tensor数据预处理首先(创建一个人工数据集，并存储在CSV（逗号分隔值

大侠幸会，在下全网同名「算法金」0基础转AI上岸，多个算法赛Top「日更万日，让更多人享受智能乐趣」今天我们来聊聊达叔6大核心算法之——优化算法。吴恩达：机器学习的六个核心算法！梯度下降优化算法是机器学习和深度学习中最常用的优化算法之一。它通过不断调整模型

这里只是对代码的解析，我在写这个解析的时候并没有看后面的内容，只能大概猜一下可能是要干嘛的首先是import相关工具，这里使用pytorch%matplotlibinlineimporttorchfromd2limporttorchasd2ltorch.set_printoptions(2)#精简输出精度1.生成锚框接下来是第一个难点，这

前言内容不多，但姑且记下来加深印象好了[视频链接]（https://www.bilibili.com/video/BV1H44y1t75x/?spm_id_from=333.788&vd_source=0e55873fcd6a0d01839a7f7f37c36254）内容总概读论文的重点在于筛选出适合自己的论文，通过三遍阅读来找出并吸收论文大致分为1、标题title2、摘

1、pytorch中的矩阵乘法；2、标量对向量求导；3、pytorch的backward函数；4、如何直观理解梯度下降；梯度，是个向量，有方向和长度就是向量，向量里的各个元素是偏导、是标量对向量求导的那个偏导、是多元函数全微分里z对x、y求的那个偏导。全微分dz所在的z轴是向上的，而梯度下降需要向下，所