激活函数是神经网络中的关键组件，用于引入非线性特性，从而使神经网络能够学习复杂的模式和关系。以下是常见的激活函数及其特点、公式和应用场景： 1.Sigmoid（S型函数）公式：σ(x) = 1 +1 / (e−x)特点：输出范围：(0,1)(0,1)(0,1)。常用于二分类问题的概率输出。优点：

优化算法Batch梯度下降法每次对整个训练集进行计算，这在数据集很大时计算效率低下，因为每次更新权重前必须先处理整个训练集。可以将训练集划分为多个小子集，称为mini-batch。每次只使用一个mini-batch来计算梯度并更新参数。取出\(x^{(1)}\)到\(x^{(1000)}\)，将其组成第一个mi

训练过程中，显存的主要占用来自：激活值（Activations）：前向传播过程中存储的中间计算结果。梯度存储：用于反向传播。权重和偏置参数。一、梯度检查点（GradientCheckpointing）在深度学习中，反向传播需要保留前向传播过程中生成的中间激活值（activations）来计算梯度。GradientCheckp

神经网络基础1.损失函数1.损失函数的概念2.分类任务损失函数-多分类损失:3.分类任务损失函数-二分类损失:4.回归任务损失函数计算-MAE损失5.回归任务损失函数-MSE损失6.回归任务损失函数-SmoothL1损失2.网络优化方法1.梯度下降算法2.反向传播算法(BP算法)3.梯度下降优

深度学习的实践层面设计机器学习应用在训练神经网络时，超参数选择是一个高度迭代的过程。我们通常从一个初步的模型框架开始，进行编码、运行和测试，通过不断调整优化模型。数据集一般划分为三部分：训练集、验证集和测试集。常见的比例是60%用于训练，20%用于验证，20%用于测试。然而，

梯度（Gradient）是多变量函数中表示变化率和方向的一个基本概念，在优化问题和深度学习中非常重要。它描述了函数在某一点的变化趋势，指向该点函数值增长最快的方向。    梯度和导数的关系 梯度和导数的应用场景 梯度与导数的区别特性导数梯度适用范围一元

基于共轭梯度法的BP网络学习改进算法详解一、引言BP（BackPropagation）神经网络是一种强大的机器学习工具，广泛应用于模式识别、函数逼近、数据分类等领域。然而，传统的BP算法在训练过程中存在一些问题，例如收敛速度慢、容易陷入局部最优解等。共轭梯度法作为一种高效的优

✅作者简介：2022年博客新星第八。热爱国学的Java后端开发者，修心和技术同步精进。

一、正向传播和反向传播在模型训练过程中，是同时包含正向传播和反向传播的正向传播是模型根据输入数据和当前的参数（权重和偏置）计算预测输出的过程。例如，在一个图像分类神经网络模型中，输入是图像的像素数据，经过多个隐藏层的计算，最终在输出层得到预测的类别概率分布。反

DeepLearningFundamentals-ClassicEditionsite:https://deeplizard.com/learn/video/gZmobeGL0Yg1.MachineLearning机器学习：使用算法分析数据、从数据中学习，然后对新数据做出决定和预测。过程：写一个算法机器在特定的数据集上执行算法之后，机器可以用它从未见过的

1.引言神经网络（NeuralNetwork）是模拟人脑神经元连接模式的计算模型，旨在通过大量简单的计算单元（神经元）之间的连接和互动，解决复杂的计算和模式识别问题。自20世纪中叶提出以来，神经网络已成为机器学习和人工智能领域的重要工具，广泛应用于语音识别、图像分类、自然语言处理等

pandas的apiXGboostXGBoost之所以称为梯度提升树(GradientBoostingDecisionTree,GBDT)，是因为它基于梯度提升的原理，逐步提升模型的表现，最终构建一个强大的预测模型。XGBoost通过集成一系列的决策树（称为弱学习器或基学习器）来完成这一过程。它的核心思想是在每一轮训练中生成

GBDT1.残差提升树（BDT）梯度提升树（GrandientBoosting）是提升树（BoostingTree）的一种改进算法，所以在讲梯度提升树之前先来说一下残差提升树。残差提升树：通过拟合残差的方式进行提升残差=真实值-预测值残差可以是正的，也可以是负的，不能加绝对值（与绝对误差相区分）先来个通

了解积分梯度如何帮助识别哪些输入特征对模型的预测贡献  在金融和医疗保健等受到高度监管的行业中使用AI模型肩负着关键责任：可解释性。您的模型预测准确是不够的。您应该能够解释您的模型做出特定预测的原因。例如，如果我们正在开发一个基于脑部MRI扫描的肿瘤检测模型，我们

一、基础概念1.线性层线性层（LinearLayer）是神经网络中的一种基本层，也称为全连接层（FullyConnectedLayer）。它的工作方式类似于简单的线性方程：y=Wx+b，其中W是权重矩阵，x是输入，b是偏置项，y是输出。线性层的主要任务是将输入的数据通过权重和偏置进行线性变换，从而生成输出

为什么在进行softmax之前需要对attention进行scaled(为什么除以dk的平方根)?transformer论文中的attention是ScaledDot-PorductAttention来计算keys和queries之间的关系。如下图所示:在公式一中，作者对0和K进行点积以获得注意力权重，然后这些权重用于加权平均V。但在实

使用同步更新来执行更新的办法罗杰斯特回归的梯度下降这张图片展示了逻辑回归中的梯度下降算法。逻辑回归是一种广泛使用的分类算法，它使用一个逻辑函数来预测事件发生的概率。梯度下降是一种优化算法，用于最小化损失函数，从而找到最佳的模型参数。图片中的内容可

循环神经网络（RNN）详解**循环神经网络（RecurrentNeuralNetwork,RNN）**是一类能够处理序列数据的神经网络，其设计使得网络可以在每个时间步上保留先前时间步的信息。RNN通过在时间步之间共享参数，能够建模输入序列中元素的时序依赖关系。由于其递归结构，RNN在自然语言处理、语音

神经网络基础知识二分类任务(BinaryClassification)在二分类问题中，目标是将输入（如图片、文本或其他数据）分为两类之一，通常使用标签0和1来表示不同的类别。以图像识别为例，假设我们需要判断一张图片中是否包含猫。我们可以将包含猫的图片标记为标签1，不包含猫的图片标记为标签0。

目录1.参考2.总结3.分布式数据并行(DDP)4.总结1.参考https://zhuanlan.zhihu.com/p/6171339712.总结以GoogleGPipe为代表的流水线并行范式，当模型太大，一块GPU放不下时，流水线并行，将模型的不同层放到不同的GPU上，通过切割mini-batch实现对训练数据的流水线处理，提升GPU计算

3.微积分(Calculus)导数和梯度：用于优化算法（如梯度下降）中计算损失函数的最小值。偏导数：在多变量函数中优化目标函数。链式法则：在反向传播算法中用于计算神经网络的梯度。导数和梯度：用于优化算法（如梯度下降）中计算损失函数的最小值。导数和梯度是微积分中非常重要的概念，尤其

一、梯度下降 1.梯度下降是什么 梯度下降（GradientDescent）是深度学习中一种至关重要的优化算法，其核心目的是寻找最佳模型参数或权重，从而最小化损失函数。2.基本原理 梯度下降算法的基本思想是：通过迭代的方式，不断调整参数值，沿着目标函数（通常是损失函数）负梯度方向（即函数值

书接上文，想要用算法解决问题，就不可避免的涉及构造函数L（后面称之为损失函数Loss）求导，和对Loss函数求极小值。而对导函数求极小值就不得不提梯度下降算法，那边本期就来介绍什么是梯度下降算法，以及为什么梯度下降算法能求Loss函数的极小值。什么是梯度？梯度是偏导数组成的向量，，w是

什么是损失函数损失函数（LossFunction）在机器学习和统计学中是用来衡量模型预测值与实际值之间差异的函数。损失函数的目的是提供一个量化的指标，用于指导模型训练过程中的参数优化。通过最小化损失函数，可以调整模型的参数，使得模型的预测结果尽可能接近真实值。常见的损失函数

1.GBDT的核心思想与梯度提升GBDT全称为GradientBoostingDecisionTree，即梯度提升决策树。它是一种基于梯度下降优化的提升算法，通过逐步构建决策树来提高模型的预测性能。GBDT的核心思想是：每一轮新加入的树对当前模型的预测误差进行拟合，即通过构建多个弱学习器（回归树）