首页 > 其他分享 >归一化指数函数——softmax函数

归一化指数函数——softmax函数

时间:2024-08-13 15:09:23浏览次数:14  
标签:1.4 指数函数 frac 0.1 pmatrix softmax 归一化

概念与应用

Softmax函数常用于多分类任务,将模型输出值归一化到[0,1]范围内,作为样本的概率。二分类可以看作是多分类的一种。因此,Softmax函数可以兼容logistics函数。logistics可以将输出归一化到[0,1],但是仅输出正类的概率值。Softmax可以输出每一个样本对应的概率值。实际使用中,常在Softmax归一化结果中,选择概率最大值作为分类结果。

基本特性:

  1. 归一化:将数值限定在范围[0,1]内,并且所以数值之和为1。
  2. 放大效果:两个数值的大小差距不大,但是通过指数运算,会有明显的放大效果。

运算过程

公式

\[softmax(X_j) = \frac {e^{X_j}}{\sum_{i = 1}^N e^{x_i}} \]

示例

假设输入向量\(\begin{pmatrix} 1.4 \\ -0.1 \\ 0.3 \end{pmatrix}\),经过softmax过程如下。

\[\begin{pmatrix} 1.4 \\ -0.1 \\ 0.3 \end{pmatrix} \implies \begin{pmatrix} \frac{e^{1.4}}{e^{1.4} + e^{-0.1} + e^{0.3}} \\ \frac{e^{-0.1}}{e^{1.4} + e^{-0.1} + e^{0.3}} \\ \frac{e^{0.3}}{e^{1.4} + e^{-0.1} + e^{0.3}} \end{pmatrix} \implies \begin{pmatrix} 0.643 \\ 0.143 \\ 0.214 \end{pmatrix} \]

损失函数

定义:为了确保完整的信息被描述所需要的编码长度。来源于信息论。即,用N进制表示需要多少位(bit)。

例如:求26个字母的信息量。26个字母出现的概率相同,如果用一个信息位表示两个信息(二进制),则信息量为\(log_x^{\frac{1}{p}} = log_2^{\frac{1}{26}} \approx 5\)

交叉熵

实际情况都不是均匀分布或者是未知分布,因此公式改为\(H(p,q) = \sum_{i=1}^N p_i log_x^{\frac{1}{q_i}}\),其中\(p_i\)表示真实概率,\(q_i\)表示预测概率。

参考文献

标签:1.4,指数函数,frac,0.1,pmatrix,softmax,归一化
From: https://www.cnblogs.com/coder-shane/p/18356939

相关文章

  • limu|P8-9|线性回归、softmax回归
    线性回归模型:\(y=Xw+b+\epsilon\)1、如何衡量模型质量?lossfunction损失函数——量化实际值和预测值之间的差距可证:在高斯噪声的假设下,线性模型的最大似然估计等价于最小化均方误差(MSE)。证明在另一篇里写过:https://www.cnblogs.com/xjl-ultrasound/p/18305000平方误差:......
  • 机器学习中的两个重要函数--sigmoid和softmax
    机器学习中,常常见到两个函数名称:sigmoid和softmax。前者在神经网络中反复出现,也被称为神经元的激活函数;后者则出现在很多分类算法中,尤其是多分类的场景,用来判断哪种分类结果的概率更大。本文主要介绍这两个函数的定义,形态,在算法中的作用,以及两个函数之间的联系。1.sigmoid函数......
  • 深度学习中归一化的方法
    深度学习中常用的归一化方法有:最大最小归一化(Min-MaxScaling)、Z-score归一化(Standardization)、小数定标归一化(DecimalScaling)、批量归一化(BatchNormalization,BN)、层归一化(LayerNormalization,LN)、实例归一化(InstanceNormalization,IN)和组归一化(GroupNormalization,GN)。最......
  • Pytorch笔记|小土堆|P16-22|神经网络基本骨架、卷积层、池化层、非线性激活层、归一化
    torch.nnContainers是神经网络骨架,含6个类,最常用的是Module——BaseclassforallNNmodulesModule所有神经网络模型(子类)都必须继承Module(父类),Module相当于给所有的神经网络提供了模板,但可进行修改官方示例:importtorch.nnasnnimporttorch.nn.functionalasFclass......
  • Open3D 计算点云的归一化协方差矩阵
    目录一、概述1.1原理1.2实现步骤1.3应用二、代码实现2.1关键函数2.2完整代码三、实现效果3.1原始点云3.2数据显示Open3D点云算法汇总及实战案例汇总的目录地址:Open3D点云算法与点云深度学习案例汇总(长期更新)-CSDN博客一、概述        计算点云的归一......
  • 每组具有归一化 y 轴的计数图
    我想知道是否可以创建Seaborn计数图,但不是显示y轴上的实际计数,而是显示其组内的相对频率(百分比)(如hue参数指定)。I使用以下方法解决了这个问题,但我无法想象这是最简单的方法:#Plotpercentageofoccupationperincomeclassgrouped=df.groupby(['income'],......
  • 细流归海:在sklearn中实现增量特征归一化
    细流归海:在sklearn中实现增量特征归一化在机器学习中,特征归一化是提升模型性能的关键步骤之一,它确保了不同量级的特征对模型训练的影响是均衡的。scikit-learn(简称sklearn)提供了多种工具来实现特征归一化,但对于动态数据或在线学习场景,我们需要使用增量归一化方法。本文将详......
  • 深度学习——批量归一化处理
    1.为什么要进行归一化处理1.对于我们输入而言,标准化输入是一项重要的步骤,例如预测房间时,我们让特征值方差为1,均值为0,可以使我们的参数量级做到统一2.对于典型的多层感知机而言,有些层输出的范围可能与输入的范围存在过大的区别,导致我们的模型收敛速度过慢3.越深的模型,越容易......
  • 3.6--softmax回归的从零开始实现
    softmax回归从零实现前言一、导入相关的库二、数据和模型参数1.读取数据2.初始化模型参数三、实现softmax运算四、定义模型五、定义损失函数六、计算分类准确率七、训练模型八、预测总结前言本节介绍softmax和交叉熵损失函数的从零开始实现。一、导入相关的库imp......
  • MNIST数据集:手搓softmax回归
    源码:importtorchimporttorchvisionastvfromtorch.utilsimportdataimportmatplotlib.pyplotaspltimporttimedefget_fashion_mnist_labels(labels):text_labels=['T-shirt/top','Trouser','Pullover','Dress&#......