目录
一、softmax 函数
二、损失函数 loss function
三、最后的准备工作
四、具体的推导过程
softmax经常被添加在分类任务的神经网络中的输出层，神经网络的反向传播中关键的步骤就是求导，从这个过程也可以更深刻地理解反向传播的过程，还可以对梯度传播的问题有更多的思考。
一、softmax 函数
softmax函数，一般在神经网络中， softmax可以作为分类任务的输出层。其实可以认为softmax输出的是几个类别选择的概率，比如我有一个分类任务，要分为三个类，softmax函数可以根据它们相对的大小，输出三个类别选取的概率，并且概率和为1。
softmax函数的公式是这种形式：
代表的是第i个神经元的输出。ok，其实就是在输出后面套一个这个函数，在推导之前，我们统一一下网络中的各个表示符号，避免后面突然出现一个什么符号懵逼推导不下去了。
首先是神经元的输出，一个神经元如下图：
神经元的输出设为：
其中
是第
个神经元的第
个权重，
是偏移值，
表示该网络的第
个神经元的输出。给这个输出加上一个softmax函数，那就变成了这样：
代表softmax的第
个输出值，就是套用了softmax函数。
二、损失函数 loss function
在神经网络反向传播中，要求一个损失函数，这个损失函数其实表示的是真实值与网络的估计值的误差，知道误差了，才能知道怎样去修改网络中的权重。
损失函数可以有很多形式，这里用的是交叉熵函数，原因如下2个：
- 主要是由于这个求导结果比较简单，易于计算，
- 交叉熵解决某些损失函数学习缓慢的问题。
交叉熵的函数是这样的：
注意：其中的一项为 （一个节点的）
其中
表示真实的分类结果。到这里可能嵌套了好几层，不过不要担心，下面会一步步推导，强烈推荐在纸上写一写，有时候光看看着看着就迷糊了，自己边看边推导更有利于理解。
三、最后的准备工作
四、具体的推导过程
为了容易理解假如是这样的模型
好了，这下正式开始，首先，我们要明确一下我们要求什么，我们要求的是我们的
对于神经元输出
的梯度，即：
根据复合函数求导法则：
：【注意：其中求和表示总的损失函数,j=1,2,3表示损失函数的和，看上图可以理解，
eg：若此时Zi为Z1,总的损失为C1+C2】
由于有些朋友对于之前的写法有些疑惑，所以我这里修改了一下，这里为什么是
而不是
这里要看一下softmax的公式了，因为softmax公式的特性，它的分母包含了所有神经元的输出，所以，对于不等于
两种情况求导。
下面我们一个一个推：
第二个稍微复杂一点，我们先把它分为两种情况：
①如果
【可以理解上图中的，此时为交叉损失函数C1,下面就是a1对Z1求偏导】：
②如果
【可以理解上此时为交叉损失函数C2,下面就是a2对Z1求偏导，注：这主要是因为softmax分母中有z1和z2】：
接下来我们只需要把上面的组合起来：
【注意这里的下标】 最后的结果看起来简单了很多，最后，针对分类问题，我们给定的结果
最终只会有一个类别是1，其他类别都是0，因此，对于分类问题，这个梯度等于：