常见LOSS函数之Cross Entropy(交叉熵)
交叉熵是分类问题常用的损失函数。
熵
熵表示稳定性或者说惊喜度，熵越高表示越稳定，其惊喜度就越低。
示例
一般用H(p)表示熵
交叉熵
交叉熵=熵+散度
散度代表分布的重叠程度，散度越高重合度越少。
当两个分布p和q相等时，散度等于0，此时交叉熵等于熵值。
二分类问题
示例
Softmax与交叉熵
在一般的情况下，Softmax和交叉熵是一起使用的，单独使用会出现数据不稳定的情况。在pytorch中使用时，Softmax被内置在了CrossEntropy中。
标签：LOSS,交叉,散度,Cross,Entropy,Softmax
From： https://www.cnblogs.com/dxmstudy/p/17444460.html