对PyTorch中F.cross_entropy()的理解
PyTorch提供了求交叉熵的两个常用函数:
一个是F.cross_entropy()，
另一个是F.nll_entropy()，
是对F.cross_entropy(input, target)中参数target讲解如下。
一、交叉熵的公式及计算步骤
1、交叉熵的公式：
H(p,q)=−i∑P(i)logQ(i)
其中 P P为真实值， Q Q为预测值。
2、计算交叉熵的步骤：
1)步骤说明：
①将predict_scores进行softmax运算，将运算结果记为pred_scores_soft；
②将pred_scores_soft进行log运算，将运算结果记为pred_scores_soft_log；
③将pred_scores_soft_log与真实值进行计算处理。
思路即：
scores→softmax→log→compute
2)举一个例子对计算进行说明：
P 1 = [ 1 0 0 0 0 ]
Q 1 = [ 0.4 0.3 0.05 0.05 0.2 ]
H ( p , q ) = − ∑ i P ( i ) log Q ( i ) = − ( 1 ∗ l o g 0.4 + 0 ∗ l o g 0.3 + 0 ∗ l o g 0.05 + 0 ∗ l o g 0.05 + 0 ∗ l o g 0.2 ) = − l o g 0.4 ≈ 0.916
如果
Q 2 = [ 0.98 0.01 0 0 0.01 ]
则
H ( p , q ) = − ∑ i P ( i ) log Q ( i ) = − ( 1 ∗ l o g 0.98 + 0 ∗ l o g 0.01 + 0 ∗ l o g 0.05 + 0 ∗ l o g 0 + 0 ∗ l o g 0.01 ) = − l o g 0.98 ≈ 0.02
由 H ( p , q )的计算结果和直观地观察 Q1和 Q2与 P1的相似度，均可看出 Q2比 Q1更近似于 P 1
二、官方文档的说明
在PyTorch的官方中文文档中F.cross_entropy()的记录如下：
torch.nn.functional.cross_entropy(input, target, weight=None, size_average=True)
该函数使用了 log_softmax 和 nll_loss，详细请看CrossEntropyLoss
常用参数：
参数名 | shape | 注 |
input | (N,C) | C是类别的个数 |
target | N | 0 <= targets[i] <= C-1 |
三、自己的理解
在官方文档说明中，对于target参数的说明为，torch.shape为torch.Size([N])，0 <= targets[i] <= C-1。
网络计算输出并送入函数中的input的torch.shape为torch.Size([N,C])，它的torch.shape并不会因为softmax和log的操作而改变，但是target的torch.shape为torch.Size([N])，是一个标量而不是一个矩阵，那么如何按照上面的例子中的运算方法进行交叉熵的计算？
例如：
import torch
import torch.nn.functional as Fpred_score = torch.tensor([[13., 3., 2., 5., 1.],
[1., 8., 20., 2., 3.],
[1., 14., 3., 5., 3.]])
print(pred_score)
pred_score_soft = F.softmax(pred_score, dim=1)
print(pred_score_soft)
pred_score_soft_log = pred_score_soft.log()
print(pred_score_soft_log)
它的结果为：
tensor([[13., 3., 2., 5., 1.],
[ 1., 8., 20., 2., 3.],
[ 1., 14., 3., 5., 3.]])
tensor([[9.9960e-01, 4.5382e-05, 1.6695e-05, 3.3533e-04, 6.1417e-06],
[5.6028e-09, 6.1442e-06, 9.9999e-01, 1.5230e-08, 4.1399e-08],
[2.2600e-06, 9.9984e-01, 1.6699e-05, 1.2339e-04, 1.6699e-05]])
tensor([[-4.0366e-04, -1.0000e+01, -1.1000e+01, -8.0004e+00, -1.2000e+01],
[-1.9000e+01, -1.2000e+01, -6.1989e-06, -1.8000e+01, -1.7000e+01],
[-1.3000e+01, -1.5904e-04, -1.1000e+01, -9.0002e+00, -1.1000e+01]])
如何与一个标量target进行计算？
四、分析
F.Cross_entropy(input, target)函数中包含了softmax和log的操作，即网络计算送入的input参数不需要进行这两个操作。
例如在分类问题中，input表示为一个torch.Size([N, C])的矩阵，其中，N为样本的个数，C是类别的个数，input[i][j]可以理解为第 i 样本的类别为 jj的Scores，Scores值越大，类别为 j 的可能性越高，就像在代码块中所体现的那样。
同时，一般我们将分类问题的结果作为lable表示时使用one-hot embedding，例如在手写数字识别的分类问题中，数字0的表示为 [ 1 0 0 0 0 0 0 0 0 0 ]
数字3的表示为 [ 0 0 0 1 0 0 0 0 0 0 ]
在手写数字识别的问题中，我们计算 l o s s loss loss的方法为 l o s s = ( y − y ^ ) 2 ，即求 y的embedding的矩阵减去pred_probability矩阵的结果矩阵的范数。
但是在这里，交叉熵的计算公式为
H ( p , q ) = − ∑ i P ( i ) log Q ( i )
其中 P 为真实值概率矩阵， Q为预测值概率矩阵。
那么如果 P使用one-hot embedding的话，只有在 i 为正确分类时 P ( i ) 才等于 1，否则， P ( i ) 等于0。
例如在手写数字识别中，数字3的one-hot表示为 [ 0 0 0 1 0 0 0 0 0 0 ]
对于交叉熵来说， H ( p , q ) = − ∑ i P ( i ) l o g Q ( i ) = − P ( 3 ) l o g Q ( 3 ) = − l o g Q ( 3 )
发现 H ( p , q ) 的计算不依赖于 P矩阵，而仅仅与 P的真实类别的index有关
五、总结
所以，我的理解是，在one-hot编码的前提下，在pytorch代码中target不需要以one-hot形式表示，而是直接用scalar，scalar的值则是真实类别的index。所以交叉熵的公式可表示为：
H ( p , q ) = − ∑ i P ( i ) l o g Q ( i ) = − P ( m ) l o g Q ( m ) = − l o g Q ( m )
其中， m m m表示真实类别。