熵，交叉熵，Focalloss

https://zhuanlan.zhihu.com/p/149186719

香农首次提出熵的定义，目的寻找一种高效/无损地编码信息的方法：以编码后数据的平均长度来衡量高效性，平均长度越小越高效；同时还需满足“无损”的条件，即编码以后不能呢个有原始信息的丢失。所以熵的定义是：无损编码事件信息的最小平均编码长度。

熵的计算：

假设一个信息事件有8种可能状态（用N表示），假设各个状态等可能性，需要多少位的二进制来编码这8个值呢？

计算公式： log₂8=3

每种状态的可能性P=1/N

log₂N=-log₂1/N=log₂P

计算平均最小长度(熵)：Entropy=ΣP(x_i)log₂P(x_i)

熵是理论上的平均最小编码长度，所以交叉熵只可能大于等于熵

交叉熵用P，Q表示 H(P,Q), P为真实概率分布，Q为预测概率

H(P_1,  Q₁)=-ΣP₁(i)log₂Q₁(i)