机器学习中的基本问题——log损失与交叉熵的等价性

1、log损失

log损失的基本形式为：

log(1+exp(−m)) l o g ( 1 + e x p ( − m ) )

其中，m=y⋅y^ m = y ⋅ y ^ ，y∈{−1,1} y ∈ { − 1 , 1 } 。

对上述的公式改写：

⇒1m∑i=1mlog(1+exp(−y(i)⋅y(i)^)) ⇒ 1 m ∑ i = 1 m l o g ( 1 + e x p ( − y ( i ) ⋅ y ( i ) ^ ) )

已知：

σ(x)=11+exp(−x) σ ( x ) = 1 1 + e x p ( − x )

σ(x)=1−σ(−x) σ ( x ) = 1 − σ ( − x )

⇒1m∑i=1mlog(σ(y(i)⋅y(i)^)−1)=−1m∑i=1mlogσ(y(i)⋅y(i)^) ⇒ 1 m ∑ i = 1 m l o g ( σ ( y ( i ) ⋅ y ( i ) ^ ) − 1 ) = − 1 m ∑ i = 1 m l o g σ ( y ( i ) ⋅ y ( i ) ^ )

2、交叉熵

交叉熵的一般形式为：

H(y,y^)=−∑y⋅logσ(y^) H ( y , y ^ ) = − ∑ y ⋅ l o g σ ( y ^ )

对于m m 个样本，则交叉熵为：

H(y,y^)=−1m∑i=1m[I{y(i)=1}⋅logσ(y^)+I{y(i)=−1}⋅log(1−σ(y^))]H(y,y^)=−1m∑i=1m[I{y(i)=1}⋅logσ(y^)+I{y(i)=−1}⋅log(1−σ(y^))]

H(y,y^)=−1m∑i=1m[I{y(i)=1}⋅logσ(y^)+I{y(i)=−1}⋅logσ(−y^)] H ( y , y ^ ) = − 1 m ∑ i = 1 m [ I { y ( i ) = 1 } ⋅ l o g σ ( y ^ ) + I { y ( i ) = − 1 } ⋅ l o g σ ( − y ^ ) ]

由于 y(i)∈{−1,1} y ( i ) ∈ { − 1 , 1 } ，且必定为其一。

⇒I{y(i)=k}={01 if y(i)≠k if y(i)=k ⇒ I { y ( i ) = k } = { 0  if  y ( i ) ≠ k 1  if  y ( i ) = k

H(y,y^)=−1m∑i=1mlogσ(y(i)⋅y(i)^) H ( y , y ^ ) = − 1 m ∑ i = 1 m l o g σ ( y ( i ) ⋅ y ( i ) ^ )