信息熵是指信号源(信源)的信息量。设有一个离散信源,{$X_i$},i=1,2..,N,它产生消息的概率是已知的,记为,P({$X_i$})),$\sum_{i=1}^{N} P(X_i)=1 $,则信息量定义为:$I(X_i)=\log_{2}{\frac{1}{P(X_i)} } =-\log_{2}{P(X_i) } bit$
信息量仅反映了一个符号的信息量的大小,而信源都是由若干个符号所组成,如二进制信源由0和1两个符号,因此,用平均信息量,称
为“熵”(entropy)来表示由多个符号所组成信源所携带的信息量,定义为
$H=\sum_{i=1}^{N} P(X_i)I[P(X_i) ]=-\sum_{i=1}^{N} P(X_i)\log_{2}{P(X_i) }$
上式取以2为底的对数时,单位是比特:
$H=\sum_{i=1}^{N} P(X_i)I[P(X_i) ]=-\sum_{i=1}^{N} P(X_i)\log_{2}{P(X_i) }$ (比特/符号)(2)
标签:编码,log,符号,信息量,sum,CABAC,信源,详解 From: https://www.cnblogs.com/lanlancky/p/18400147