信息熵

前置知识：期望

简介

在信息论中，熵\((entropy)\)是接收的每条消息中包含的信息的平均量，又被称为信息熵、 信源熵、平均自信息量。
这里，"消息"代表来自分布或数据流中的事件、样本或特征。（熵最好理解为不确定性的量度而不是确定性的量度，因为越随机的信源的熵越大。）来自信源的另一个特征是样本的概率分布。
这里的想法是，比较不可能发生的事情，当它发生了，会提供更多的信息。由于一些其他的原因，把信息（熵）定义为概率分布的对数的相反数是有道理的。事件的概率分布和每个事件的信息量构成了一个随机变量，这个随机变量的均值（期望）就是这个分布产生的信息量的平均值（即熵）。

以上简介摘自\(bing\)

信息熵创始人 克劳德·艾尔伍德·香农 \(Claude Elwood Shannon\)
熵的计算公式\(H=-\sum_{i=1}^{n}P\ log2\ P\)
\(P\)表示这件事情发生的概率\(/\)这个字符在整个字符串里出现的概率
规定 \(0\ log\ 0=0\)

特点

• 信息熵的特点
  • 单调性 一件事发生的概率越大，熵就越小
  • 非负性 输入命令的信息含量不可能为负
  • 累加性 熵只增不减，除非恢复原样

例子

对于一串字符的熵

滴滴滴滴

\(P=1,\ log2\ P=0\)
\(H=-(1\times0+1\times0+1\times0+1\times0)=0\)
这条信息在计算机中的价值为0。

一个整数

\(P=1/4,\ log2\ P=-2\)
\(H=-(1\times(-2)+1\times(-2)+1\times(-2)+1\times(-2))=8\)
这条信息在计算机中的价值为8。