自信息
信息量
如何考察或计算信源输出的消息(或者符号)的信息量?
- 信源的信息实质:不确定性(信源输出的是消息,消息的内涵是信息。信源输出一个符号,我们认为发生一个事件)。
- 数学上我们用概率(或概率密度)来表征事件不确定性的大小。
1.信息量的大小与不确定性的消除多少有关;
收到某消息获得的信息量=不确定性的减少量=(收到该消息前关于某事件发生的不确定性)-(收到此消息后关于某事件发生的不确定性)
2.信道无噪声,收到某消息获得的信息量=收到该消息前关于某事件发生的不确定性=信源输出的某消息中所含的信息量。
3.概率小→不确定性大;概率大→不确定性小。
因此,某事件发生所含的信息量应该是该事件发生的先验概率的函数。
自信息定义
事件集合 中的事件
的自信息定义为
或记为:
注意 1 : 要求 I(x) 非负. 所以对数的底数必须大于 1 .
- 底数为 2 , 单位为比特 (bit) ;
- 底数为 \mathrm{e} , 单位为奈特 (Nat);
- 底数为 10 , 单位为笛特(Det)。
1 bit =0.693 Nat =0.301 Det
注意2: I(x) 是随机变量.
自信息的含义:
- 在事件发生前, 自信息表示事件发生的不确定性。
- 在事件发生后, 自信息表示事件所包含的信息量, 是提供给信宿的信息量, 也是解除这种不确定性所需要的信息量
联合自信息
联合事件集合 中的事件
的自信息定义为
其中, p(x y) 要满足非负和归一化的条件。
条件自信息
事件 在事件
给定条件下的自信息定义为
-条件自信息的含义
-在事件
给定条件下, 在
发生前的不 确定性;
-在事件
给定条件下, 在
发生后所得到的信息量。
Example 3有8×8=64个方格,甲将一棋子放入方格中,让乙猜。 1、将方格顺序编号,让乙猜顺序号的难度程度如何? 2、将方格按行和列编号,当甲告诉乙方格的行号后,让乙猜列顺序号的难度如何?
-解:两种情况的不确定性:
信息熵
信源符号自信息的数学期望为信源的平均信息量一信息熵
注意: \mathbf{H}(\mathbf{X}) 是一个数, 不是随机变量.
Example 3 请计算下述离散无记忆二进制信源的信息熵。 Solution
信息熵的物理含义
1.信息熵H(X)表示信源输出后,每个消息(符号)所提供的平均信息量;
2.信息熵H(X)表示信源输出前,信源的平均不确定性;
3.用信息熵H(X)来表征变量X的随机性。
注:信息熵不等于平均获得的信息量。一般情况下获得的信息量是两熵之差,而不是信息熵本身。
Example4:
甲地天气预报,
乙地天气预报
求:两地天气预报各自提供的平均信息量
解:
甲地提供的平均信息量大于乙地。
甲、乙地天气预报为两极端情况:
- 信源是确定信源, 所以不存在不确定性, 信息熵等于零。
甲、乙地天气预报为两极端情况:
- 这种情况下,信源的不确定性最大,信息熵最大。
- 甲地比乙地提供更多的信息量。因为甲地可能出现的消息数多于可能出现的消息数, 不确定性更大。
结论: 信源熵大于等于0(若信源输出为确定符号)而小于等于log(N)(信源输出的不确定性最大)。 0≤H(X)≤ log(N) 其中N为信源字符集元素的个数
Example 5 某信号带宽为4000Hz ,以奈奎斯特速率抽样。假设其抽样序列可以建模成一个字符集为A={-2,-1,0,1,2}的DMS,相应的概率为{1/2,1/4,1/8,1/16,1/16},求信源的速率(b/s)
其中
为信息速率。 注:奈奎斯特抽样速率为 2
。