信息论与编码（三）| 联合熵和条件熵

联合熵和条件熵

联合熵

联合集 X Y 上, 对联合自信息 的平均值称为联合熵:

当有 n 个随机变量 , 有

信息熵与热熵的关系

信息熵的概念是借助于热熵的概念而产生的。

1.信息熵与热熵含义相似 2.信息熵与热熵的区别: 1)信息熵的不增原理;2)热熵不减原理。

3．热熵的减少等于信息熵的增加。

条件熵

联合集 上, 条件自信息的平均值定义为条件 熵：

推广：

注意：

注意： 表示已知变量 后, 对变量 尚存在的平均不确定性（存在疑义）。

定义：一个平稳的时域离散随机过程的熵速率 (entropy rate) 定义为

具有记忆性的信源的熵速率定义为

Example 6. 两个二进制随机变量 和 , 其联合分布为 p(X=Y=0)=p(X= 0, Y=1)=p(X=Y=1)=1 / 3 . 计算 H(X), H(Y),, , and H(X, Y) . Solution:

各类熵的关系

1. 条件熵不大于信息熵

熵的不增原理:

2. 联合熵不大于个信息熵的和，即
   
   仅当各 相互独立时, 等号成立。
3. 
4. 

四、离散无记忆信源的序列熵

马尔可夫信源的特点：无后效性。

发出单个符号的信源

• 指信源每次只发出一个符号代表一个消息;

发出符号序列的信源

• 指信源每次发出一组含二个以上符号的符号序列代表一个消息。
• 当信源无记忆时

信源的序列熵

• 若又满足平稳特性, 即与序号 l 无关时:
  
• 信源的序列熵
  
• 平均每个符号(消息)熵(符号熵) 为
  

例: 有一个无记忆信源随机变量 , 等概率分布,若以 单个符号出现为一事件, 则此时的信源熵:

即用 1 比特就可表示该事件。

• 如果以两个符号出现 ( 的序列)为一事件, 则随机序 列 , 信源的序列熵
  

即用2比特才能表示该事件。

• 信源的符号熵
  

离散有记忆信源的序列熵

• 对于有记忆信源,就不像无记忆信源那样简单, 它必须 引入条件熵的概念, 而且只能在某些特殊情况下才能 得到一些有价值的结论。
• 对于由两个符号组成的联合信源, 有下列结论:

• 当前后符号无依存关系时,有下列推论:

• 若信源输出一个L长序列,则信源的序列熵为
  
• 平均每个符号的熵为：
  
• 若当信源退化为无记忆时:若进一步又满足平稳性时
  

平稳有记忆N次扩展源的熵

设 为离散平稳有记忆信源, 的 次扩展源记为 ,

根据熵的可加性,得 根据平稳性和熵的不增原理,得, 仅当无记忆信源时等式成立。

对于 的 次扩展源, 定义平均符号熵为:

信源 的极限符号熵定义为：

极限符号熵简称符号熵, 也称熵率。

定理: 对任意离散平稳信源, 若 , 有:

(1) 不随 而增加; (2) (3) 不随 N 而增加; (4) 存在,且

该式表明, 有记忆信源的符号熵也可通过计算极限条件熵得到。