目录
信道容量的定义
信道容量是指在取遍 X X X 的不同分布 p ( x i ) p(x_i) p(xi)时，互信息 I ( X ; Y ) I(X;Y) I(X;Y)的最大值，即
C = max p ( x i ) I ( X ; Y ) \mathcal{C}=\operatorname*{max}_{p(x_{i})}I\left(X;Y\right) C=p(xi)maxI(X;Y)
一般地说，确定一个信道的容量 c c c是一个非常困难的问题，但对于一些特殊信道，简便求解信道容量是可能的。后面会计算对称信道的信道容量作为示例。
定义的合理性
信道容量是信息论中的关键性概念, 是信道编码定理中高效传输和可靠传输的理论平衡点。而信道容量的定义的合理性基于互信息是输入概率分布的连续函数和互信息是输入概率分布的上凸函数
互信息是输入概率分布的上凸函数：
证明:
I ( X ; Y ) = H ( X ) − H ( X ∣ Y ) = ∑ i j p ( x i , y j ) log p ( x i , y j ) p ( x i ) p ( y j ) = ∑ i j p ( x i ) p ( y j ∣ x i ) log p ( x i ) p ( y j ∣ x i ) p ( x i ) p ( y j ) = ∑ i j p ( x i ) p ( y j ∣ x i ) log p ( y j ∣ x i ) p ( y j ) \begin{aligned}&I\left(X;Y\right)=H\left(X\right)-H\left(X\mid Y\right)\\&=\sum_{ij}p\left(x_{i},y_{j}\right)\log\frac{p\left(x_{i},y_{j}\right)}{p\left(x_{i}\right)p\left(y_{j}\right)}\\&=\sum_{ij}p\left(x_{i}\right)p\left(y_{j}\mid x_{i}\right)\log\frac{p\left(x_{i}\right)p\left(y_{j}\mid x_{i}\right)}{p\left(x_{i}\right)p\left(y_{j}\right)}\\&=\sum_{ij}p\left(x_{i}\right)p\left(y_{j}\mid x_{i}\right)\log\frac{p\left(y_{j}\mid x_{i}\right)}{p\left(y_{j}\right)}\end{aligned} I(X;Y)=H(X)−H(X∣Y)=ij∑p(xi,yj)logp(xi)p(yj)p(xi,yj)=ij∑p(xi)p(yj∣xi)logp(xi)p(yj)p(xi)p(yj∣xi)=ij∑p(xi)p(yj∣xi)logp(yj)p(yj∣xi)
设对应输入分布 p 1 ( x ) p_1(x) p1(x)的互信息是 I 1 ( X ; Y ) , Y I_1( X; Y) , Y I1(X;Y),Y 的 分 布 是 p 1 ( y ) ； p_1( y) ； p1(y)；对应输入分布 p 2 ( x ) p_2(x) p2(x)的互信息是 I 2 ( X ; Y ) , Y I_2(X;Y),Y I2(X;Y),Y 的分布是 p 2 ( y ) ; p_2(y); p2(y);
对任意的 0 ⩽ λ ⩽ 1 \leqslant\lambda\leqslant1 ⩽λ⩽1,设对应分布 q ( x ) : = λ p 1 ( x ) + ( 1 − λ ) p 2 ( x ) q(x):=\lambda p_{1}(x)+(1-\lambda)p_{2}(x) q(x):=λp1(x)+(1−λ)p2(x)的互信息是 I ( X , Y ) , Y I(X,Y),Y I(X,Y),Y 的分布是 q ( y ) q(y) q(y)。于是，
λ I 1 ( X ; Y ) + ( 1 − λ ) I 2 ( X ; Y ) − I ( X ; Y ) = λ ∑ i j p 1 ( x i ) p ( y j ∣ x i ) log p ( y j ∣ x i ) p 1 ( y j ) + ( 1 − λ ) ∑ i j p 2 ( x i ) p ( y j ∣ x i ) log p ( y j ∣ x i ) p 2 ( y j ) − ∑ i j q ( x i ) p ( y j ∣ x i ) log p ( y j ∣ x i ) q ( y j ) = λ ∑ i i p 1 ( x i ) p ( y j ∣ x i ) log p ( y j ∣ x ˙ i ) p 1 ( y j ) + ( 1 − λ ) ∑ i j p 2 ( x i ) p ( y j ∣ x i ) log p ( y j ∣ x i ) p 2 ( y j ) − ∑ i j [ λ p 1 ( x i ) + ( 1 − λ ) p 2 ( x i ) ] p ( y j ∣ x i ) log p ( y j ∣ x i ) q ( y j ) = λ ∑ i j p 1 ( x i ) p ( y j ∣ x i ) log q ( y j ) p 1 ( y j ) + ( 1 − λ ) ∑ i j p 2 ( x i ) p ( y j ∣ x i ) log q ( y j ) p 2 ( y j ) ⩽ λ log [ ∑ i j p 1 ( x i ) p ( y j ∣ x i ) q ( y j ) p 1 ( y j ) ] + ( 1 − λ ) log [ ∑ i j p 2 ( x i ) p ( y j ∣ x i ) q ( y j ) p 2 ( y j ) ] = λ log [ ∑ j p 1 ( y j ) q ( y j ) p 1 ( y j ) ] + ( 1 − λ ) log [ ∑ i p 2 ( y j ) q ( y j ) p 2 ( y j ) ] = λ log [ ∑ i q ( y j ) ] + ( 1 − λ ) log [ ∑ j q ( y j ) ] = λ log 1 + ( 1 − λ ) log 1 = 0 \begin{aligned} &\lambda I_1\left(X;Y\right)+\left(1-\lambda\right)I_2\left(X;Y\right)-I\left(X;Y\right)\\ &=\lambda\sum_{ij}p_1(x_i)p(y_j\mid x_i)\log\frac{p(y_j\mid x_i)}{p_1(y_j)}+(1-\lambda)\sum_{ij}p_2(x_i)p(y_j\mid x_i)\log\frac{p(y_j\mid x_i)}{p_2(y_j)}-\sum_{ij}q\left(x_i\right)p\left(y_j\mid x_i\right)\log\frac{p\left(y_j\mid x_i\right)}{q\left(y_j\right)}\\ &=\lambda\sum_{ii}p_{1}(x_{i})p(y_{j}\mid x_{i})\log\frac{p(y_{j}\mid\dot{x}_{i})}{p_{1}(y_{j})}+(1-\lambda)\sum_{ij}p_{2}(x_{i})p(y_{j}\mid x_{i})\log\frac{p(y_{j}\mid x_{i})}{p_{2}(y_{j})}-\sum_{ij}[\lambda p_{1}(x_{i})+(1-\lambda)p_{2}(x_{i})]p(y_{j}\mid x_{i})\log\frac{p(y_{j}\mid x_{i})}{q(y_{j})}\\ &=\lambda\sum_{ij}p_{1}\left(x_{i}\right)p\left(y_{j}\mid x_{i}\right)\log\frac{q\left(y_{j}\right)}{p_{1}\left(y_{j}\right)}+(1-\lambda)\sum_{ij}p_{2}(x_{i})p(y_{j}\mid x_{i})\log\frac{q(y_{j})}{p_{2}(y_{j})}\\ &\leqslant\lambda\log\left[\sum_{ij}p_1(x_i)p(y_j\mid x_i)\:\frac{q(y_j)}{p_1(y_j)}\right]+(1-\lambda)\log\left[\sum_{ij}p_2(x_i)p(y_j\mid x_i)\:\frac{q(y_j)}{p_2(y_j)}\right]\\ &=\lambda\log\left[\sum_jp_1(y_j)\:\frac{q(y_j)}{p_1(y_j)}\right]+( 1- \lambda) \log \left [ \sum _{i}p_{2}( y_{j}) \:\frac {q( y_{j}) }{p_{2}( y_{j}) }\right]\\ &=\lambda\log\left[\sum_{i}q\left(y_{j}\right)\right]+\left(1-\lambda\right)\log\left[\sum_{j}q\left(y_{j}\right)\right]\\ &=\lambda\log1+(1-\lambda)\log1\\ &=0 \end{aligned} λI1(X;Y)+(1−λ)I2(X;Y)−I(X;Y)=λij∑p1(xi)p(yj∣xi)logp1(yj)p(yj∣xi)+(1−λ)ij∑p2(xi)p(yj∣xi)logp2(yj)p(yj∣xi)−ij∑q(xi)p(yj∣xi)logq(yj)p(yj∣xi)=λii∑p1(xi)p(yj∣xi)logp1(yj)p(yj∣x˙i)+(1−λ)ij∑p2(xi)p(yj∣xi)logp2(yj)p(yj∣xi)−ij∑[λp1(xi)+(1−λ)p2(xi)]p(yj∣xi)logq(yj)p(yj∣xi)=λij∑p1(xi)p(yj∣xi)logp1(yj)q(yj)+(1−λ)ij∑p2(xi)p(yj∣xi)logp2(yj)q(yj)⩽λlog[ij∑p1(xi)p(yj∣xi)p1(yj)q(yj)]+(1−λ)log[ij∑p2(xi)p(yj∣xi)p2(yj)q(yj)]=λlog[j∑p1(yj)p1(yj)q(yj)]+(1−λ)log[i∑p2(yj)p2(yj)q(yj)]=λlog[i∑q(yj)]+(1−λ)log[j∑q(yj)]=λlog1+(1−λ)log1=0
不等式源于对数函数的上凸性质
特殊信道容量的计算
信道容量的定义部分提到过，一般确定一个信道的容量 c c c是一个非常困难的问题，但对于一些特殊信道，简便求解信道容量是可能的。
对称信道的信道容量
对称信道的信道容量为：
C
=
log
t
−
∑
j
=
1
t
p
(
y
j
∣
x
i
)
log
1
p
(
y
j
∣
x
i
)
\mathcal{C}=\log\mathrm{t-\sum_{j=1}^tp(y_j|x_i)\log\frac1{p(y_j|x_i)}}
C=logt−j=1∑tp(yj∣xi)logp(yj∣xi)1
对于任意的
i
=
1
,
⋯
,
s
i=1,\cdots,s
i=1,⋯,s 成立。而且信道容量可在等概率输入，即
p
(
x
i
)
=
1
s
p( x_i) = \frac 1s
p(xi)=s1时达到。
证明 由定义知：
H ( Y ∣ X ) = ∑ i p ( x i ) [ ∑ j p ( y j ∣ x i ) log 1 p ( y j ∣ x i ) ] H\left(Y\mid X\right)=\sum_ip\left(x_i\right)\left[\sum_jp\left(y_j\mid x_i\right)\log\frac{1}{p\left(y_j\mid x_i\right)}\right] H(Y∣X)=i∑p(xi)[j∑p(yj∣xi)logp(yj∣xi)1]
利用信道的对称性，上式可改写成
H ( Y ∣ X ) = [ ∑ j p ( y j ∣ x i ) log 1 p ( y j ∣ x i ) ] [ ∑ i p ( x i ) ] = ∑ j p ( y j ∣ x i ) log 1 p ( y j ∣ x i ) H\left(Y\mid X\right)=\left[\sum_{j}p\left(y_{j}\mid x_{i}\right)\log\frac{1}{p\left(y_{j}\mid x_{i}\right)}\right]\left[\sum_{i}p\left(x_{i}\right)\right]\\=\sum_{j}p\left(y_{j}\mid x_{i}\right)\log\frac{1}{p\left(y_{j}\mid x_{i}\right)} H(Y∣X)=[j∑p(yj∣xi)logp(yj∣xi)1][i∑p(xi)]=j∑p(yj∣xi)logp(yj∣xi)1
上式表明 H ( Y ∣ X H(Y|X H(Y∣X )不依赖于输入 X X X的分布，由此得到：
C = max p ( x i ) I ( Y , X ) = max p ( x i ) [ H ( Y ) − H ( Y ∣ X ) ] = [ max p ( x i ) H ( Y ) ] − H ( Y ∣ X ) \begin{aligned}\text{C}&=\max_{p(x_{i})}I\left(Y,X\right)\\&=\max_{p(x_{i})}[H(Y)-H(Y\mid X)]\\&=\left[\max_{p(x_{i})}H\left(Y\right)\right]-H\left(Y\mid X\right)\end{aligned} C=p(xi)maxI(Y,X)=p(xi)max[H(Y)−H(Y∣X)]=[p(xi)maxH(Y)]−H(Y∣X)
由于 H ( Y ) H(Y) H(Y)在 Y Y Y为等概率分布时达到最大值 log t \log t logt,而当 X X X 的分布为等概率分布 p ( x i ) = 1 / s p(x_{i})=1/s p(xi)=1/s 时，因为信道为对称信道，所以推得 Y − Y- Y−定也是等概率分布。这样只需把 X X X取成等概率分布，即可得到信道容量 c c c：
C = log t − ∑ j = 1 t p ( y j ∣ x i ) log 1 p ( y j ∣ x i ) C=\log t-\sum_{j=1}^tp(y_j\mid x_i)\log\frac{1}{p(y_j\mid x_i)} C=logt−j=1∑tp(yj∣xi)logp(yj∣xi)1
交叉概率为p的二元对称信道的信道容量
令t=2，可得交叉概率为
p
p
p的二元对称信道的信道容量为
c
=
1
−
p
log
1
p
−
(
1
−
p
)
log
1
1
−
p
=
1
−
H
(
p
)
c=1-p\log\frac{1}{p}-(1-p)\log\frac{1}{1-p}=1-H(p)
c=1−plogp1−(1−p)log1−p1=1−H(p)
其中
H
(
p
)
H(p)
H(p)为熵函数。