首页 > 其他分享 >信道容量详解

信道容量详解

时间:2023-06-10 10:32:34浏览次数:43  
标签:符号 信息 信道容量 信源 信道 详解 输入

本专栏包含信息论与编码的核心知识,按知识点组织,可作为教学或学习的参考。markdown版本已归档至【Github仓库:<https://github.com/timerring/information-theory> 】或者公众号【AIShareLab】回复 信息论 获取。

信道容量

写出并解释信道容量的定义

分析计算如下信道的信道容量

  • 无噪无损信道
  • 有噪无损信道
  • 无噪有损信道
  • 二进制对称信道
  • AWGN信道

信道容量的定义

香农指出信道中的噪声对信道造成的根本限制是信道的传信率, 而不是可靠性。

信息传输率 R

我们研究信道的目的是要讨论信道中平均每个符号所能传送的信息量, 即信道的信息传输率 R , 即

信道容量详解_概率分布

信息传输速率

若每个符号传输时间为 信道容量详解_概率分布_02 , 则信道在单位时间内平均的信息量定义为信息传输速率

信道容量详解_信道容量_03

平均互信息

信道的信息传输率就是平均互信息

接收到符号 $\mathrm{Y} $ 后平均每个符号获得的关于 信道容量详解_概率分布_04 的信息量。

信道容量详解_信噪比_05

定理:

给定信道转移概率矩阵P后,平均互信息 I(X ; Y) 是输入信源的概率分布 信道容量详解_信道容量_06信道容量详解_信道容量_07 型上凸函数。

信道容量是完全描述信道特性的参量,是信道能够传输的最大信息量。使 信道容量详解_信道容量_08 达到最大的信源的概率分布 信道容量详解_信道容量_06 称为该信道的最佳输入分布。

信道容量

最大的信息传输率, 单位 bit/symbol

信道容量详解_信道容量_10

单位时间的信道容量, 单位 bit/s:

信道容量详解_概率分布_11

三种特殊信道的容量

无噪无损信道

输入输出一一对应, 信道无噪声无信息损失。

信道容量详解_概率分布_12

其中信道容量详解_信噪比_13 为信道输入符号个数, 信道容量详解_信噪比_14 为信道输出符号个数, 信道容量详解_概率分布_15最佳输入为等概输入

信道容量详解_概率分布_16

有噪无损信道

根据接收的符号, 可以完全确定发送符号, 无信息损失。

信道容量详解_信道容量_17

最佳输入为等概输入

信道容量详解_信噪比_18

无噪有损信道

发送不会出错, 无噪声。但是根据接收符号, 无法准确判断发送符号, 有信息损失。

信道容量详解_信噪比_19

最佳输入为使输出等概

典型信道的信道容量

BSC信道容量

设二进制对称信道的输入概率空间为

信道容量详解_概率分布_20

信道矩阵:

信道容量详解_概率分布_21

信道容量详解_信噪比_22

信道容量详解_信噪比_23

信道容量详解_信道容量_24

当 p 固定时, I(X ; Y) 是 信道容量详解_信噪比_25信道容量详解_信道容量_07 型上凸函数。

信道容量详解_信噪比_27

信道容量详解_概率分布_28

I(X, Y) 对 信道容量详解_信噪比_25 存在一个极大值,该极大值为信源的压缩极限。

BSC 信道容量 $C=1-H(p) $

当固定信源的概率分布 信道容量详解_信噪比_25 时, 信道容量详解_信噪比_31 是 p 的U型下凸函数。

  • 信道容量详解_概率分布_32 , $C=1-0=1 bit =H(X) $ (信道无噪声)
  • 信道容量详解_信道容量_33 , $C=1-H(\frac{1}{2}, \frac{1}{2})=0 $ (信道强噪声)

信道容量详解_概率分布_34

当信源输入符号的速率为 信道容量详解_信道容量_35 (符号/秒), 信道容量

信道容量详解_信噪比_36

实际信息传输速率 信道容量详解_信噪比_37

信道容量详解_信道容量_38

进入信道输入端的信息速率

信道容量详解_概率分布_39

BSC信道如下图, 信道容量详解_信道容量_40 符号/秒,错误传递概率 信道容量详解_概率分布_41 求:信道容量和实际信息传输速率。

信道容量详解_信道容量_42

信道容量详解_信道容量_43

信道实际信息传输速率

信道容量详解_信噪比_44

信道容量详解_概率分布_45

解: 信道容量详解_概率分布_46

信道容量详解_信道容量_47

因为:

信道容量详解_信道容量_48

信道容量详解_信道容量_49

故:

信道容量详解_信道容量_50

信道容量详解_信噪比_51 , 有 信道容量详解_概率分布_52

信道容量详解_信道容量_53

连续信道的信道容量

单符号高斯连续信道

输入为连续随机变量 信道容量详解_概率分布_54 ,输出为 信道容量详解_信噪比_55, 信道容量详解_信噪比_56 : 均值为 0 , 方差为 信道容量详解_概率分布_57 的高斯变量, 与 X 统计独立。由条件概率可知, 当 X 已知时, Y 也为正态变量, 均值为 0 , 方差为 信道容量详解_概率分布_57 ,

信道容量详解_信道容量_59

信道容量详解_信道容量_60

注: p(x) 高斯分布, 则有

信道容量详解_概率分布_61

当信道输入功率为时 信道容量详解_概率分布_62 , 输出功率可表示为 信道容量详解_概率分布_63 , 且输入与噪声独立时

信道容量详解_信道容量_64

使 H(Y) 最大的 Y 是均值为 0 的正态分布随机变量。而由 信道容量详解_信噪比_55 可知, 信道容量详解_信噪比_66 也应该为均值为零方差为 信道容量详解_信道容量_67 的随机变量。所以

信道容量详解_概率分布_68

如不限制输入信号, 信道容量详解_信道容量_69信道容量详解_概率分布_70 可趋于无限, 此时信道容量无限大一一实际不可行。

限频、限功率高斯信道的容量

信道输入信号为平稳随机过程 信道容量详解_概率分布_71 , 加性干扰为 信道容量详解_概率分布_72 , 输出为 信道容量详解_信噪比_73 。输入信号功率受限, 即 信道容量详解_信道容量_74

限带信道的频率特性:

信道容量详解_概率分布_75

$ Y(t), X(t), n(t)$ 的带宽为 B , 以 2B 采样,得 信道容量详解_概率分布_76 , $ Y(t_{n}), \ldots, Y(t_{L}) \ldots, X(t_{1}), X(t_{2}), \ldots, X(t_{n}), \ldots, X(t_{L}) \ldots, n(t_{1}), n(t_{2}), \ldots , n(t_{n}), \ldots, n(t_{L}) \ldots$ 。时刻 信道容量详解_信道容量_77

由单符号高斯信道容量公式可得

信道容量详解_概率分布_78

上式中 信道容量详解_信噪比_79 为信号功率与噪声功率的比, 也即信噪比 , 其中 信道容量详解_信噪比_80

单符号信号一>多符号多维信道

信道容量详解_概率分布_81 分别表示 L 个抽样 信道容量详解_信道容量_82 的 L 维向量, 则对多符号信道

信道容量详解_概率分布_83

信道容量详解_信道容量_84 统计独立时

信道容量详解_概率分布_85

T 时间内抽样数 L=2BT , 则信道传输最大信息量

信道容量详解_信道容量_86

对连续信道, 定义单位时间内传送的最大信息量为信道容量

信道容量详解_信噪比_87

限频、限功率高斯信道的信道容量公式, 也即 Shannon公式。

香农公式的另一种表达: 因为 $\lim _{x arrow 0} \frac{1}{x} \log (1+x)=\log _{2} e \approx 1.44 $, 所以 信道容量详解_概率分布_88

信道容量详解_概率分布_89 为限带高斯白噪声 n(t) 的单边功率谱密度。

信道容量详解_信道容量_90 时, 信道容量详解_信噪比_91 ; 当 $ B arrow \infty$ 时, 信道容量详解_概率分布_92 一确定值。

信道容量详解_信道容量_93

信道容量详解_信道容量_94 ,有 信道容量详解_信道容量_95 ,即带宽不受限制时, 传输1bit信息, 信噪比最低只需要-1.6dB, 这是加性高斯噪声信道信息传输速率的极限值, 是一切编码方式所能达到的理论极限。

信道容量详解_概率分布_96-- 单位频带的信息传输速率(频带利用率)。

信道容量详解_概率分布_97 时, 信道容量详解_概率分布_98 , 此时信道完全丧失通信能力。

信道容量详解_信道容量_99

信道容量详解_概率分布_100

小结:

保证一定的信道容量的带宽 B 和信噪比 信道容量详解_概率分布_101 可以互换, 即增加带宽 可以降低必须的信橾比, 或增加信噪比也可以降低所必须的带宽。

Shannon信道编码定理

揭示了信源信息速率与信道容量的关系

如果信源的信息率 (即每秒发出的信息量)小于信道容量, 则存在一种编码方式, 可保证通过该信道传送信息的差错率任意小;反之 , 如果信源的信息率大于信道容量, 则不可能存在此种编码方式, 传送信息的差错率将很大。

现设计一个M进制数字通信系统,要求码元速率为 信道容量详解_信道容量_102 波特。已知信道为 信道容量详解_信噪比_103 信道,带宽为 信道容量详解_信道容量_104 , 噪声的功率谱密度为 信道容量详解_信噪比_105 , 系统最大发送功率为 信道容量详解_信道容量_106 ,信道衰减 信道容量详解_信道容量_107 。问 信道容量详解_信道容量_108 最大取值是多少?

解: $C=B \log (1+\frac{S}{N}) $

信道容量详解_概率分布_109

信道容量详解_信道容量_110

故:M最大取值为 8 。

信源与信道的匹配

信道的信息的传输速率 信道容量详解_信道容量_111 与信源分布密切相关。

信道容量详解_概率分布_112 , 信源与信道匹配。

信道容量详解_信噪比_113 , 信源与信道不匹配, 信道有冗余

定义

信道容量详解_概率分布_114

其中 信道容量详解_信噪比_31 是信道实际通过的平均信息速率

信道容量详解_信噪比_116

参考文献:

  1. Proakis, John G., et al. Communication systems engineering. Vol. 2. New Jersey: Prentice Hall, 1994.
  2. Proakis, John G., et al. SOLUTIONS MANUAL Communication Systems Engineering. Vol. 2. New Jersey: Prentice Hall, 1994.
  3. 周炯槃. 通信原理(第3版)\[M]. 北京:北京邮电大学出版社, 2008.
  4. 樊昌信, 曹丽娜. 通信原理(第7版) \[M]. 北京:国防工业出版社, 2012.

标签:符号,信息,信道容量,信源,信道,详解,输入
From: https://blog.51cto.com/u_15736437/6454193

相关文章

  • 信道容量与香农定理、信源编码、信道编码总结
    1信道容量定义1.1信道容量:信道中平均每个符号所能传递的最大互信息量$I(X;Y)$$C=\mathop{max}\limits_{p(x)}{I(X;Y)}$单位:bit/符号1.2单位时间t内信道容量:$C_t=\frac{C}{t}$单位:bit/s1.3最佳输入概率$p(x)$分布时,传输的信息能达到信道容量1.4信道容量反映信道特性,表示信......
  • 计算机字符编码详解
    转自阿里云社区:https://developer.aliyun.com/article/1060857?spm=a2c6h.12873639.article-detail.38.4b5972357GYIBO版权声明:链接内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。......
  • python之requests库详解
    1.requests库详解发送http请求,接受http响应的库安装:pipinstallrequests1.1常用方法requests.get()--->defget(url,params=None,**kwargs)#发送get请求url:接口请求地址params:是get请求用于传参,这个参数会自动以?的方式加到url之后,多个参数之间用&分割**kwargs:可变......
  • 详解Python中的位运算符规则、原理与用法
    在Python中,位运算符包括位与(&)、位或(|)、位求反(~)、位异或(^)、左移位(<<)和右移位(>>)。1.运算方法与规则位运算符只能适用于整数,其总体运算规则为:首先把整数转换为二进制表示形式,按最低位对齐,短的高位补0,然后进行位运算,最后把得到的二进制转换为十进制数。位与运算符运算规则:0&0=0&1=1&0=......
  • Hive执行计划之什么是hiveSQL向量化模式及优化详解
    Hive开启向量化模式也是hiveSQL优化方法中的一种,可以提升hive查询速率,也叫hive矢量化。问题1:那么什么是hive向量化模式呢?问题2:hive向量化什么情况下可以被使用,或者说它有哪些使用场景呢?问题3:如何查看hive向量化使用的相关信息?1.什么是hive向量化模式hive向量化模式是hive的一......
  • 详解Python生成器函数和生成器对象的原理和用法
    包含yield语句的函数可以用来创建生成器对象,这样的函数也称生成器函数。yield语句与return语句的作用相似,都是用来从函数中返回值。与return语句不同的是,return语句一旦执行会立刻结束函数的运行,而每次执行到yield语句并返回一个值之后会暂停后面代码的执行,下次通过生成器对象的__n......
  • 详解Python中的浅复制与深复制
    列表对象的copy()方法返回列表的浅复制。所谓浅复制,是指生产一个新的列表,并且把原列表中所有元素的引用都复制到新列表中。如果原列表中只包含整数、实数、复数等基本类型或元组、字符串这样的不可变类型,一般是没有问题的。但是,如果原列表中包含列表之类的可变数据类型,由于浅复制时......
  • 图文详解丨iOS App上架全流程及审核避坑指南
    到了2021年,虽然网上也有大牛写过很多IOSApp上架流程资料,但随着苹果发布机制的微调有些已经过时了。我就趁着这次刚刚发布成功的鲜活经验,记录下来,做一下补充。1、首先得注册AppleDeveloper的开发者账号,最后如果要上架苹果商店,这个账号是要交年费的,核算下来大概600多元人民币。......
  • 图文详解丨iOS App上架全流程及审核避坑指南
    图文详解丨iOSApp上架全流程及审核避坑指南到了2021年,虽然网上也有大牛写过很多IOSApp上架流程资料,但随着苹果发布机制的微调有些已经过时了。我就趁着这次刚刚发布成功的鲜活经验,记录下来,做一下补充。1、首先得注册AppleDeveloper的开发者账号,最后如果要上架苹果商店,这个账......
  • python gunicorn详解
    Gunicorn是一个unix上被广泛使用的高性能的PythonWSGIUNIXHTTPServer。和大多数的web框架(flask)兼容,并具有实现简单,轻量级,高性能等特点。 通过Gunicorn来启动flask框架defstart_app_by_system(args,app,options):"""启动配置项:paramargs:参数......