概念信息熵--单个随机变量的信息量香农熵又称信息熵，反映了一条信息的信息量大小和它的不确定性之间的关系，是信息量的度量，单位为bit互信息--两个随机变量间相关信息的多少互信息不假设数据的分布，可以应用于各种类型的数据。依赖样本量：互信息的估计依赖于样本量

一、失真    失真是信号在传输过程中受到外界因素影响导致信号发生了扭曲和变化。主要的外界因素有宽带限制、噪音干扰、磁场干扰。失真主要分为两种情况，可识别失真（有失真但是可以识别出波形信号中的高低电平）和不可识别失真（波形严重失真，无法识别其中的高低电平）。   

1.奈奎斯特定理 16种不同的码元，则需要4位二进制位例.在无噪声的情况下，若某通信链路的带宽为3kHz，采用4个相位，每个相位具有4种振幅的QAM调制技术，则该通信链路的最大数据传输率是多少?4*4=16种信号变化w是带宽最大数据传输速率=2*3k*4=24kb/s2.香农定理 用dB作单位，信噪比=

文章目录2.1_3奈氏准则和香农定理（一）失真（二）失真的一种现象——码间串扰（三）奈氏准则（奈奎斯特定理）（四）香农定理（五）“Nice”和“香浓”2.1_3奈氏准则和香农定理（一）失真有失真但可识别失真大无法识别影响失真程度的因素  1.码元传输速率  码元传输速率越快，越会

奈氏准则&香农定理失真影响失真程度的因素：1.码元传输速率2.信号传输距离3.噪声干扰4.传输媒体质量码间串扰码间串扰指接收端收到的信号波形失去了码元之间清晰界限的现象。信道带宽：最高频-最低频。超过的部分发生码间串扰，小于的部分发生失真？奈氏准则奈氏准则在理想

玻尔兹曼-香农交互熵（Boltzmann–Shannoninteractionentropy）是2023年最新提出的一维时间序列的度量方式，在数据科学和机器学习领域有许多应用。（暂无任何文献应用报道）（matlab代码获取：https://mbd.pub/o/bread/mbd-ZZmclp1w）参考文献：https://doi.org/10.1063/5.0182349  

1信道容量定义1.1信道容量：信道中平均每个符号所能传递的最大互信息量$I(X;Y)$$C=\mathop{max}\limits_{p(x)}{I(X;Y)}$单位：bit/符号1.2单位时间t内信道容量：$C_t=\frac{C}{t}$单位：bit/s1.3最佳输入概率$p(x)$分布时，传输的信息能达到信道容量1.4信道容量反映信道特性，表示信

本专栏针包含信息论与编码的核心知识，按知识点组织，可作为教学或学习的参考。markdown版本已归档至【Github仓库：​​information-theory​​】，需要的朋友们自取。或者关注公众

众所周知，Python3.11版本带来了较大的性能提升，但是，它具体在哪些方面上得到了优化呢？除了著名的“香农计划”外，它还包含哪些与性能相关的优化呢？本文将带你一探究竟！作者：Beshr

吴军《浪潮之巅（下）》阅读笔记---信息时代的科学基础工业革命和颠覆式创新的范式：现有产业+新技术=新产业。从工业革命之前一个世纪开始一直到二战之前，科学基础

奈氏准则，香农定理失真失真的一种现象——码间串扰奈氏准则(奈奎斯特定理)1、在任何信道中，码元传输的速率是有上限的。若传输速率超过此上限，就会出现严重的码间串

众所周知，Python3.11版本带来了较大的性能提升，但是，它具体在哪些方面上得到了优化呢？除了著名的“香农计划”外，它还包含哪些与性能相关的优化呢？本文将带你一探究竟！作者：Bes

工业革命和颠覆式创新的范式：现有产业+新技术=新产业。从工业革命之前一个世纪开始一直到二战之前，科学基础是以牛顿力学为代表的经典物理学，相应的方法论是机械论。到二战后

失真影响失真程度的因素：1.码元传输速率2.信号传输距离3.噪声干扰4.传输媒体质量失真的一种现象————码间串扰奈氏准则香农定理