本专栏包含信息论与编码的核心知识，按知识点组织，可作为教学或学习的参考。markdown版本已归档至【Github仓库：<https://github.com/timerring/information-theory> 】或者公众号【AIShareLab】回复 信息论 获取。
基本线性分组码与性能参数
线性分组码(n,k)定义
线性分组码是由 (n, k) 形式表示。编码器将一个 k 比特信息分组（信息矢量）转变成一个更长的由给定符号集组成的 n 比特编码分组（编码矢量）。当这个符号集包含 2 个元素 (0 and 1) 时 , 称为二进制编码。
k-bit 信息形成 不同的信息序列 , 称为 k 元组。 n-bit 可以形成
个不同序列，称为 n 元组。
(n，k）分组码输出的长度为n的序列称为码字。所有这些码字的集合称为该线性分组码的码组。
因为n>k，故编码时需按某种规则加入r=n-k个监督（校验）码元。
对于分组码(n,k),定义
- 编码效率: k/n
- 编码冗余度:(n-k)/n
线性分组码的几个重要概念
- 码距（汉明距离）：两个码组中对应位置上具有不同二进制码元的位数
- 码重（汉明重量）：线性分组码中，将码字（组）中所含 1 的数目定义为码字(组)的重量
码字0011010和1101011之间的码距为4，码字0011010的码重是3
- 编码信道：研究信道编码和译码的信道模型
- 二元码、硬判决时，建模为 BSC （二元对称）信道
- 软判决时，建模为 AWGN 信道
- 软判决与硬判决译码（简单理解：译码器输入比特的选取）
信道编码性能参数
主要的性能参数有 差错概率、编码增益、检纠错能力、编码效率k/n。
编码增益 ：给定差错概率下，通过编码所能实现的比特信噪比$
标签：分组码,ARQ,编码,差错控制,码字,信道编码,性能参数,纠错 From： https://blog.51cto.com/u_15736437/6459721