编码基础

一、DPCM

DPCM编码是一种信号编码器，它以脉冲编码调制（PCM）为基础，基于信号样本的预测添加了一些功能。DPCM的输入信号可以是模拟信号，也可以是数字信号。

编码器

原始图像输入x_k，与预测的x_k_hat相减得到残差e_k，将残差e_k进行量化得到量化编码e_k_hat，e_k_hat与上一帧预测的图像相加得到预测图像x_k’，延时后x_k’作为上一帧图片的预测结果。

解码器

量化误差e_k_hat与预测图像x_k_hat结合恢复图像x_k’

 二、帧间预测

帧间预测是指当前图像中待编码块从邻近已编码图像中预测得到参考块的过程，目的是去除视频信号的时间冗余。帧间预测示意图如图所示，当前帧中待编码块在参考帧中根据块匹配准则搜索得到最佳匹配块。

 1.块匹配

视频编码中常用的块匹配准则有最小均方误差(Mean Square Error, MSE)和绝对误差和(Sum of Absolute Difference, SAD)等匹配准则。MSE匹配准则和SAD匹配准则如下所示，

 其中，MxN表示预测块大小，f_i，和 f_i=1分别表示当前帧和参考帧像素，(x,y)表示运动向量。SAD块匹配准则没有乘法,计算更为简单,广泛被各种视频编码标准所采用。

2.帧间预测

HEVC帧间预测单元PU有8种划分方式，包括4种对称划分方式: 2Nx2N、2NxN、Nx2N、NxN,以及4种非对称划分方式: 2NxnU、2NxnD、nLx2N、nRx2N。PU是帧间预测过程的基本单元，每个PU通过帧间预测获得一组运动信息，并通过显式或隐式方式对PU的运动信息进行编码。

帧间预测模式主要包括Inter模式、Merge模式和Skip模式。

Inter 模式需要对预测块进行帧间运动搜索，获得最佳匹配块所对应的运动信息，然后编码运动信息和预测残差信息;

Merge模式不需要进行帧间运动搜索，直接使用空域和时域已编码邻块的运动信息，并且只需编码相应的使用索引和预测残差信息;

Skip 模式可认为是一种特殊的Merge模式，Skip模式所对应的PU划分方式为2Nx2N。并且，利用Skip模式进行帧间预测的PU,只需编码邻块运动信息的使用索引，不需要编码预测残差信息，解码时直接用预测像素值作为重建像素值。

帧间亚像素精度运动估计

预测块PB利用运动向量在相应的参考帧中获得预测像素值,实际情况下，物体并不总是在整像素位置上移动，即运动向量不一定都是整像素值。因此，对非整像素运动情况，需要进行亚像素精度插值，以提高帧间预测精度。HEVC支持亮度分量1/4像素精度运动估计，色度分量(采样格式为4:2:0)1/8像素精度运动估计。

HEVC中亮度分量亚像素精度插值对于1/4像素位置和1/2像素位置采用两个不同的插值滤波器。在1/4像素位置采用的是一个7抽头滤波器，而在1/2像素位置采用的是一个8抽头滤波器。HEVC亮度分量亚像素插值滤波器的抽头系数见表。

 下面结合图2-10来对亮度分量亚像素插值过程作简单说明。图2-10中大、小写字母分别对应亮度分量整像素点和亚像素点位置。亮度分量亚像素插值主要分两步进行:

第一步，如图2-10，利用整像素A,，采用相应的抽头滤波器对整像素所在行或列的亚像素进行插值。图2-10中的亚像素点 a_0,0 、 b_0,0 和 c_0,0 利用水平方向整像素点插值得到， d_0,0 、 ℎ_0,0 和 n_0,0 利用垂直方向整像素点插值得到。以水平方向1/2 像素点 b_0,0 和垂直方向1/4 像素点 d_0,0 为例进行插值，插值计算分别由公式(2-4)和公式(2-5)给出,

 第二步,对其余不在整像素行或列上的亚像素进行垂直方向插值,插值样本来.源于第一步插值得到的亚像素。

 HEVC 色度分量亚像素精度插值过程与亮度分量插值过程类似，也是先对整像素行和列的亚像素点进行插值，再对其余亚像素点进行插值。具体计算过程可参考亮度亚像素插值计算过程,在此不再赘述，仅给出色度插值滤波器抽头系数表2-2。

 通过亮度和色度插值滤波器抽头系数表和亮度分量亚像素插值公式(2-4)~(2-8)可知，经插值后的亚像素值放大了64倍，这样做可提高插值精度。在帧间预测后续过程，放大后的亚像素值需要还原。

三、率失真函数

失真函数：假如某一信源X，经过有失真的信源编码器，输出Y。如果x_i = y_j，则认为没有失真；否则就产生了失真。失真单独大小，用失真函数来表示，衡量用y_j代替x_i所引起的失真程度。

平均失真：失真函数的数学期望D ‾ 。是信源和信道组成的通信系统的平均失真度。 

信源编码器的目的是使编码后所需的信息传输率R尽量小。然而R越小，造成的平均失真越大。给出一个失真的上限值D，在满足平均失真D ‾ ≤D的条件下，选择一种编码方法使得信息率R尽可能小。

信息率失真函数R(D)：由前可知：当p ( x i )一定时，互信息I II是关于p ( y j / x i )的U性凸函数，存在极小值。因而在上述满足保真度准则的所有信道中，总能找到一个试验信道，使得信息传输率R ( X , Y ) = I ( X ; Y )达到最小值，把这个最小值记为R ( D )

这个最小的互信息R ( D )就称为信源X的信息率失真函数。

限失真信源编码定理：设离散无记忆信源X的信息率失真函数R(D)，则当信息率R>R(D)时，只要信源序列长度L足够长，一定存在一种编码方法，其译码失真小于或等于D；反之，若R<R(D)，无论采用什么样的编码方法，其译码失真必大于D。

四、DCT和DST的区别

H.265/HEVC标准规定，在帧内4x4模式亮度分量残差编码中使用4x4整数DST，而在帧内其他模式、帧间所有模式，以及所有色差分量的残差编码中一律使用整数DCT。这主要是由于帧内预测利用周围已重构块边缘像素预测当前块的方法使得帧内预测残差具有如下特征：距离预测像素越远，预测残差越大。而DST的基函数能够很好的适应这一特征。

“Mode dependent DCT/DST for intra prediction in block-based image/video coding”这篇文献证明了DCT/DST结合的优势，“此前，Han, Saxena & Rose表明，对于水平和垂直模式的内部预测残差，DST是最佳的变换，其性能接近于KLT。在此，我们证明对其他斜向模式也是如此。使用DCT/DST的选择是基于内部预测模式，不需要额外的信号信息或速率-失真搜索。我们的结果表明，DCT/DST方案比DCT在视频序列内部预测方面提供了显著的BD-Rate改进。”