视频编码中帧内预测的发展

• 为什么使用帧内预测？
• h.264/AVC
• h.265/HEVC
• VVC

为什么使用帧内预测？

\(\quad\) 帧内预测是一种较为简单和实用的图像压缩编码方法。预测压缩编码后传输的并不是像素值本身，而是编码像素的预测值和真实值之差，即预测误差或残差。
\(\quad\) 这是因为大量统计结果表明，同一幅图像的邻近像素之间有着很强的相关性，或者说这些像素值很相近，邻近像素值之间发生突变的概率很小。这样，编码像素的预测值往往和它的真实的像素值相差无几，预测误差很多为0或很小，我们就可以用较少的比特来表示和传输。
DCT变换之后使用帧内预测？

最佳模式选择由此而成为帧内预测编码中的一个重要问题。选择最佳预测模式的方法有很多种，其中率失真优化（RDO）方法是一种性能良好的选择方法，其原则是选择能获得最准确预测、产生码字最少的那种预测模式。

h.264/AVC

H.264/AVC中首次提出，帧内预测编码。对当前块的预测是基于邻近已编码重建的块进行的。

• 对亮度像素而言，独立进行预测的块可以是16×16宏块或4×4子块。
  4×4的亮度子块有9种可选的预测模式，适于对具有大量细节的图像进行预测；16×16的亮度块有4种预测模式，适于对具有平坦区域的图像进行预测。
• 和16×16亮度宏块对应的色度块尺寸为8×8，也有4种预测模式，类似于16×16亮度块预测模式。一个子块或宏块将面临多种预测模式的选择，不同的模式选择将产生不同的压缩率。

h.265/HEVC

\(\quad\) HEVC的编码框架：沿用H.264/AVC的混合编码框架，用帧间和帧内预测编码来消除时间域和空间域的冗余度，对残差进行变换编码来消除变换域的冗余度。
\(\quad\) HEVC的技术创新：灵活的图像四叉树（Quadtree）结构，，利于并行计算的波前技术以及基于上下文的算术编码技术。

• 亮度分量的分块包括 4x4, 8x8, 16x16, 32x32, 64x64 每一种大小的PU都有35种预测模式：
  Planar模式DC模式以及33种角度模式。

VVC

VVC中，帧内预测模式从HEVC的33种扩展到65种角度预测模式，加上DC（直流平均）和Planar（平面加权平均）模式，共67个预测模式。