目录
简介
熵约束自动编码器的熵模型同时使用前向适应和后向适应。
- 前向自适应利用边信息，可以被有效加入到深度网络中。
- 后向自适应通常基于每个符号的因果上下文进行预测，这需要串行处理，这妨碍了GPU / TPU的有效利用。
创新点
本文引入两个增强模块，通道调节和潜在残差预测。导致网络架构具有更好的率失真性能比现有的上下文自适应模型，同时最大限度地减少串行。
模型框架
信道条件熵模型
该研究探索了信道条件模型，该模型将潜在张量沿信道维度分割成 N 个大小大致相同的切片，并根据先前解码的切片来确定每个切片的熵参数。
我们可以将 CC 模型解释为通道维度上的自回归，而不是空间维度上的自回归。