我们使用以下这六个标准对网络量化和相关领域的研究进行分类。以下是每个标准的详细解释，并结合了参考文献中的相关研究：
-
研究领域：该标准将研究大致分为三个主要领域：
- 量化：这是上传论文的核心焦点。它涉及减少模型参数的位宽（例如，从 32 位浮点数到 4 位整数）等技术，以压缩模型并提高效率。论文提出了 TexQ，一种新颖的量化方法。提到的其他量化方法包括 QAT [7, 8, 9, 10] 和 PTQ [11, 12, 13, 14, 15, 16]。
- 纹理分析：该领域之所以相关，是因为论文提出的方法 TexQ 特别关注在量化过程中保留纹理特征分布。LBP（局部二进制模式）[32] 和 LAWS（局部自适应小波光谱）[49, 50] 等纹理分析方法用于表征和测量纹理特征。参考文献 [35, 36, 37] 强调了纹理特征在图像分类任务中的重要性。
- 知识蒸馏：虽然不是主要焦点，但本文利用知识蒸馏作为一种支持技术。这涉及将知识从全精度模型转移到量化模型，以提高其性能。本文介绍了一种混合知识蒸馏模块，以增强样本多样性并避免过度拟合。
-
量化方法：该标准区分了两种主要的量化方法：
- 量化感知训练 (QAT)：在这种方法中，量化被集成到训练过程中。这允许模型在训练期间适应量化约束，从而可能带来更好的性能。
- 训练后量化 (PTQ)：这种方法在模型经过全面训练后应用量化。它通常比 QAT 更快、更简单