大模型推理优化：在更小的设备运行、推理增速
- 知识蒸馏（优先）
- 模型剪枝
- 模型量化（优先）
- 参数共享
- 低秩分解
- 参数搜索
知识蒸馏（优先）
知识蒸馏：
- 知识：模型参数、一堆矩阵
- 蒸馏：把大模型参数迁移到小模型，用更小的矩阵代替更大的矩阵
让大、小模型最后一层输出尽可能接近。
- 判别指标：KL 散度、L2 距离
学习的是最后一层的概率分布，但大模型不止最后一层，还有很多中间层。
- 所以，不仅要最后一层接近，还有俩者的中间层、输入层、注意力层也要接近
- 判别指标：MSE loss
主流是知识蒸馏，但需要多训练一个模型，成本更高。
模型剪枝
把其中一些参数（矩阵）去掉，接近 0 的参数。
- 去掉 30% 的参数，对下游任务性能不影响
对于注意力层，定义重要性指标，去掉不重要的层。
模型量化（优先）
把浮点数变成定点数。
主流框架都支持。
参数共享
相邻矩阵共享同一套参数，原先相邻矩阵参数都不同。
- 只使用一个层，效果也不会差
低秩分解
用一小维代替整个参数矩阵。
参数搜索
找更好的神经网络配置，比如加卷积层、找更好的非线性函数、注意力机制优化等。