What Makes Quantization for Large Language Models Hard？

本文是LLM系列文章，针对《What Makes Quantization for Large Language Models Hard?
An Empirical Study from the Lens of Perturbation》的翻译。

是什么让大型语言模型的量化变得困难？微扰透镜的经验研究

• 摘要
• 1 引言
• 2 相关工作
• 3 前言
• 4 从微扰的角度看LLM量子化
• 5 改进LLM量化
• 6 结论

摘要

量化已经成为一种很有前途的技术，可以提高大型语言模型（LLM）的内存和计算效率。尽管性能和效率之间的权衡是众所周知的，但关于量化和LLM性能之间的关系仍有很多需要了解的地方。为了阐明这种关系，我们提出了一个关于量化的新视角，将其视为添加到LLM的权重和激活中的扰动。我们称这种方法为“微扰透镜”。使用这个透镜，我们对各种人工扰动进行了实验，以探索它们对LLM性能的影响。我们的研究结果揭示了扰动性质和LLM性能之间的几种联系，为均匀量化的失败案例提供了见解，并提出了提高LLM量化稳健性的潜在解决方案。为了证明我们的发现的重要性，我们基于我们的见解实现了一种简单的非均匀量化方法。我们的实验表明，对于权重和激活，这种方法在4位权重量化和8位量化上都实现了最小的性能退化。这些结果验证了我们方法的正确性，并突出了其在不牺牲性能的情况下提高LLM效率的潜力。

1 引言

2 相关工作

3 前言

4 从微扰的角度看LLM量子化

5 改进LLM量化

6 结论

我们的工作引入了一个关于量子化的新视角，我们称之为“微扰透镜”。使用这种方法，我们对LLM的均匀量化进行了全面的研究，评估了不同量化设置下各种模型的性能。我们还研究