做LLM推理时，常见的显卡如何选择？

在选择显卡进行大型语言模型推理时，主要要看下面几个指标：

VRAM（视频随机存取存储器）：

VRAM 的容量直接影响您能够加载的模型的大小。大型语言模型需要大量的内存来存储权重和进行计算。

至少12 GB VRAM 是推荐的起点，更大的模型可能需要 24 GB 或更多。

CUDA核心数

CUDA核心数越多，表示 GPU 在执行并行运算时的能力越强。

大量的 CUDA核心有助于提高处理大型神经网络的速度。

常见显卡的配置及价位

以下是一些常见 NVIDIA 显卡系列的比较表，主要依据 VRAM 容量和 CUDA 核心数量这两个关键指标。

请注意，这些值是每个系列中典型型号的数据，并不代表每款具体显卡的全部配置。

上表中 Tesla A100 的 CUDA 核心数小于 RTX 4090，但这并不意味着在大数据运算中更好。

• A100内存容量和带宽更大；
• A100 的张量核心（Tensor Cores）和稀疏张量核心（Sparsity-enabled Tensor Cores）专为 AI 和机器学习计算优化，提供了比传统 CUDA 核心更高的效率和吞吐量；
• A100 可以虚拟化为多达七个独立的 GPU，允许多个任务同时在一个物理 GPU 上高效运行。

A100 在需要大规模并行处理和高速内存的环境中，具有 4090 不可比拟的性能优势。

运行不同尺寸模型对显卡的需求

从模型尺寸来说，不同尺寸的对显卡的概略需求如下：

这些硬件需求会随着模型优化技术的进步而变化。例如，通过模型压缩和高效的推理框架，可以大幅降低运行大型模型所需的资源。