无法在 Llama Index 中加载 HuggingFace Embeddings llama3.1

我有一个非常简单的代码，如下所示：

from llama_index.embeddings.huggingface import HuggingFaceEmbedding
embed_model = HuggingFaceEmbedding(model_name="meta-llama/Meta-Llama-3-8B")

我看到这个模型，meta-llama/Meta-Llama-3-8B，只有 4.5 GB，而我有 16GB RAM，最多只使用 20%跑步前。但每次，我运行这两行，内存就会爆炸并且 python 崩溃。

我也尝试过

os.environ["CUDA_VISIBLE_DEVICES"] = ""

但相同。

知道为什么吗？

llama3.1 相当大，即使只有 4.5 GB，因为它在加载时需要更多的 RAM。 的系统可能会遇到以下问题之一：

• 内存碎片化： 即使有 16GB 的 RAM，但如果内存碎片化严重，则可能没有足够大的连续内存块来加载模型。
• HuggingFace Transformers 库的开销： HuggingFace Transformers 库本身会消耗大量内存，特别是在加载大型模型时。
• 其他进程的内存使用： 提到了在运行代码之前内存使用率为 20%。其他正在运行的进程可能会在加载模型时消耗更多内存，从而导致崩溃。

可以尝试以下几种解决方案：

1. 使用量化模型:

量化模型使用较低的精度存储模型权重，从而减少内存占用。尝试加载量化版本的模型：

embed_model = HuggingFaceEmbedding(model_name="meta-llama/Meta-Llama-3-8B-q4_0") 

2. 使用较小的模型:

如果量化模型仍然太大，请考虑使用较小的 llama 模型，例如 meta-llama/Llama-2-7b 。

3. 使用不同的嵌入模型:

HuggingFace Embeddings 只是 Llama Index 支持的众多嵌入模型之一。 可以尝试使用其他模型，例如 OpenAI Embeddings 或 Cohere Embeddings，这些模型可能内存效率更高。

4. 增加交换空间:

增加交换空间可以为的系统提供更多虚拟内存。 但是，这会降低性能，因为数据需要在 RAM 和硬盘之间交换。

5. 关闭其他程序:

在加载模型之前，请关闭所有不必要的程序以释放内存。

6. 使用具有更多内存的机器：

如果上述方法均无效，则可能需要使用具有更多 RAM 的机器来加载和运行模型。

请注意，即使解决了内存问题，在 CPU 上运行 llama 模型也会非常慢。 如果可能，请考虑使用 GPU 进行推理。