什么是Llama2
Llama 全称 large language model, Meta AI 公司2023年发布的开源AI大型语言模型，参数7B~65B。最新版本为Llama 3。 更为详细的介绍可参考，LLaMA - 维基百科，自由的百科全书 (wikipedia.org) 。
什么是llama.cpp?
一个开源c++库，用c++重写了LLaMa的推理代码，可用于加载运行LLaMa语言模型，极大的降低了对硬件的要求。 Git 仓库地址： GitHub - ggerganov/llama.cpp: LLM inference in C/C++
本地运行大模型准备：
- pip install llama-cpp-python , 作为参考，我本地安装运行的版本为0.2.87
- 从Hugging Face上下载一个已经训练好的模型文件到本地 ，作为参考，我下载的是zephyr-7b-beta.Q4_0.gguf 这个模型
TheBloke/zephyr-7B-beta-GGUF at main (huggingface.co)
3.代码示例及运行结果：
运行以下python脚本，即可基于promt得到模型的输出。
祝运行顺畅。
拓展阅读：一文为你深度解析LLaMA2模型架构_人工智能_华为云开发者联盟_InfoQ写作社区
标签：llama,python,模型,LLaMa2,AI,本地,运行 From： https://www.cnblogs.com/henkenen/p/18356679