Meta AI 在本周二发布了最新一代开源大模型 Llama 2。对比于今年 2 月发布的 Llama 1，训练所用的 token 翻了一倍，已经达到了 2 万亿，对于使用大模型最重要的上下文长度限制，Llama 2 也翻了一倍。
在本文，我们将紧跟趋势介绍如何在本地CPU推理上运行量化版本的开源Llama 2。
https://avoid.overfit.cn/post/9df8822ed2854176b68585226485ee0f
标签：llama2,LangChain,Llama,量化,GGML,CPU From： https://www.cnblogs.com/deephub/p/17567484.html