Meta最新推出的开源大模型llama-3,被誉为目前最强的开源大模型，能力接近于GPT 4.5. 因此在本地搭建一下抢鲜体验
系统环境
CPU: AMD Ryzen 5 3600X 6-Core Processor 4.10 GHz
RAM: 32G
GPU: Navida 2060S 8G
DISK: SSD 100 G Free
基于上述自身条件，装llama-3 8b版本比较实际。
整个安装使用Ollama，5分钟安装完成正常运行
用Ollama运行llama-3
点击这里下载 Ollama Windows Preview版本。我下载msi包，完成下载后直接安装
完成安装后直接打开命令行提示符或者Power Shell。运行
# 由于ollma运行模型时只支持localhost和127.0.0.1访问，所以还要设置一下局域网内可访问，即设置环境变量OLLAMA_HOST为0.0.0.0
setx OLLAMA_HOST "0.0.0.0"
ollama run llama3:8b
等待ollama下载llama3完成并运行，成功运行后显示结果如下：
这样就可以在命令行中进行问答。
增加Web UI
如果需要一个像ChatGPT网页版那样的UI界面，还需要多做一步，就是安装Open WebUI, 直接到他们的github代码库上去看安装指导，用Docker安装非常简单，我本地用的WSL2，所以用WSL2跑Open WebUI. 运行以下命令就行
docker pull ghcr.io/open-webui/open-webui:main
docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://宿主机IP:11434 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
安装结果如下：
然后，浏览器里输入 http://localhost:3000/ 就可以看到运行起来的网页版了。
结语
这样，llama-3就在短时间之内在本地搭建起来了，不过体验下来，8b还是差了点意思，首先中文支持确实不大友好，再就是也经常扯淡答非所问。所以玩玩可以，真正干活还是要用大参数版本的。
标签：10,初体验,安装,llama3,webui,llama,0.0,open,运行 From： https://www.cnblogs.com/zepc007/p/18152751