4月19日Meta重磅推出了最新大型开源人工智能(AI)模型——Llama 3,模型分为两种规模:8B 和 70B 参数,旨在让个人、创作者、研究人员和各种规模的企业能够负责任地试验、创新和扩展他们的想法。
![](/i/l/?n=24&i=blog/207258/202404/207258-20240428115645978-1113769713.png)
![](/i/l/?n=24&i=blog/207258/202404/207258-20240428115647448-985305019.png)
![](/i/l/?n=24&i=blog/207258/202404/207258-20240428115654082-1268342805.png)
已经可以很方便的在本地部署、体验。
Linux系统下安装脚本:
curl -fsSL https://ollama.com/install.sh | sh
Windows系统下载安装:
https://ollama.com/download/windows
![](/i/l/?n=24&i=blog/207258/202404/207258-20240428115653402-1793836532.jpg)
macOS系统下载安装:
https://ollama.com/download/mac
![](/i/l/?n=24&i=blog/207258/202404/207258-20240428115646133-464133049.jpg)
Docker下安装脚本:
# CPU模式
docker run -d -v /opt/ai/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
# GPU模式
# 1.配置apt源
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
&& curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
# 2.更新源
sudo apt-get update
# 3.安装工具包
sudo apt-get install -y nvidia-container-toolkit
# docker使用GPU运行ollama
docker run --gpus all -d -v /opt/ai/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
# docker部署ollama web ui
docker run -d -p 8080:8080 --add-host=host.docker.internal:host-gateway --name ollama-webui --restart always ghcr.io/ollama-webui/ollama-webui:main
# 使用docker中的ollama下载并运行AI模型(示例为阿里通义千问4b-chat)
docker exec -it ollama ollama run qwen:4b-chat
安装完ollama后,拉取运行 llama3
# 运行模型 若没有当前模型 则自动下载后再运行
ollama run llama3
# 仅下载模型 默认是8b模型 若其他模型则用 ollama pull llama3:70b
ollama pull llama3
# 查看当前已存在的模型
ollama list
# 删除指定模型
ollama rm llama2
ollama run llama3 就可以开始对话了(若未下载该模型则自动下载)
![](/i/l/?n=24&i=blog/207258/202404/207258-20240428115646146-903501420.jpg)
先来个简单的
![](/i/l/?n=24&i=blog/207258/202404/207258-20240428115648077-1037406500.jpg)
有时候是用英文回答的,可以加上“用中文回答”
当然,目前的回答有时候还是比较“弱智”的
![](/i/l/?n=24&i=blog/207258/202404/207258-20240428115653564-1799448996.jpg)
![](/i/l/?n=24&i=blog/207258/202404/207258-20240428115648134-890951858.jpg)
用来写代码
![](/i/l/?n=24&i=blog/207258/202404/207258-20240428115650026-1942061794.jpg)
![](/i/l/?n=24&i=blog/207258/202404/207258-20240428115650610-435040514.jpg)
![](/i/l/?n=24&i=blog/207258/202404/207258-20240428115654103-118038426.jpg)
(⊙o⊙)… 要求用C# ,结果用的C, emmmm
个人体验小感受:
1、感觉中文回答明显要比英文回答慢一些;
2、回答中还是会冒出英文来;
3、对中文体验还不是太好,尤其是文学方面;
4、不想自己部署,也可以在线体验:https://llama3.replicate.dev/
来源:https://www.iwmyx.cn/aimxllama3tybj.html