新购置了个PI5，就想着折腾些什么。除了给它装codesys之外，想到（尤其是看到官配的冷却风扇）是不是能跑个AI什么的。捜了一下，除了TensorFlow Lite、PyTorch Mobile还有做视觉的OPENCV和YOLO。除此之外，一个熟悉的词汇又冒了出来。ollama。记得有段时间看到很多短视频推送，想着就找下资料看下。
ollama
由于之前全局安装node-red遇到npm的各种问题，想着“为吃烤鸭配一套炉子”，所以就直接选择的docker。
ollama docker
事实证明，docker确实香。
直接按照网站内容
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
记得如果权限问题deny了你permission denied...,记得最前面加sudo。
然后就是等待。
由于docker官方仓库一直处于timeout状态，于是“翻了下笔记”，然后直接选了个仓库下载。
$ sudo docker pull docker.m.daocloud.io/ollama/ollama
很顺利，一会儿就成功了。
$ sudo docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
ghcr.io/open-webui/open-webui main 1496175979b3 20 hours ago 4.2GB
docker.m.daocloud.io/ollama/ollama latest 318ba808b989 10 days ago 3.28GB
然后把这个镜像run起来。
$ sudo docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama docker.m.daocloud.io/ollama/ollama
然后，发现就成了。
但使用时候，似乎是需要exec进ollama的容器里面操作。
所以，后续又尝试了。
$ sudo docker exec -it ollama bash
然后通过ollama拉取大语言模型。
模型仓库
已开始拉的是llama2，完成之后
$ollama run llama2
告知我内存不足，需要8G内存，8G的PI5和只有7.6G。
同时，学习到，运行所需的内存大致是模型的1.2倍，于是找了几个小点的。
root@7c4f600436ec:/# ollama ls
NAME ID SIZE MODIFIED
qwen2.5-coder:1.5b 7088ac567b1e 986 MB 2 hours ago
qwen2.5:3b 357c53fb659c 1.9 GB 3 hours ago
qwen2.5:1.5b 65ec06548149 986 MB 3 hours ago
qwen2.5:0.5b a8b0c5157701 397 MB 6 hours ago
llama3.2:latest a80c4f17acd5 2.0 GB 2 hours ago
然后run了一下。
root@7c4f600436ec:/# ollama run qwen2.5:3b
>>> 你好，介绍下你自己！
你好！我是Qwen，是由阿里云开发的语言模型。我被设计为帮助用户获得准确、有用的信息和解答他们的问题。我的知识涵盖广泛的领域，包括科学、技术、艺术以及历史等。
我可以回答各种问题，并在需要时提供建议和支持。同时，我也致力于保护个人隐私和安全。
尽管我是基于大规模预训练模型构建的，但我始终遵循阿里云制定的内容准则与伦理标准，在任何情况下都不会发布或传播不实信息或非法内容。我努力成为一个可靠且值得信
赖的语言模型助手。
>>>
发现跑起来了。兴奋之余，开始觉得不满足。每次都要进docker是不是有点操作不便，而且，不利于分享嘛。
于是乎，又找来了open-webui。
open-webui
首页直接说Quick Start with Docker