本地离线运行Openweb-uiollama容器化部署说明安装internet操作内网操作问题线程启动错误最终命令总结说明最近公司有一个在内网部署一个离线大模型的需求，网络是离线状态，服务器有A100GPU，一开始是想折腾开源chatGML4大模型，因为使用过gml3，所以想着部

实现目标和考虑因素部署一个支持多用户同时使用、多模型运行的离线局域网大模型服务器需要考虑以下几个关键因素：大模型的加载和管理。使用一个基础大模型，根据实战需要创建多个专用模型，模型管理方便可靠。并发用户和请求管理。设置管理员、用户角色，用户管理方便可靠，支持多名用

引言Ollama是一个运行大模型的工具，可以看成是大模型领域的Docker，可以下载所需的大模型并暴露API。OpenWebUI是一个大模型的WebUI交互工具，支持Ollama，即调用Ollama暴露的API实现与大模型交互。本文将详细介绍如何在Kubernetes上部署Ollama和OpenWebUI，以运行

本机环境：rocky_linux9.4,10G8核，100G磁盘部署的实验 安装Docker#step1:安装必要的一些系统工具sudoyuminstall-yyum-utilsdevice-mapper-persistent-datalvm2#Step2:添加软件源信息sudoyum-config-manager--add-repohttps://mirrors.aliyun.com/docker-ce/