linux 部署Ollama本地大模型

简介

llama 是一个大模型的管理框架，其作用类似于 Docker：如果将每一个标准化的大模型视为“镜像”，那么 Ollama 就能够通过一行命令快速拉取并运行这些大模型。然而，Ollama 本身是基于命令行的服务，所以为了方便我们对大模型进行微调和使用，还需要引入 maxkb 。maxkb 提供了一个 ChatBot 界面，它会把我们输入的结构化知识、转换成大模型可以理解的语言（即嵌入向量），从而实现有效的交互。在本文中，将会引导大家何利用 Ollama 快速搭建本地的大模型服务，并结合 maxkb 构建一个私人定制知识库。

优势

• 开源免费： Ollama 及其支持的模型完全开源免费，任何人都可以自由使用、修改和分发。
• 简单易用： 无需复杂的配置和安装过程，只需几条命令即可启动和运行 Ollama。
• 模型丰富： Ollama 支持 Llama 3、Mistral、Qwen2 等众多热门开源 LLM，并提供一键下载和切- 换功能。
• 资源占用低： 相比于商业 LLM，Ollama 对硬件要求更低，即使在普通笔记本电脑上也能流畅运行。
• 社区活跃： Ollama 拥有庞大且活跃的社区，用户可以轻松获取帮助、分享经验和参与模型开发。

如何使用

Ollama 支持在 ollama.com/library 上获取的模型列表，以下是一些可下载的示例模型：

模型列表

注意：运行 7B 模型至少需要 8 GB 的 RAM，运行 13B 模型需要 16 GB，运行 33B 模型需要 32 GB。

安装Ollama

第一步：按照

 curl -fsSL https://ollama.com/install.sh | sh

第二步：运行

ollama run llama3

第三步：查看状态

systemctl status ollama

● ollama.service - Ollama Service
Loaded: loaded (/etc/systemd/system/ollama.service; enabled; vendor preset: disabled)
Active: active (running) since 四 2024-08-15 19:02:40 CST; 3s ago
Main PID: 128252 (ollama)
Tasks: 10
Memory: 414.1M
CGroup: /system.slice/ollama.service
└─128252 /usr/local/bin/ollama serve

第三步：修改端口

netstat -tunlp|grep ollama

vim /etc/systemd/system/ollama.service

下面添加一行

Environment="OLLAMA_HOST=0.0.0.0"

第四步：更改模型存放位置(可选步骤)

vim /etc/systemd/system/ollama.service

Environment=“OLLAMA_MODELS=/data/ollama/models”

位置同上

第五步： 重启 ollama

systemctl daemon-reload

systemctl restart ollama

安装maxkb

MaxKB 是一款基于 LLM 大语言模型的知识库问答系统，由飞致云开发。通过MaxKB可以实现在网页上可视化使用大语言模型。本次采用docker的方式直接部署。

docker run -d --name=maxkb -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data cr2.fit2cloud.com/1panel/maxkb

访问（默认账号：admin 密码：MaxKB@123…）

导入模型

系统管理---->模型设置---->Ollama---->添加模型

模型配置（API Key处任意输入：我这里输的是123）

注意这里你的 xxx:11435 必须是 Ollama is running

点击修改之后，会自动导入配置

创建应用

在应用处点击创建应用

输入自定义的应用名称，我这里输入ai

选择关联好的ai模型，点击右上角的保存并发布

回到概览，点击演示。可以根据需求修改参数

即可对话大语言模型