系列文章
1. AI大语言模型LLM学习-入门篇
2. AI大语言模型LLM学习-Token及流式响应
3. AI大语言模型LLM学习-WebAPI搭建
4.AI大语言模型LLM学习-基于Vue3的AI问答页面
5.AI大语言模型LLM学习-语义检索(RAG前导篇)
6.AI大语言模型LLM学习-RAG技术及代码实现
7.AI大语言模型LLM学习-RAG知识点测试题（含答案）
前言
在本地运行大语言模型有诸多优点：比如可以保护隐私、不会产生费用、可以无视网络问题、可以尝鲜各种开源模型等。
本文主要介绍如何在 Windows 系统快速部署 Ollama 开源大语言模型运行工具，同时为了简化各位网友的WebUI的搭建过程，本文将提供一站式搭建包供大家免费下载安装和部署。
一、Ollama下载及使用
1.1 Ollama介绍
Ollama是一个强大的运行AI模型的工具。
Ollama的核心功能
- 易于安装和使用：Ollama 支持 macOS、Windows 和 Linux，提供了简洁明了的安装和运行指令，让用户无需深入了解复杂的配置即可启动和运行。
- 丰富的模型库：通过Ollama，用户可以访问和运行包括 Llama 2、Mistral 和 Dolphin Phi 在内的多种大型语言模型。这为开发者和研究者提供了极大的便利。
- 高度可定制：Ollama 允许用户通过 Modelfile 定义和创建自定义模型，满足特定应用场景的需求。
- 优化的性能：即使在普通的个人电脑上，Ollama 也能通过优化运行效率，支持运行较小的模型，为用户提供实验和测试的环境。
1.2 Ollama安装
Ollama下载地址：https://ollama.com/download
下载完成后，直接点击安装：
直接在网站下载可能会很慢，本文提供了CSDN免费下载资源，需要的话点击下面的链接进行下载
1.3 Ollama模型下载
模型下载和运行均可以使用下面的命名：
ollama run qwen2:7b
注意：运行7B模型至少需要8GB内存, 运行13B模型需要16GB, 33B模型需要32G。
查看已下载的模型并运行模型进行对话：
如果想尝试不同的模型，可以进入此页面搜索，选择想要下载的模型，页面上会显示模型下载命令。
https://ollama.com/library?sort=popular
二、1分钟完成WebUI的搭建
本章节介绍提供的一键部署包的安装和使用方法（资源免费提供，不需要任何积分）。
2.1安装方法
下载解压文件后，以管理员身份执行install.bat文件即可，如果电脑安装了安全卫士，在弹窗中选择允许即可。
2.2运行效果展示
- 默认地址： http://127.0.0.1:8090/
2.3补充说明
一键部署包整合了三个开源项目：nginx+WinSW+ollama-ui，下面提供了三个开源项目的地址，喜欢动手的朋友们可以去了解下，比如修改web服务端口，修改html交互效果及页面样式等。
- nginx: https://nginx.org/en/download.html
- WinSW :https://github.com/winsw/winsw/releases
WinSW的使用可参考我的好兄弟大佬超的博文中有关【WinSW】的使用介绍：Windows部署Jar包的三种方式 - ollama-ui:https://github.com/ollama-ui/ollama-ui
一键部署包原理：利用WinSW将nginx封装成windows服务，使用nginx把Ollama的webAPI进行代理转发，ollama-ui的前端页面打包在nginx的html目录下，解决api和webUI跨域问题。
三、扩展知识
3.1 Ollama配置修改
Ollama默认的安装路径及模型路径都是C盘，大模型都很大，可以按照如下说明进行默认模型存储位置配置的修改，配置修改后需要重启服务，之前的模型可以手工复制到新的路径。
默认安装后的目录：C:\Users\username\AppData\Local\Programs\Ollama
默认安装的模型目录：C:\Users\username.ollama
默认的日志文件目录：C:\Users\username\AppData\Local\Ollama
注意：上述路径中的username是变量哦，一般是Administrator，也可能是zhangsan或者zhaowu，也可以是‘张三’或者‘李四’,需要根据个人电脑的情况进行调整！
- 模型存储位置修改
setx OLLAMA_MODELS "E:\ollama_model"
当然也可以使用windows配置页面进行修改：
其它参数介绍：
OLLAMA_HOST
接口地址，默认值：0.0.0.0:11434
OLLAMA_ORIGINS
接口允许的请求来源,默认值：127.0.0.1，默认只允许本机调用。
linux环境下，可以修改/etc/systemd/system/ollama.service文件，例如：
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_ORIGINS=*"
Environment="OLLAMA_MODELS=/data/ollama/.ollama/models"
3.2 ollama项目地址
https://github.com/ollama/ollama
3.3 ollama的API服务
- ollama默认API地址
http://127.0.0.1:11434
3.4 代码调用
在前面几篇文章中，我们一直调用的是阿里的大模型API接口：
- 依赖安装
pip install langchain_openai
from langchain_openai import ChatOpenAI
from langchain_core.prompts import ChatPromptTemplate
api_key = "api_key(平台注册获得)"
llm = ChatOpenAI(
base_url="https://dashscope.aliyuncs.com/compatible-mode/v1",
api_key=api_key,
model="qwen2-1.5b-instruct",
)
prompt_template = ChatPromptTemplate.from_messages([
("system", "你是一个很出色的交通警察."),
("user", "{input}")
])
#使用|操作符将prompt_template和llm连接在一起，创建一个chain对象。
chain =prompt_template | llm
#使用invoke方法调用chain对象，传入用户的输入，并获取响应。
response = chain.invoke(input="请你给违反交通规则的小朋友讲解危害！")
print(response.content)
如果需要调用本地的大模型API接口，调整url地址及模型名即可：
api_key = "ollama默认没有配置key"
llm = ChatOpenAI(
base_url="http://127.0.0.1:11434/v1",
api_key=api_key,
model="qwen2:7b",
)