目录
一、下载ollama
Ollama 是一个开源的、本地运行的 AI 聊天模型,允许在自己的设备上运行 LLM,无需依赖云服务。它支持多种 LLM。目前Ollama library已经支持Qwen2,可以直接使用。
首先安装ollama, 访问官网 下载 ollama 对应版本 Download Ollama on macOS
windows下选择exe ,然后运行安装,安装完成后。添加一个系统环境变量OLLAMA_MODELS,否则Ollama 会将模型默认下载到C盘,比如我这里指了D盘:
然后打开powershell 运行一下,注意不是CMD是powershell ,看是否安装成功
二、安装qwen大模型
ollama pull qwen2.5:7b-instruct
等待模型下载,下载的模型速度取决您的网络速度。
使用
使用ollama 命令行窗口推理
启动模型
ollama run qwen2.5:7b-instruct
模型启动完成,这样我们就可以实现模型推理了
三、Api调用
通过查阅资料,ollama会在本地的11434端口自动开启服务
查阅官方的api参考文档,得到使用说明。
可以查看ollama的官网来查看相关的环境配置以及接口文档