Ai qwen大模型本地部署
官网地址
ollama官网:https://ollama.com
Github:https://github.com/ollama/ollama
环境配置
Windows操作系统一台【小新2019】
windows 下载安装工具
下载对应操作系统的安装包,下载需要开启魔法,不需要注册登录就能下载,可根据个人需求登录注册。
下载工具包完成进行傻瓜式安装即可
验证工具安装成功
查找模型
需要模型,可以在ollama.com官网搜索查找下载的模型,这边使用阿里开源的通义千问大模型qwen
安装模型
https://ollama.com/library?q=qwen
# 搜素模型的参数级 并运行安装 ollama run qwen2:7b
安装过程
安装过程如下,显示sucess表示成功
测试验证Ai模型
问几个问题和写个脚本,离线单机都可以,这样一个本地部署的gpt模型就完成了
系统资源使用
2019年电脑系统使用AI工具时CPU占用较高,不影响使用正常检索但速度稍慢,平均一秒钟出现2个字,基本能满足使用。
标签:https,Ai,com,模型,qwen,本地,ollama From: https://www.cnblogs.com/weiweirui/p/18239251