一般在使用Ollama下载模型时,都是从Ollama官方仓库下载(使用ollama run命令),但一些环境下,受限于网速等原因使用这种方式可能会非常慢甚至无法下载,所以我们可以选择使用Huggingface上的GGUF文件,在Ollama仓库里的模型都可以在Huggingface上找到,因此我们可以使用Ollama+GGUF文件离线加载模型。
目录
一、获取GGUF模型文件
GGUF文件是大模型训练的结果文件,在Huggingface上有官方或个人上传,我们可以登录到Huggingface进行搜索,例如搜索Qwen2,可以在Files and versions栏看到许多版本的gguf文件,它们大小不同,说明对应的模型效果也不同,一般会在README.md中有对各个版本的解释。
上述gguf文件列表中,选择其中一个自己想要的文件下载即可。文件越小,运行时,响应速度越快,精度也就越低。
二、创建Modelfile文件
下载好gguf文件后,再自己创建一个Modelfile文件,文件内容写一句话即可,主要为表示gguf模型文件的路径,路径根据自己的实际情况写。
FROM ./your-model-path.gguf
比如我放在了同一个文件夹内,写成下面这样即可
三、Ollama创建模型
进行完上面的配置,就可以再Ollama中创建本地模型了,可以打开终端运行下面命令,model-name自行决定,-f后指定刚刚创建Modelfile的路径
ollama create model-name -f Modelfile
创建成功后可以使用下面命令检查Ollama中是否已有模型。
Ollama list
四、Ollama运行模型
创建模型成功后就可以在运行起来了
ollama run model-name
标签:Modelfile,文件,创建,模型,GGUF,离线,Ollama
From: https://blog.csdn.net/danielxinhj/article/details/140788351