首页 > 其他分享 >Ollama+GGUF离线加载本地模型

Ollama+GGUF离线加载本地模型

时间:2024-07-30 10:27:03浏览次数:16  
标签:Modelfile 文件 创建 模型 GGUF 离线 Ollama

一般在使用Ollama下载模型时,都是从Ollama官方仓库下载(使用ollama run命令),但一些环境下,受限于网速等原因使用这种方式可能会非常慢甚至无法下载,所以我们可以选择使用Huggingface上的GGUF文件,在Ollama仓库里的模型都可以在Huggingface上找到,因此我们可以使用Ollama+GGUF文件离线加载模型。

目录

一、获取GGUF模型文件

二、创建Modelfile文件

三、Ollama创建模型

四、Ollama运行模型


一、获取GGUF模型文件

GGUF文件是大模型训练的结果文件,在Huggingface上有官方或个人上传,我们可以登录到Huggingface进行搜索,例如搜索Qwen2,可以在Files and versions栏看到许多版本的gguf文件,它们大小不同,说明对应的模型效果也不同,一般会在README.md中有对各个版本的解释。

上述gguf文件列表中,选择其中一个自己想要的文件下载即可。文件越小,运行时,响应速度越快,精度也就越低。

二、创建Modelfile文件

下载好gguf文件后,再自己创建一个Modelfile文件,文件内容写一句话即可,主要为表示gguf模型文件的路径,路径根据自己的实际情况写。

FROM ./your-model-path.gguf 

比如我放在了同一个文件夹内,写成下面这样即可

 

三、Ollama创建模型

进行完上面的配置,就可以再Ollama中创建本地模型了,可以打开终端运行下面命令,model-name自行决定,-f后指定刚刚创建Modelfile的路径

ollama create model-name -f Modelfile

创建成功后可以使用下面命令检查Ollama中是否已有模型。

Ollama list

四、Ollama运行模型

创建模型成功后就可以在运行起来了

ollama run model-name

标签:Modelfile,文件,创建,模型,GGUF,离线,Ollama
From: https://blog.csdn.net/danielxinhj/article/details/140788351

相关文章

  • 【ollama】手把手教你布置本地大语言模型 以及各种常见用途#如何加载guff模型到ollama
    ollama介绍Ollama是一个开源框架,专为在本地机器上便捷部署和运行大型语言模型(LLM)而设计。以下是其主要特点和功能概述:简化部署:Ollama目标在于简化在Docker容器中部署大型语言模型的过程,使得非专业用户也能方便地管理和运行这些复杂的模型。轻量级与可扩展:作为轻量级......
  • ollama push 自己的模型
    ollama模型运行之后会生成sshkey,我们首先需要在https://ollama.com/进行注册账户,然后添加自己的key,之后才能进行pushkey的位置默认一般会有一个~/.ollama/id_ed25519.pub,但是也可能会没有(比如调整了配置)还有一个是在/usr/share/ollama/.ollama/id_ed25519.pub为了确保pus......
  • 本地部署大模型?看这篇就够了,Ollama 部署和实战
    写在前面前几篇,分享的都是如何白嫖国内外各大厂商的免费大模型服务~有小伙伴问,如果我想在本地搞个大模型玩玩,有什么解决方案?Ollama,它来了,专为在本地机器便捷部署和运行大模型而设计。也许是目前最便捷的大模型部署和运行工具,配合OpenWebUI,人人都可以拥有大模型自由。......
  • ollama llama3.1 8b openbuddy 模型
    openbuddy对于llama3.18b模型进行了少量的中文训练实现了不错的中文理解处理,以下是使用社区提供的gguf格式,制作一个ollama新模型模型制作下载模型下载gguf文件,推荐使用加速工具Modelfile参考了llama3.1的FROM/home/models/openbuddy-llama3.1-8b-v22.1-......
  • 离线迁移conda环境后xesmf导入出现问题
    离线迁移conda环境(使用condapack)后,在新平台上,导入xesmf时出错:Traceback(mostrecentcalllast).File"/home/xxx/miniconda3/envs/nc2p/lib/python3.11/site-packages/esmpy/interface/loadESMF.py",line144,in_ESMF=ct.CDLL(os.path.join(libsdir,'libesmf_ful......
  • Redis系列---【Linux系统离线安装redis5.0.7】
    Linux系统离线安装redis5.0.71.下载redis安装包方式一:shell命令下载wgethttp://download.redis.io/releases/redis-5.0.7.tar.gz方式二:手动官网下载官网地址:https://redis.io/download2.上传到服务器上传到/opt/app/middles/目录下3.解压并安装tar-zvxfredi......
  • Dbeaver离线配置postgresql驱动
    下载驱动包https://jdbc.postgresql.org/download/下载后的驱动jar包如下所示,不同版本后缀不同,不必纠结(特殊情况除外)Dbeaver离线配置PostgreSQL驱动数据库>驱动管理器>PostgreSQL把库中的目录全部删除掉后,添加文件:把刚下载的驱动文件路径配置进去测试PostgreSQL连......
  • 使用Ollama
    推荐Ollama本地运行大模型(LLM)完全指南Ollama中文学习应用查看可支持的模型:https://ollama.com/library查看运行中的模型ollamaps停止模型方法1:kill-9端口号方法2:关闭ollama的窗口API调用模型启动模型单次调用模型fromollamaimportClienti......
  • vite 静态离线无服务器部署 方案
    第一、第二种方案importpathfrom"path";import{defineConfig}from"vite";importvuefrom"@vitejs/plugin-vue";importvueJsxfrom"@vitejs/plugin-vue-jsx";import{viteSingleFile}from"vite-plugin-si......
  • Centos离线安装 Nginx
    一、需求提出    公司刚刚申请了两台服务器,需要部署Nginx环境二、环境情况    系统是Centos的,需要离线安装。Linux中的环境很纯净C++环境也没有......#查看自己的版本cat/etc/os-release三、进行安装    1、准备需要安装的Nginx需要......