首页 > 其他分享 >Ollama 运行 GGUF 模型

Ollama 运行 GGUF 模型

时间:2024-03-10 10:12:51浏览次数:22  
标签:Ollama 模型 GGUF 14B https ollama

Ollama 默认直接支持很多模型,只需要简单的使用 ollama run命令,示例如下:

ollama run gemma:2b

就可安装、启动、使用对应模型。
可直接支持的模型看:https://ollama.com/library

https://huggingface.co/models上有数万的模型,Ollama 默认支持的不可能全部覆盖,那如何支持其它模型呢?

模型选择

CausalLM-14B(https://huggingface.co/TheBloke/CausalLM-14B-GGUF)是在Qwen-14B基础上使用了 Qwen-14B 的部分权重,并且加入一些其他的中文数据集,最终炼制了一个无内容审核的大模型版本,经过量化后可以在本地运行,保证了用户的隐私。

考虑到本地机器的配置,我们选用7B的这个版本来演示:
https://huggingface.co/TheBloke/CausalLM-7B-GGUF

有关GGUF类型文件的说明,请看:GGUF类型模型文件

我们这里选择: causallm_7b.Q5_K_S.gguf 这个模型文件。

Ollama 加载GGUF模型文件

使用 Ollama 加载指定的模型文件运行也非常容易。

1、创建模型配置文件

创建一个包含以下内容的模型配置文件,比如: causallm7bq5.mf 这个文件名,文件内容如下:

FROM ./causallm_7b.Q5_K_S.gguf

这里的FROM参数用于指定需要加载的具体模型文件。

https://github.com/ollama/ollama/blob/main/docs/modelfile.md

2、构建对应的Ollama模型

我们使用以下命令构建 Ollama 模型:

cd \github\ollama

ollama create c7b -f ./causallm7bq5.mf

其中 c7b 是我们准备在Ollama中使用该模型的别名。

3、使用这个模型

现在我们就可以使用了,

ollama run c7b "What is Grafana?"

让我们看看是否可以让模型告诉我们有关 Grafana 可视化工具的所有信息:

您得到的结果将与我得到的结果不同,因为这些模型是随机的,下面是我在其中一次尝试中得到的输出:

模型配置常见的参数

总结

标签:Ollama,模型,GGUF,14B,https,ollama
From: https://www.cnblogs.com/ghj1976/p/18063781/ollama-yun-xing-gguf-mo-xing

相关文章

  • Denoising Diffusion Probabilistic Models去噪扩散模型(DDPM)
    DenoisingDiffusionProbabilisticModels去噪扩散模型(DDPM)2024/2/28论文链接:DenoisingDiffusionProbabilisticModels(neurips.cc)这篇文章对DDPM写个大概,公式推导会放在以后的文章里。一、引言Introduction各类深度生成模型在多种数据模态上展示了高质量的样本。生成......
  • GGUF 模型
    在HuggingFace上,我们时不时就会看到GGUF后缀的模型文件,它是如何来的?有啥特点?https://huggingface.co/TheBloke/Llama-2-7B-Chat-GGUFGGUF由来GeorgiGerganov(https://github.com/ggerganov)是著名开源项目llama.cpp((https://github.com/ggerganov/llama.cpp))的创始人,它最大的......
  • 栈区、堆区,内存分区模型
    1.栈区由编译器自动分配释放,存放函数的参数值,局部变量等注意事项:不要返回局部变量的地址,栈区开辟的数据由编译器自动释放实例代码:#include<iostream>usingnamespacestd;int*func(){inta=10;//局部变量,存放在栈区,栈区的数据在函数执行完后自动释放ret......
  • 神经语言网络模型
    2024.3.9神经语言网络模型$\longmapsto$主要是预测出下一个词神经网络+语言模型——》用是神经网络的方法去完成以下两个和人说的话相关的任务第二个任务:v”判断“,”一个“,”词“,“的”,”“假设词库里有”词性“和”火星“P(''|"判断",”一个“,”词“,”的“)......
  • 无模型的强化学习方法
    无模型的强化学习算法学习「强化学习」(基于这本教材,强烈推荐)时的一些总结,在此记录一下。动态规划算法需要马尔可夫决策过程是已知的(状态转移函数、奖励函数已知),智能体不用真正地与环境互动也能在「理性」世界里求得最优策略。现实通常并非如此,环境已知恰恰是很少见的。所以这里......
  • 统计语言模型
    2024.3.8统计语言模型统计语言模型1.语言模型语言(人说的话)+模型(表示某个东西,完成某个任务)P1(“判断这个词的词性”),P2(“判断这个词的磁性”)**“判断这个词的"**2.统计语言模型用统计的方法去解决上述两个问题“判断这个词的词性”="判断","这个",”词“,”的......
  • 苹果AppleMacOs系统Sonoma本地部署无内容审查(NSFW)大语言量化模型Causallm
    最近Mac系统在运行大语言模型(LLMs)方面的性能已经得到了显著提升,尤其是随着苹果M系列芯片的不断迭代,本次我们在最新的MacOs系统Sonoma中本地部署无内容审查大语言量化模型Causallm。这里推荐使用koboldcpp项目,它是由c++编写的kobold项目,而MacOS又是典型的Unix操作系统,自带clang编......
  • AI大模型ChatGLM2-6B 第三篇 - ChatGLM2-6B部署
    clone项目下载模型https://cloud.tsinghua.edu.cn/d/674208019e314311ab5c/?p=%2Fchatglm2-6b&mode=list切换conda里面的py39环境cd/home/chq/ChatGLM2-6Bcondaactivatepy39执行pipinstall(py39)root@chq:/home/chq/ChatGLM2-6B#pipinstall-rrequirements.txtC......
  • AI大模型ChatGLM2-6B - 基础环境搭建
    硬件环境cpui5-13600k内存64G显卡rtx3090软件环境window11专业版22H2n卡驱动:526.47wsl2ubuntu22.04安装nvidia-cuda-toolkit打开wsl2的ubuntu,安装nvidia驱动程序sudoaptupdatesudoaptupgradesudoubuntu-driversdevicessudoaptinstallnvidia-driver-......
  • 05盒子模型
    1<!DOCTYPEhtml>2<htmllang="en">3<head>4<metacharset="UTF-8">5<metaname="viewport"content="width=device-width,initial-scale=1.0">6<title>Document......