Ollama 默认直接支持很多模型,只需要简单的使用 ollama run
命令,示例如下:
ollama run gemma:2b
就可安装、启动、使用对应模型。
可直接支持的模型看:https://ollama.com/library
在https://huggingface.co/models上有数万的模型,Ollama 默认支持的不可能全部覆盖,那如何支持其它模型呢?
模型选择
CausalLM-14B(https://huggingface.co/TheBloke/CausalLM-14B-GGUF)是在Qwen-14B基础上使用了 Qwen-14B 的部分权重,并且加入一些其他的中文数据集,最终炼制了一个无内容审核的大模型版本,经过量化后可以在本地运行,保证了用户的隐私。
考虑到本地机器的配置,我们选用7B的这个版本来演示:
https://huggingface.co/TheBloke/CausalLM-7B-GGUF
有关GGUF类型文件的说明,请看:GGUF类型模型文件。
我们这里选择: causallm_7b.Q5_K_S.gguf
这个模型文件。
Ollama 加载GGUF模型文件
使用 Ollama 加载指定的模型文件运行也非常容易。
1、创建模型配置文件
创建一个包含以下内容的模型配置文件,比如: causallm7bq5.mf
这个文件名,文件内容如下:
FROM ./causallm_7b.Q5_K_S.gguf
这里的FROM
参数用于指定需要加载的具体模型文件。
https://github.com/ollama/ollama/blob/main/docs/modelfile.md
2、构建对应的Ollama模型
我们使用以下命令构建 Ollama 模型:
cd \github\ollama
ollama create c7b -f ./causallm7bq5.mf
其中 c7b
是我们准备在Ollama中使用该模型的别名。
3、使用这个模型
现在我们就可以使用了,
ollama run c7b "What is Grafana?"
让我们看看是否可以让模型告诉我们有关 Grafana 可视化工具的所有信息:
您得到的结果将与我得到的结果不同,因为这些模型是随机的,下面是我在其中一次尝试中得到的输出: