概述：Ollama

基本介绍： Ollama

• Ollama是一个支持在Windows、Linux和MacOS上本地运行大语言模型的工具。

它允许用户非常方便地运行和使用各种大语言模型,比如Qwen模型等。
用户只需一行命令就可以启动大语言模型。

主要特点

• 跨平台支持Windows、Linux、MacOS系统。
• 提供了丰富的模型库,包括Qwen、Llama等1700+大语言模型,可以在官网model library中直接下载使用。
• 支持用户上传自己的模型。

用户可以将huggingface等地方的ggml格式模型导入到ollama中使用。
也可以将基于pytorch等格式的模型转换为ggml格式后导入。

• 允许用户通过编写modelfile配置文件来自定义模型的推理参数,如temperature、top_p等,从而调节模型生成效果。
• 支持多GPU并行推理加速。

在多卡环境下,可以设置环境变量来指定特定GPU。

• 强大的技术团队支持，很多模型开源不到24小时就能获得支持。

总的来说,Ollama降低了普通开发者使用大语言模型的门槛,使得本地部署体验大模型变得简单易行。
对于想要搭建自己的AI应用,或者针对特定任务调优模型的开发者来说,是一个非常有用的工具。
它的一些特性,如允许用户自定义模型参数,对模型进行个性化适配提供了支持。

安装/部署篇

安装 on Windows

Step1 下载安装包

• download url

• https://ollama.com/download

• https://ollama.com/download/OllamaSetup.exe 【不推荐】

• https://github.com/ollama/ollama/releases/tag/v0.5.4

• https://github.com/ollama/ollama/releases/download/v0.5.4/ollama-windows-amd64.zip 【推荐/本博文】

X 参考文献

• Ollama

• https://ollama.com/
• https://github.com/ollama/ollama/tags

• https://github.com/ollama/ollama/releases/tag/v0.5.4
• https://github.com/ollama/ollama/releases/download/v0.5.4/ollama-windows-amd64.zip

• [NLP/AIGC] 基于【大语言模型(LLM)】+【检索增强生成(RAG)】+【指令微调(Fine-Tune)】技术，构建智能体的方法 - 博客园/千千寰宇 【推荐】