Ollama介绍
Ollama 是一个开源项目,旨在提供一个轻量级、可扩展的框架,用于在本地机器上构建和运行大型语言模型。以下是关于 Ollama 的一些核心特性和功能:
-
本地运行: Ollama 允许用户在本地计算机上运行大型语言模型,而无需依赖远程服务器。
-
跨平台支持: Ollama 支持 macOS、Windows 和 Linux 系统,提供了相应的下载链接和安装指南。
-
Docker 支持: 官方提供了 Ollama 的 Docker 镜像,方便用户通过 Docker Hub 进行部署和管理。
-
模型库: Ollama 拥有一个模型库,用户可以从中下载并运行多种预构建的模型,如 Llama 3、Phi 3 Mini、Gemma、Mistral 等。
-
模型参数: 每个模型都有详细的参数说明,包括模型的参数量、大小以及下载命令。
-
自定义模型: 用户可以导入 GGUF 格式的模型,并使用 Modelfile 来创建和运行自定义模型。
-
命令行界面 (CLI): 提供了丰富的 CLI 命令,用于创建、拉取、复制、删除和管理模型。
-
多行输入: 支持多行输入,用户可以通过特定的语法输入多行文本。
-
多模态模型: 支持运行多模态模型,能够处理图像等非文本输入。
-
REST API: 提供 REST API,用于远程运行和管理模型,方便与其他应用程序集成。
-
社区集成: 拥有丰富的社区集成,包括 Web 和桌面应用程序、终端工具、数据库连接、包管理器、库、移动应用、扩展和插件等。
-
支持的后端: 支持使用 llama.cpp 项目作为后端,这是由 Georgi Gerganov 创立的项目。
安装
模型下载
ollama run llama3
应用退出
利用关键词/bye
会退出交互的终端。
Windows关闭Ollama进程
开启一个powershell的terminal,然后输入:
Get-Process | Where-Object {$_.ProcessName -like '*ollama*'} | Stop-Process
标签:windows,模型,支持,Docker,Ollama,运行
From: https://www.cnblogs.com/guangqianglu/p/18208750