首页 > 其他分享 >Ollama本地部署Qwen2.5 14B(使用docker实现Nvidia GPU支持)

Ollama本地部署Qwen2.5 14B(使用docker实现Nvidia GPU支持)

时间:2024-11-27 10:55:14浏览次数:4  
标签:Ollama Qwen2.5 start 14B webui 本地 Nvidia docker open

前提条件:已经本地安装好了Ollama。
如果没有安装Ollama或者想部署其他的模型或者不想使用docker,,可以参考之前的这篇文章:
https://www.cnblogs.com/Chenlead/p/18571005

安装过程参考:https://docs.openwebui.com/getting-started/quick-start/

1.docker拉取open-webui镜像

在命令行里用docker拉取含有NVIDIA GPU支持的Open WebUI:
docker run -d -p 3000:8080 --gpus all -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda

需要一个下载的过程。

2.运行容器

安装好之后打开docker desktop

Containers 里就可以看到本地的名为open-webui 的容器
点击start 按钮

或者在cmd里输入docker start open-webui

运行成功之后的效果如下图所示

3.本地访问

然后在本地访问3000端口即可:localhost:3000

标签:Ollama,Qwen2.5,start,14B,webui,本地,Nvidia,docker,open
From: https://www.cnblogs.com/Chenlead/p/18571867

相关文章

  • Ollma本地部署Qwen2.5 14B(不使用docker)
    部署机器硬件情况:内存:32GB显卡:3060 为什么不使用docker:1.网上教程大多以docker为主2.安装docker的时间太长,在等待的时候顺便尝试一下不用docker的部署1.安装Ollama下载地址:Ollama下载好之后默认安装即可。Ollama常用命令【跟docker差不多,初次安装的话这边可以......
  • Ollma本地部署Qwen2.5 14B(不使用docker)
    部署机器硬件情况:内存:32GB显卡:3060为什么不使用docker:1.网上教程大多以docker为主2.安装docker的时间太长,在等待的时候顺便尝试一下不用docker的部署1.安装Ollama下载地址:https://ollama.com/下载好之后默认安装即可。Ollama常用命令【跟docker差不多,初次安装的话......
  • Linux 操作系统安装 Nvidia GPU 驱动,并且方便地切换打开/关闭状态的方法
    我的电脑有Intel核显和NVIDIA独显,平时使用核显来显示屏幕。我只有在少数时候需要NVIDIA驱动(仅用于科学计算),但由于这个驱动比较耗电,导致我的笔记本电脑续航降低,所以大部分情况下我想把它关闭掉。以下是我探索的方法。测试电池电量脚本如果你需要测试电池电量和功率,可以使用......
  • Windows 10上编译FFmpeg以支持NVIDIA GPU加速
    目录一、引言二、使用NVDIA加速的准备工作三、编译FFmpeg四、使用FFmpeg五、常见问题及解决方案六、总结一、引言        FFmpeg是一个强大的多媒体处理工具,它支持音频、视频和流媒体的录制、转换和流式传输。NVIDIAGPU提供了强大的计算能力,通过CUDA和NVENC......
  • PCIe宽带中频采集回放平台3GS/s 采集14bit 2通道 12.6GS/s回放 16bit 2通道
    PCIe宽带中频采集回放平台3GS/s采集14bit2通道12.6GS/s回放16bit2通道,是一款具备交流耦合和双极性宽带信号输入的高速数据采集卡,它具有2通道,14bit,3GS/s采集和2通道,16bit,12.6GS/s回放特性。板载FPGA具备实时信号处理能力,可实现数字下变频DDC、数字滤波、快速傅立叶变换等......
  • docker以及nvidia-docker的安装、移植以及使用案例
    详细描述docker、nvidia-docker的安装步骤,通过案例描述docker的基本使用命令,包含docker创建、移植、加载等。文档真实案例编写,亲测可用,傻瓜式教程,直接复制即可成功安装。默认已经安装显卡驱动。一、docker的安装#由于apt官方库里的docker版本可能比较旧,所以先卸载可能......
  • Nvidia RTX Desktop Manager跳过硬件要求
    相信大家看了上一篇文章,肯定还想继续白*英伟达。所以今天我给大家带来了NvidiaRTXDesktopManager跳过硬件要求的教程。如果要跳过硬件要求的话,还是改NVI文件。由于NVI文件非常多,这里我就不一一介绍怎么删除了。如果感兴趣的朋友可以自己研究。这里我就直接放出懒人包了。......
  • openvino 大模型qwen2.5推理案例
    参看:https://github.com/openvinotoolkit/openvino.genai/releases/tag/2024.4.0.0https://github.com/TommyZihao/openvino_tonypi/blob/main/OpenVINO-0911/AIPC%E4%BB%A3%E7%A0%81/%E3%80%90B1%E3%80%91%E4%B8%89%E8%A1%8C%E4%BB%A3%E7%A0%81%E5%BC%80%E5%90%AF%E5%A4%......
  • 阿里云的Qwen2.5-Coder 和 Qwen2.5-Math专有模型怎么样?
    阿里云发布Qwen2.5 系列模型,最新发布的Qwen2.5系列中包括普通的大语言模型(LLM)以及针对编程和数学的专用模型:Qwen2.5-Coder 和 Qwen2.5-Math。包括:Qwen2.5:0.5B、1.5B、3B、7B、14B、32B和72BQwen2.5-Coder:1.5B、7B和32B(即将发布)Qwen2.5-Math:1.5B、7B和72......
  • Qwen2.5-Coder——专门从事代码生成、完成和数学推理任务的 LLM
    1.概述论文地址:https://arxiv.org/pdf/2409.12186源码地址:https://github.com/qwenlm/qwen2.5-coderQwen2.5-Coder是其前身CodeQwen1.5的重大演进,专门设计用于执行代码生成和代码修改等编程相关任务。该系列包括两个型号,参数分别为15亿(15亿)和70亿(70亿)。2.算法......