Ollma本地部署Qwen2.5 14B(不使用docker)

时间：2024-11-26 21:57:45浏览次数：10

标签：Ollma open Qwen2.5 模型 14B webui docker ollama Ollama

部署机器硬件情况：

内存：32GB

显卡:3060

为什么不使用docker：
1.网上教程大多以docker为主

2.安装docker的时间太长，在等待的时候顺便尝试一下不用docker的部署

1.安装Ollama

下载地址：Ollama

下载好之后默认安装即可。

Ollama常用命令

【跟docker差不多，初次安装的话这边可以忽略，先看下面的】

ollama serve # 启动ollama
ollama create # 从模型文件创建模型
ollama show # 显示模型信息
ollama run # 运行模型，会先自动下载模型
ollama pull # 从注册仓库中拉取模型
ollama push # 将模型推送到注册仓库
ollama list # 列出已下载模型
ollama ps # 列出正在运行的模型
ollama cp # 复制模型
ollama rm # 删除模型

2.下载模型

Ollama模型库类似于Docker托管镜像的Docker Hub。

链接：qwen2.5-coder:14b

打开之后，在cmd里复制这边的命令来拉取模型并运行。

第一次运行的时候需要下载。

3.启动

ollama run qwen2.5-coder:14b

正常启动大概15秒左右。

可以在命令行里对其进行提问。

内存占用情况：(开了一台win7虚拟机的情况下)

还是可以接受的。

输入/?查看常用指令

4.Open-webui实现可视化

官方github界面：GitHub - open-webui/open-webui: User-friendly AI Interface (Supports Ollama, OpenAI API, ...)

官方文档：Ollma,open,Qwen2.5,模型,14B,webui,docker,ollama,Ollama
From： https://blog.csdn.net/Chen_lead/article/details/144068018

Ollma本地部署Qwen2.5 14B(不使用docker)
部署机器硬件情况：内存:32GB显卡:3060为什么不使用docker：1.网上教程大多以docker为主2.安装docker的时间太长，在等待的时候顺便尝试一下不用docker的部署1.安装Ollama下载地址：https://ollama.com/下载好之后默认安装即可。Ollama常用命令【跟docker差不多，初次安装的话......
PCIe宽带中频采集回放平台3GS/s 采集14bit 2通道 12.6GS/s回放 16bit 2通道
PCIe宽带中频采集回放平台3GS/s采集14bit2通道12.6GS/s回放16bit2通道，是一款具备交流耦合和双极性宽带信号输入的高速数据采集卡，它具有2通道，14bit，3GS/s采集和2通道，16bit，12.6GS/s回放特性。板载FPGA具备实时信号处理能力，可实现数字下变频DDC、数字滤波、快速傅立叶变换等......
openvino 大模型qwen2.5推理案例
参看：https://github.com/openvinotoolkit/openvino.genai/releases/tag/2024.4.0.0https://github.com/TommyZihao/openvino_tonypi/blob/main/OpenVINO-0911/AIPC%E4%BB%A3%E7%A0%81/%E3%80%90B1%E3%80%91%E4%B8%89%E8%A1%8C%E4%BB%A3%E7%A0%81%E5%BC%80%E5%90%AF%E5%A4%......
阿里云的Qwen2.5-Coder 和 Qwen2.5-Math专有模型怎么样？
阿里云发布Qwen2.5 系列模型，最新发布的Qwen2.5系列中包括普通的大语言模型(LLM)以及针对编程和数学的专用模型：Qwen2.5-Coder 和 Qwen2.5-Math。包括：Qwen2.5:0.5B、1.5B、3B、7B、14B、32B和72BQwen2.5-Coder:1.5B、7B和32B（即将发布）Qwen2.5-Math:1.5B、7B和72......
Qwen2.5-Coder——专门从事代码生成、完成和数学推理任务的 LLM
1.概述论文地址：https://arxiv.org/pdf/2409.12186源码地址：https://github.com/qwenlm/qwen2.5-coderQwen2.5-Coder是其前身CodeQwen1.5的重大演进，专门设计用于执行代码生成和代码修改等编程相关任务。该系列包括两个型号，参数分别为15亿（15亿）和70亿（70亿）。2.算法......
设计方案：FMC303-两路5.6Gsps 14bit DA FMC子卡
一、板卡概述 FMC303可实现宽波段、双通道、14位、5.6GSPS（2.8gsps直接射频综合）DAC功能，时钟可采用内部时钟源（可选择锁定到外部参考），或外部提供的采样时钟。此外还为用户提供定制采样控制的触发器输入。FMC303在机械上和电气上符合FMC标准（ANSI/VITA 57.1)。该卡具有多引脚连......
基于qwen2.5 手把手实战自定义数据集微调（llama-factory）
基于qwen2.5手把手实战自定义数据集微调（llama-factory）准备工作1.数据集准备（例:民法典.txt）2.服务器准备（阿里云DSW白嫖）3.环境配置pip升级模型下载微调助手4.数据集处理脚本文件4.1文本分割(bert-base-chinese)4.2数据集生成4.3.1数据集转换（只有一个数据集）alpaca格式......
Qwen2.5系列模型在GenStudio平台开源并提供API调用
9月19日，通义千问宣布新一代模型Qwen2.5系列开源。无问芯穹Infini-AI异构云平台GenStudio目前已上架Qwen2.5-7B/14B/32B/72B，您可轻松调用模型API。快来GenStudio，加入这场Qwen2.5基础模型大派对！GenStudio模型体验地址：cloud.infini-ai.com/genstudio/model此次Qwen2.5开源......
qwen2.5 vllm推理；openai function call调用中文离线agents使用
参考：https://qwenlm.github.io/zh/blog/qwen2.5/https://qwen.readthedocs.io/zh-cn/latest/framework/function_call.html#vllm安装：pipinstall-Uvllm-ihttps://pypi.tuna.tsinghua.edu.cn/simplevllm-0.6.1.post2运行：</......
【大模型开发】迎接AI新时代：Qwen2.5发布，超越LLaMA3！如何通过一键API调用不同模型？（附源
迎接AI新时代：Qwen2.5发布，超越LLaMA3！如何通过一键API调用不同模型？人工智能领域迎来了新的突破，阿里巴巴近期发布了全新的Qwen2.5模型系列，凭借其72B参数的核心模型，不仅在参数量上显著优化，还成功超越了LLaMA3（405B），在多个自然语言处理和代码生成任务中取得了卓越的表现。Qwen......