- 2024-12-11RAG框架,都在这了!
前言RAG很多人都听说过,或者实践过,目前最直接的应用就是构建智能问答系统。什么是RAG?RAG是RetrievalAugmentedGeneration的简写,翻译过来就是检索增强生成。从名字就可以拆分出RAG的三大部分,检索、增强、生成,表面意思就是:1、去知识库检索相关的各种东西2、把检
- 2024-04-26kubernetes安装配置使用vGPU
前言AI落地时,在某些场景下AI模型在训练或者是推理时,其算力要求不需要占用整卡的GPU,比如只需要0.5卡GPU即可满足需求。在这种情况下,可以使用GPU虚拟化技术来解决这个问题,将整卡的GPU虚拟化为两个0.5卡的GPU,这样就可以在一张卡上同时跑两个AI训练或者AI推理应用服
- 2024-04-15Proxmox VE 7.x ,8.x 安装 NVIDA GRID vGPU 以及 Intel SR-IOV vGPU,一键安装脚本
在Gitee上创建了一个项目。包括了NVIDIA和Intel核显启用vGPU的脚本。 项目地址:https://gitee.com/deskpool/proxmox-vgpu脚本支持ProxmoxVE7.x和8.x,支持NVIDAGRIDvGPU和 IntelSR-IOVvGPU。 介绍ProxmoxVE上支持vGPU的脚本。包括NVIDAGRIDvGP
- 2024-04-09Kubernetes统一管理vGPU:原理、实现与挑战
目录一、vGPU原理与需求二、Kubernetes统一管理vGPU的实现三、面临的挑战与解决方案四、拟解决方案五、总结导言:随着云计算和虚拟化技术的快速发展,GPU资源的共享和统一管理成为了云计算领域的一个重要课题。Kubernetes,作为容器编排领域的领头羊,其对于GPU资源的管理能
- 2024-02-05Proxmox 7.4 使用vgpu_unlock,为GTX1060开启vGPU支持
本文在2021年发布的博客《Proxmox5.4使用vgpu_unlock,为GTX1060开启vGPU支持》,介绍了ProxmoxVE5.4上部署vGPUunlock的操作步骤。 后续有发布了在 ProxmoxVE7.x上支持vGPU的博客《Proxmox7.2部署DoraCloud桌面云,支持vGPU》,实现了通过3个脚本完成vGPU的配置。
- 2023-12-30【2023.12.30】PVE的PCIE直通改VGPU授权
之前使用直通有个坏处,就是其他的CT和虚拟机用不了GPU,只能使用核显在这里参考的链接是https://gitlab.com/polloloco/vgpu-proxmoxaptupdateaptdist-upgradeaptinstall-ygitbuild-essentialdkmspve-headersmdevctlgitclonehttps://gitlab.com/polloloco/vgpu-prox