首页 > 其他分享 >Kuasar 最前沿:KubeCon China 2024 精彩回顾

Kuasar 最前沿:KubeCon China 2024 精彩回顾

时间:2024-09-02 20:25:07浏览次数:6  
标签:原生 容器 Kubernetes 2024 Kuasar China 沙箱 运行

8月21日-23日,由云原生计算基金会(CNCF)和 Linux 基金会联合主办的KubeCon + CloudNativeCon + Open Source Summit + Al_dev China 2024 大会在中国香港盛大召开。会上,多位Kuasar社区Maintainer分享了关于云原生容器运行时与大模型等领域前沿技术的案例实践与经验思考。

Kuasar 最前沿:KubeCon China 2024 精彩回顾_容器

KubeCon China 2024 主题演讲

Kuasar[1]于2023年4月在KubeCon Europe上由华为云联合多家企业和社区发起,12月正式成为CNCF首个多沙箱容器运行时项目。Kuasar基于 Rust 语言实现,提供基于 MicroVM/App Kernel/WebAssembly / runC类型的沙箱容器,融入了各企业和社区在容器运行时领域的前沿探索、技术积累和生产实践,开源至今受到业界的广泛关注和支持,已收获1200多个GitHub Star和85个Fork,数十位来自外部企业、高校的开源爱好者参与开发贡献和积极落地应用。


▍使用Kuasar和WasmEdge在Kubernetes上部署大语言模型

Kuasar 社区 Maintainer Burning Zhang(华为云),携手WasmEdge社区创始成员Vivian Hu(Second State)带来了主论坛演讲《使用Kuasar和WasmEdge在Kubernetes上部署大语言模型》。

Kuasar 最前沿:KubeCon China 2024 精彩回顾_API_02

《使用Kuasar和WasmEdge在Kubernetes上部署大语言模型》

大语言模型(LLM)是强大的人工智能工具,能够理解并生成自然语言。然而,传统运行LLM的方法面临着诸多挑战,包括复杂的软件包安装、GPU设备兼容性问题、不灵活的扩展性、有限的资源监控和统计,以及存在安全问题。云原生人工智能(CLOUD NATIVE ARTIFICIAL INTELLIGENCE)白皮书[2]指出:

“WASM is a platform-independent, efficient CN approach to inference.”

“WASM 是一种高效、平台无关的云原生推理方法。”

Kuasar 最前沿:KubeCon China 2024 精彩回顾_API_03

 云原生人工智能(CLOUD NATIVE ARTIFICIAL INTELLIGENCE)白皮书

WasmEdge 提供了一种基于 WebAssembly 运行时的解决方案,使得开发快速、灵活、资源高效且安全的 LLM 应用程序成为可能。Kuasar 作为容器运行时,无缝集成了 WebAssembly 运行时,使应用程序能够在 Kubernetes 集群上顺利运行。

Kuasar 最前沿:KubeCon China 2024 精彩回顾_API_04

在Kubernetes中集成LLM

借助 Kuasar 和 WasmEdge 在 Kubernetes 集群中运行大模型负载的实践,成功解决了大模型应用开发和部署的两个关键痛点问题。

首先,通过 WebAssembly 技术,解决了传统技术在跨平台兼容性和复杂依赖性方面的挑战。开发者不再需要为不同 CPU 架构之间的编译与运行问题头疼,也无需为不同 GPU 驱动版本的兼容性以及 Python/PyTorch 复杂的依赖包问题而烦恼。WebAssembly 提供了一个统一的运行环境,使得跨平台的应用开发和部署变得更加简洁和高效。

另一方面,Kubernetes 集群本身为 LLM 负载程序提供了强大的容器编排能力,极大地简化了大模型的开发和部署过程。

  • 打包与部署:通过将大模型打包成容器镜像,能够轻松实现应用在集群任意节点上的批量部署,显著提高了部署效率。
  • 资源管理:Kubernetes 提供了精细的资源申请和管理机制,可以为每个应用合理规划异构资源的申请和限制,确保在划定的 QoS 范围内进行高效调度。
  • 弹性伸缩:Kubernetes 可以快速实现弹性伸缩,既能保证服务质量,又能最大化资源利用率。
  • 可观测性:借助 Kubernetes 的可观测性能力,能够更好地监控负载,收集性能数据,并记录日志,为优化和故障排除提供数据支持。
  • 服务发现与负载均衡:Kubernetes 提供了服务发现和负载均衡功能,使得应用程序间的交互和联网更加顺畅。
  • 灰度发布:支持灰度发布,使大模型的版本迭代和更新过程更加平滑,降低了新版本上线的风险。

通过这些能力,Kubernetes 不仅简化了大模型应用的部署和管理,还大幅提升了其运行效率和稳定性,加速云原生技术与 AI 生态的深度融合与发展。

▍基于Containerd的Sandbox API构建容器运行时

华为云云原生团队,Kuasar社区Maintainer Abel Feng和来自DaoCloud的Containerd  Committer 蔡威共同分享了《如何基于Containerd的Sandbox API构建容器运行时》。

Kuasar 最前沿:KubeCon China 2024 精彩回顾_云原生_05

《如何基于Containerd的Sandbox API构建容器运行时》

随着不同类型的隔离技术(如沙箱)的引入,容器现在更多地是一组API规范,而不是单一技术。目前Containerd社区已经社区围绕Sandbox概念衍生出一套新的数据结构和管理接口Sandbox API, 以便轻松集成不同类型的沙箱技术,使其成为容器运行时。

Kuasar 最前沿:KubeCon China 2024 精彩回顾_容器_06

Containerd中的Sandbox 和Container

基于Sandbox API接口实现,Kuasar 结合了华为云多年生产业务实践以及对沙箱技术发展的思考,在保留传统容器运行时功能的基础上,通过全面Rust化以及优化管理模型和框架等手段,进一步降低管理开销、简化调用链路,灵活扩展对业界主流沙箱技术的支持,实现云原生业务场景全覆盖。此外,通过支持多安全沙箱共节点部署,Kuasar可以充分利用节点资源、降本增效,为用户提供更安全高效的沙箱场景解决方案。

Kuasar 最前沿:KubeCon China 2024 精彩回顾_API_07

Kuasar全景图

南向沙箱方面,Kuasar已支持基于轻量级虚拟化技术的安全容器沙箱(Cloud Hypervisor、Qemu、StratoVirt),基于新兴的WebAssembly沙箱(WasmEdge、Wasmtime),基于进程级虚拟化的App Kernel沙箱(Quark)以及基于内核的原生普通容器沙箱(runC);北向引擎方面,Kuasar已与Containerd联合构建最新的沙箱接口标准,并共同推动该标准在Containerd v2.0版本的完整实现。此外,轻量级容器引擎iSulad项目也已经完成与Kuasar项目的深度集成,支持在openEuler 23.09创新版本上一键部署。

Kuasar 最前沿:KubeCon China 2024 精彩回顾_云计算_08

Kuasar各 sandbox架构图

应用场景方面,Kuasar 在轻量级安全容器、公有云远程沙箱以及基于 WebAssembly的 LLM 推理场景下展现了其巨大的架构优势。通过 Kuasar,用户能够在轻量级虚拟机中实现高效、安全的资源隔离与管理,甚至可以将远程的IaaS的虚拟机作为沙箱进行灵活管理。此外,在运行 LLM 推理任务时,Kuasar 的架构能够充分利用 WebAssembly技术,实现高效的资源利用和跨平台兼容性,为 AI 应用提供了基础架构支持。

目前,Kuasar社区已经发布v1.0.0版本[3],这是该项目的一个重要里程碑。此次发布的版本标志着 Kuasar 的 Cloud Hypervisor 沙箱容器已经达到了稳定和成熟的阶段,可为开发者和企业用户提供了更为安全的云原生容器化部署,以提升容器的安全性和隔离性。用户可通过小规模测试,验证其在实际场景中的表现。


▍总 结

在本届 KubeCon 大会上,Kuasar社区联合WasmEdge社区分享了对大模型应用在云原生场景的部署,加速AI在云原生领域的落地,和Containerd社区展示了应用最新的Sandbox API构建多沙箱容器运行时的可能,以及Kuasar 社区在这方面的应用案例和探索,旨在帮助开发者和企业用户更好地容器化上云。大会期间带来的新版本v1.0.0性能更加成熟,欢迎大家体验。

展望未来,Kuasar 将继续致力于云原生多沙箱容器领域的深入研发,深入挖掘和满足更多用户场景的需求,不断优化和扩展技术栈,为用户提供更加全面、成熟和高效的解决方案。

相关链接:

[1]Kuasar多沙箱容器运行时: https://github.com/kuasar-io/kuasar

[2]云原生人工智能白皮书: https://www.cncf.io/wp-content/uploads/2024/03/cloud_native_ai24_031424a-2.pdf

[3]Kuasar v1.0.0 版本: https://github.com/kuasar-io/kuasar/releases/tag/v1.0.0

标签:原生,容器,Kubernetes,2024,Kuasar,China,沙箱,运行
From: https://blog.51cto.com/u_16310666/11900255

相关文章

  • C#/.NET/.NET Core技术前沿周刊 | 第 3 期(2024年8.26-8.31)
    前言C#/.NET/.NETCore技术前沿周刊,你的每周技术指南针!记录、追踪C#/.NET/.NETCore领域、生态的每周最新、最实用、最有价值的技术文章、社区动态、优质项目和学习资源等。让你时刻站在技术前沿,助力技术成长与视野拓宽。欢迎投稿,推荐或自荐优质文章/项目/学习资源等。每周一定期发......
  • android AccessibilityService合法合规增加小红书笔记曝光阅读量(2024-09-02)
    免责任声明:任何可操作性的内容与本人无关,文章内容仅供参考学习,如有侵权损害贵公司利益,请联系作者,会立刻马上进行删除。一、分析目前可增加曝光阅读流量渠道入口(完成)1.发现页打开小红书app选择顶部发现页(完成)2.搜索页打开小红书app点击右上角搜索,进入搜索结果页(完成)3.......
  • 2024.9.2 Python,用栈写每日温度,等差数列划分,子串所有可能性,等差数列划分,深度优先搜索
    1.每日温度给定一个整数数组temperatures,表示每天的温度,返回一个数组answer,其中answer[i]是指对于第i天,下一个更高温度出现在几天后。如果气温在这之后都不会升高,请在该位置用0来代替。示例1:输入:temperatures=[73,74,75,71,69,72,76,73]输出:[1,1,4,2,......
  • 一图看懂天润云(2167.HK)2024年中期业绩
    ......
  • 中望CAD 专业 v2024 激活版下载与安装教程 (CAD三维制图)
    下载链接:https://pan.xunlei.com/s/VO5mffK30G6Mota3eRjZpGB5A1?pwd=4gyi#安装步骤1、下载解压后点击如下进行安装2、选择安装目录,最好不要安装在系统盘(C盘)3、安装中...耐心等待2-3分钟4、安装完先不要运行它,点击完成即可5、回到我们解压的文件夹里面,访问crack文件夹,把里......
  • 【电子科技大学主办丨IEEE 出版丨接受全文&摘要!】第三届电子信息技术国际学术会议(EIT
    第三届电子信息技术国际学术会议(EIT2024)将于2024年9月20-22日在中国·成都召开。电子信息工程在我国信息化产业的发展过程中举足轻重,且随着移动通信与网络技术的发展,电讯网络、工业智能制造等领域与电子信息工程技术密切相关。电子信息基础领域技术创新是国家新一轮科技......
  • .NET周刊【9月第1期 2024-09-01】
    国内文章【音视频通话】使用asp.netcore8+vue3实现高效音视频通话https://www.cnblogs.com/1996-Chinese-Chen/p/18384394该文章描述了使用SRS实现音视频通话和共享桌面的经验。从最初使用nginx的RTMP到研究SRS和ZLMediaKit的过程,再到最终实现功能的详细步骤,涵盖了服务器配......
  • C#/.NET/.NET Core技术前沿周刊 | 第 3 期(2024年8.26-8.31)
    前言C#/.NET/.NETCore技术前沿周刊,你的每周技术指南针!记录、追踪C#/.NET/.NETCore领域、生态的每周最新、最实用、最有价值的技术文章、社区动态、优质项目和学习资源等。让你时刻站在技术前沿,助力技术成长与视野拓宽。欢迎投稿,推荐或自荐优质文章/项目/学习资源等。每周一......
  • CSP2024考前集训记录
    CSP2024考前集训记录2024.9.2上午高一学长供的题。A题开考5分钟想到枚举\(a\)后再枚举\(d=\gcd(b,c)\)后转化为求\(\varphi(\frac{b+c}{d})\),直接上线性筛。然后时间复杂度\(O(n\sqrtn)\),瓶颈在枚举\(b+c\)的因数上。于是后半个比赛全在想怎么优化,想到的包含:再......
  • 2024第五届全球数字经济产业大会:前沿技术引领未来
    随着数字化浪潮的不断推进,全球数字经济产业大会已成为展示最新技术成果和探讨未来发展趋势的重要平台。2024年8月,第五届全球数字经济产业大会在深圳会展中心盛大召开,汇聚了全球顶尖的科技企业和行业领袖,共同探讨和展示数字经济领域的最新技术成果与发展趋势。云计算与大数据云计......