首页 > 其他分享 >AI业界人人热议“大模型”,针对AI算力对数据中心的要求,虚拟化是数据中心建设的较优方案

AI业界人人热议“大模型”,针对AI算力对数据中心的要求,虚拟化是数据中心建设的较优方案

时间:2023-08-10 16:06:36浏览次数:51  
标签:数据中心 架构 虚拟化 AI 热议 硬件 软件

生成式人工智能技术是指具有文本、图片、音频、视频等内容自动生成能力的模型及相关技术。随着生成式人工智能技术的持续迭代和深度学习,更加“聪明”的大模型将会广泛应用于各行各业和进入更多的生活场景。

我们发现当前面对AI“大模型”算力挑战,亟需数据中心夯实基础设施建设,来应对海量数据的高要求处理。

在软件定义数据中心的模型中,虚拟化技术扮演着最核心的角色之一,通过软件的形式对物理资源重新抽象为计算、存储和网络等能力。毫无疑问,在20余年的发展历程来看,以VM为代表的虚拟化解决方案取得了巨大的成功。

从原来的互联网到云计算再到AI人工智能这样一个时代,AI人工智能对整个数据中心的基础架构、业内生态带来了几个变化,主要有三个方面的问题:

1.对硬件的要求会变得更加强大

整个AI大模型数据的迭代速度是比摩尔定律更快的,对硬件的要求,无论是性能、资源管理方式、还是规模都是重新上一个档次。

2.AI人工智能取决于数据

首先每个企业之间需要进行更加安全、高效的数据交换、学习,让AI变得更加强大。其次从硬件和软件结合的角度,硬件和软件如何更好地保障AI数据交换、数据使用、数据隐私发展等高安全性问题。

3.在AI技术发展背后,复杂程度远远超过对大模型的需求,同时也会有很多不同的模型

AI模型可能部署在云、部署在端,甚至部署在虚拟中心。大模型的多样化、部署多样化,一定会推动软件架构的灵活性、可靠性以及管理便捷性。这对供需双方都会带来更大的挑战。

AI业界人人热议“大模型”,针对AI算力对数据中心的要求,虚拟化是数据中心建设的较优方案_虚拟化

这就需要关注软硬件融合问题。AI人工智能的海量数据,需要一些高敏捷性的开发效果,在这种条件下,软件的价值会变得更加重要。同时硬件也发生一些变化,首先是硬件变得更加异构,更快地满足客户的需求,也变得更加开放,与软件保持更好地一体化协同,推动行业发展。软件和硬件的功能需要更紧密的加强,才能满足目前高速爆发的数据增长。

当今,数字化转型升级与国产化浪潮,虚拟化在视频处理、人脸捕捉等AI人工智能中发挥作用,虚拟化也在如何把硬件的功能更好地应用到软件,实现软硬件融合发展方向努力。

云架构下的数据中心,虚拟化不能缺席

越来越多的企业意识到,采用一家云计算供应商,必然会带来设备或生态绑定、低效竞争、数据权属等一系列问题,于是多云架构在头部或腰部用户中成为一种非完全技术驱动的趋势。多云管理下可能包括公有云、私有云、虚拟化资源池以及多样化的设备,通过多云管理平台实现异构资源的治理和成本优化。

AI业界人人热议“大模型”,针对AI算力对数据中心的要求,虚拟化是数据中心建设的较优方案_数据中心_02

在多云架构的潮流下,虚拟化是保持竞争力和最优投入的战略

数据中心虚拟化的核心主要包含计算(服务器)虚拟化、存储虚拟化、网络虚拟化。计算和存储虚拟化支持的规模取决于软件能力和商业考量等因素,从软件能力的角度实现同时支持成千上万个节点的规模并非难事,可以通过分布式多层调度架构、多区域调度等设计达到理想的效果;之所以建立集群数量控制或者接入条件等约束,主要是考虑到作为软件层的独立与广泛兼容性、对复杂环境的广泛适应性,无论是超大规模部署、中大型虚拟数据中心甚至单一节点的部署。与全栈云平台天然设计于分布式架构应用不同,虚拟化提供适应各类应用(包括单体架构、三层架构、SOA架构等)更为充分考虑的连续性和可靠性保护。

虚拟化技术的演进过程还在继续,并向另一个成熟的级别迈进,包括但不限于:RAS(可靠性、可用性和可服务性)保护的提升、PB级内存池、DPU的融合与协同、隐私计算等新模式的支持、LLM的支持与基础架构治理等,这类新的演进方向将引领新的需求潮流,和以虚拟化为基础的其他数字化解决方案交相辉映。

分布式存储为代表的存储虚拟化技术,更是具有显著的线性扩展、多副本保护、跨数据中心等优势,并作为全栈云平台默认存储资源的提供者。

至于网络虚拟化,在解决逻辑网络到物理网络的映射和模拟后,当前热议的SDN更是面向中大型数据中心、跨数据中心大二层网络打通而生,为解决虚拟化的虚拟机大规模网络调度策略的一致性问题逐步发展成熟。

以上可以看到,虚拟化能够轻松驾驭大中小微等不同的数据中心规模,但在商业落地过程中往往要衡量技术与市场模式。各类云操作系统及解决方案经过数字化转型的“美颜”能够高歌猛进,背后也存在着虚拟化这位低调的功臣。

虚拟化已深耕中大型数据中心

事实上,虚拟化已经无处不在。虚拟化的垂直领域表现最为活跃的包括zf、电信、教育、媒体、制造业等,细分的应用发展(例如新媒体、视频处理、人脸捕捉等)导致的大规模数据积累推动虚拟化市场的增长。

AI业界人人热议“大模型”,针对AI算力对数据中心的要求,虚拟化是数据中心建设的较优方案_数据_03

当今的企业依靠数据运作、制定商业策略,数据的不断增长推动IT基础设施必须能够快速有效地支撑数据的处理。以虚拟化为基础的大规模云计算数据中心,在抽象的计算资源池内以一定的粒度进行进一步的细化分配,以透明的方式为用户提供基于虚拟化资源的调度、供应、度量等的超级计算能力,达到数万台物理服务器规模是尤为正常的;随着硬件性能不断增强,虚拟化比例早已突破20:1、50:1,运行数十万个虚拟机的规模是完全可以预见的。以Google全球36个数据中心为例,利用虚拟化、SDN网络架构创新、可再生能源等技术支持超过30W台物理服务器规模。

根据Global Market Insights的最新预测,预计到2030年,数据中心虚拟化市场将以超过20%的CAGR扩张达到200亿美元,其中zf推动公共数据数字化的举措以及大型公司对云和数据的重大投资是该行业的主要驱动力。

当数据的服务化需求逐渐超出虚拟化基础范畴时,用户会寻求基于虚拟化的数字化服务方案,即云操作系统或云解决方案的形式。但云操作系统(例如openstack)本身并不具备虚拟化能力,仍然需要虚拟化作为负载的支撑底座。因此,无论公有云还是私有云,本质上仍是基于虚拟化为基础的数据中心。

面对“纷繁杂乱”的虚拟化市场,如何“稳准狠”地下手挑选适合的虚拟化产品?

第一:看产品稳定可靠

虚拟化产品的稳定性,看使用场景的多少,越多的用户使用这个产品,产品的稳定性就越好。因此推荐选择应用场景更加灵活、多样化的虚拟化产品,如云宏积木式架构的轻量级产品,可满足信创环境下不同设备规模的建设场景,并提供企业级虚拟化管理特性、资源智能调度、高可⽤保护、故障检测等能⼒,最长在客户生产环境系统中稳定运行10年以上。

第二:看产品生态圈

产品生态,就是软件可以运行在不同的平台上,软件和平台互相的做过了严格的测试和互相的认可。相对来说,优秀的虚拟化厂商更注重生态的培养,使自己的产品更多元化的同时,更注重厂商之间的合作与认可。因此选择与国产六大芯片等信创生态兼容适配的厂家,可同时满足主流x86、国产ARM架构等生态,并与数百家信创生态合作厂商的独立第三方信创虚拟化产品,以完成国产化适配。

第三:看核心技术投入

虚拟化厂商对产品的核心功能,投入大,特别是在丰富产品功能上和客户体验上,相对投入巨大的。因此推荐持续投入占比70%的研发精力、研发占比高、产品功能更符合用户体验,同时支持在线迁移、统一纳管VM,以更加符合国人的用户操作界面体验和国产兼容性等特点的虚拟化软件厂商。

第四:看响应速度和服务能力

系统运行出现异常或与期望的状态不符时,能够及时提供售后保障服务,快速高效响应,保障用户业务不中断,为用户解决实际问题。因此推荐有HA高可用、容灾功能的虚拟化产品来保障业务稳定性,以及拥有高度灵敏的售后服务团队来保障故障及时修复的厂家,支持7*24小时实时故障处理,解决后顾之忧。

标签:数据中心,架构,虚拟化,AI,热议,硬件,软件
From: https://blog.51cto.com/u_12193604/7036717

相关文章

  • 【通知】有三AI更新420页14万字视觉算法工程师成长指导手册,可下载收藏打印...
    各位同学,可还记得我们发布的《深度学习视觉算法工程师成长指导手册》,现在更新了,超过14万字,420页文档,可下载收藏打印,目录如下,文末提供了下载方式。手册简介目前深度学习在图像,语音,NLP领域大展拳脚,不管是本专业还是非本专业的技术人员都有很多人投身这一行,但是学校的学科建设刚刚开始......
  • 【通知】有三AI新手入门群开放,欢迎新手们来加入
    那什么样的算newbird,有这么几个非常明显的特征。(1)编程基础几乎没有,顶多会写几句python。(2)数学基础仅限于高等数学,不知道该看什么,看也看不懂。(3)不会写代码,只会run别人的代码。(4)不知道怎么开始看论文,看也看不懂。(5)环境配置都不会搞,代码出了错也不知道怎么查。总之属......
  • 【通知】2020年有三AI-CV夏季划升级,更多项目,更高难度,更加落地
    有三AICV夏季划发布于2019年6月10日,是有三亲自带领的师徒学习季划,为已经在计算机视觉领域,但是项目经验欠缺,落地能力较差的朋友准备。2020年6月20日起将进行升级,增加更多的项目,更高的难度。下面请听完整的介绍。整个学习内容夏季划是给以下选手准备的,目标是较深入地掌握若干计算机......
  • 【通知】有三AI固态硬盘最后一次补货,再增3套视频!
    没有想到小伙伴们对我们有三AI固态移动硬盘都非常感兴趣,前两次的货隔天就抢完了,这一次我们再补一批,并且把赠送的学习资料再加一些。这是最后一次了,毕竟有三不能老折腾卖硬盘,5.20号之前尽管拍,有多少就让厂家加多少,就是这次发货会慢一些,可能到月底。还是先了解一下盘。产品细节本次我......
  • AI进军法律行业,每个人都可以拥有自己的专属AI律师,法律咨询不求人
    随着科技的不断发展,AI技术已经应用到了各个行业。而在这个数字化时代,chatgpt作为一种先进的人工智能技术,正迅速改变着我们的生活方式和工作方式。 然而,当chatgpt开始涉足法律行业时,引起了公众的担忧。人们担心AI律师会取代传统的律师,导致就业市场的不稳定。然而,事实上,AI律师并非是......
  • 【通知】有三个人指导以及VIP星球6月份之后升级,你的专属AI顾问了解一下
    文/编辑|言有三所以对于有长期需求的朋友,有三提供有偿个人技术指导,这就是有三AIVIP会员(我们正在打算设计实体卡),这样既能够让有刚需的朋友得到指导,又可以省去我很多麻烦。谁需要VIP指导这里介绍的是言有三本人提供的针对个人的VIP指导,主要面向以下人群。(1) 需要不定期技术支......
  • 【重要】2022年有三AI专属固态硬盘开启预订,附赠视频与代码等学习资料
    离咱们上一次发布移动固态硬盘产品过去有一年多了,部分之前没有拿到的同学,断断续续在这一年间在不断问我,三哥啥时候再来一批,非常想要。正好咱们下半年开启了,这一年多我们平台也有了很大的变化,这一次我们就来发布今年的定制版移动固态硬盘,欢迎大家订阅收藏使用!硬盘产品细节本次我们的......
  • Eolink 出席 QECon 大会,引领「AI+API」技术的革新浪潮
    7月28日-29日,第八届QECon质量效能大会在北京成功召开。大会聚焦“数生智慧,高质量发展新引擎”,深入探讨如何利用数字化和智能化技术推动软件质量的发展,进而为高质量的经济发展提供新的引擎。作为国内API全生命周期解决方案的领军者,Eolink受邀出席本次大会。会上,EolinkCEO......
  • PantTool SAI(绘图软件) v2023.04.05 中文永久使用
    PantToolSAI是一款流行的绘图软件,专为数字艺术家和插画师设计。它提供了丰富的绘画工具和功能,使用户能够轻松地创作出精美的插图、漫画和动画作品。点击获取PantToolSAI 以下是PantToolSAI的主要特点和功能:简单直观的界面:PantToolSAI采用简洁、直观的界面设计,使用户可......
  • 基于AIRIOT平台构建低成本、更聪明的智能环卫系统,让管理更加高效智能
    环卫工程作为城市基础设施保障,是城市建设管理中不可或缺的重要组成部分。随着城市进程的加快及技术的进步,环卫工程管理也在逐渐向精细化、智能化、绿色化等趋势发展。智能环卫依托物联网、AI、大数据等技术,对环卫管理所涉及到的人、车、物、事进行全过程实时监测,解决环卫发展过......