首页 > 其他分享 >焱融科技助力智谱AI,打造大模型训练加速之道

焱融科技助力智谱AI,打造大模型训练加速之道

时间:2023-09-08 11:36:00浏览次数:39  
标签:助力 AI 模型 存储 YRCloudFile 数据 智谱

自 ChatGPT 爆火以来,中国的 AI 产业已经进入名副其实的“百模大战”。《中国人工智能大模型地图研究报告》显示,截至 2023 年 5 月底,国内 10 亿级参数规模以上基础大模型至少已经发布 79 个,大模型所需数据丰富,而海量数据需要强悍的储存性能。


焱融科技助力智谱AI,打造大模型训练加速之道_海量数据


智谱 AI 致力于打造新一代认知智能通用模型,践行 Model as a Service(MaaS)的市场理念,建立了拥有完全自主知识产权的大模型。

近日,团队正式上线首款生成式AI助手——「智谱清言」,通过万亿字符的文本与代码预训练,结合有监督微调技术,以通用对话的产品形态成为更懂用户的智能助手。


焱融科技助力智谱AI,打造大模型训练加速之道_业务流程_02


焱融科技与智谱 AI 深度合作,在 AI 大模型数据全生命周期管理等技术方向上联合创新。焱融全闪存储方案具备海量数据支持、超高性能及可靠性等特性,满足智谱 AI 的业务性能需求,助推模型精度提升,为 AIGC 产业提供了可借鉴的成功经验。


焱融科技联合智谱 AI

构建高速大模型训练平台


大模型计算量庞大,计算复杂度高,参与计算的数据规模巨大,大模型越成熟所需数据越丰富,而海量数据需要更强悍的存储性能。因此在大模型的推动下,数据存储已成为AI大模型的关键基础设施,贯穿大模型全流程。


01

超大规模数据的存储和预处理

包括采集导入、清洗、转换、共享和长期归档,是后面各环节的基础。

➥对存储的要求:高吞吐、大容量、可扩展性、持久化存储。


02

模型设计

讲究效率为王,包括实验管理、交互式开发和效果评估等。

➥对存储的要求:POSIX 兼容性、可靠性和可共享。


03

模型训练、参数调优及评估

这里的主要场景,一是训练数据的读取,二是为了容错做的 checkpoint 的保存和加载。数据集的部分就是要尽量读得快,减少计算对 I/O 的等待,而 checkpoint 主要要求高吞吐、减少训练中断后等待恢复的时间。

➥对存储的要求:高IOPS、高吞吐、高带宽减少训练中断时间。


04

模型部署

需要把训练完的模型快速分发部署到线上,产生业务效果。而这个过程会高频、反复发生,既要求高并发、高吞吐,又要求整个流程尽量简单高效。

➥对存储的要求:高并发、高吞吐、流程简单高效。

同时,大模型的各环节业务流程的衔接,还对数据广泛、高效流动有着极高要求,对于海量数据的存储流动是刚需。


焱融全闪 AI 大模型存储方案

加速大模型应用推广

通过与智谱 AI 的深度合作,夯实焱融科技大模型存储方案,适配百亿级数据规模,向计算集群提供高性能低时延的存储服务能力。


YRCloudFile 全闪文件存储一体机 F8000XD 用于海量数据存储,YRCloudFile F8000XD 集群中单节点可提供 300万 IOPS 和 90GBps 带宽,支持 RDMA 协议,整体焱融存储集群提供千万级 IOPS,极低的时延,实现存储高性能支撑,使 IaaS 层全面提升性能。


在 AI 全业务流程内,数据需要经历的预处理、训练、仿真等过程,焱融科技全闪文件存储 F8000XD 根据不同业务阶段的特点,调用不同的存储服务能力,满足各个阶段业务对数据服务能力的要求。

且业务全过程中,数据始终处于 YRCloudFile 的全生命周期管理中,相比传统存储的分离架构,数据流转成本大大降低,业务连续性得到保障。

多模态 AI 数据来源维度众多,在性能优化层面较难,YRCloudFile 采用分布式并行架构,采用元数据路径分离技术,让百亿级混合文件(大文件和小文件并存场景)数据读写和元数据查询性能稳定,并且可线性扩展,满足智谱AI 业务性能需求,快速提升迭代能力。

伴随人工智能快速发展,大模型相关生态和创新土壤也正在完善。焱融科技YRCloudFile 构建智谱数据底座,与 NVIDIA 一起组成大模型算力存储方案,提升智谱业务迭代速度和模型精度。

YRCloudFile 在大模型应用场景具有独到的产品能力,焱融的数据全生命周期管理理念将更加有助于海量规模化的大模型应用。


焱融科技作为国内领先的高性能存储方案技术提供商,专注于 AI、智能汽车、AI 大模型领域,通过产品自身的技术优势帮助客户完善数据基座的构建,并且依据通用 AI 特性,推出适用于 AI 场景的存储功能,将行业应用场景深化,成为垂直领域的存储专家,帮助客户更好地追求业务创新。

标签:助力,AI,模型,存储,YRCloudFile,数据,智谱
From: https://blog.51cto.com/u_15191752/7408018

相关文章

  • 设计模式—职责链模式(Chain of Responsibility)
    目录思维导图什么是职责链模式?有什么优点呢?有什么缺点呢?什么场景使用呢?代码展示①、职责链模式②、加薪代码重构思维导图什么是职责链模式?使多个对象都有机会处理请求,从而避免请求的发送者和接收者之间的耦合关系。将这个对象连成一条链,并沿着这条链传递该请求,直到有一个对象处理它......
  • Codeium:免费的AI驱动代码加速工具包
    什么是Codeium?Codeium是现代编码超能力,一个基于尖端人工智能技术构建的免费代码加速工具包。目前,Codeium在70多种语言中提供自动完成、聊天和搜索功能,速度快且建议质量先进。现代编码工作流中有许多令人厌烦、乏味或沮丧的部分,从重复使用样板代码到在StackOverflow上搜索。最......
  • waiting for handler commit
    一、mysql主机状态showprocesslist;出现大量waitingforhandlercommit可以考虑看一下磁盘,是不是磁盘占满二、mysql从机状态showslavestatus;Slave_SQL_Running_State:waitingforhandlercommit如果SQL线程和IO线程都是YesSlave_IO_Running:YesSlave_SQL_Running:......
  • 构建全栈安全防护体系,华为云828营销季助力企业打好上云实战
    近年来,云计算等技术蓬勃发展,成为企业数字化转型的重要技术基石。在数据高速增长的同时,数据价值与数据安全问题也在逐步显现。为助力中小企业把好安全关,以“选择华为云,省力更省心”为主题的华为云828营销季带来网站安全、数据灾备、网站高可用等解决方案,为企业筑好数据安全的第一道......
  • All Pairs Maximum Flow题解
    前置知识:1.P3376【模板】网络最大流2.P4897【模板】最小割树(Gomory-HuTree)Ebola有一句很著名的话如果你乱搞过了我请你抽烟那么这道题肯定不能普通的dinic直接水过去,不然就不是紫题了,那么直接祭出最小割树,复杂度\(O(Tn^3m)\),但是因为dinic跑不满,所以是可以过的。......
  • qt程序调用cuda-11.7,cmake编译时,提示:"CMakeCUDACompilerId.cu" failed. Compiler:
    报错显示:Running/home/wc/software/cmake-3.26.3-linux-x86_64/bin/cmake/home/wc/work/junke_src/missile-sim'-GCodeBlocks-UnixMakefiles'in/home/wc/work/junke_src/build/debug.CMakeErrorat/home/wc/software/cmake-3.26.3-linux-x86_64/share/cmak......
  • 论文解读(CST)《Cycle Self-Training for Domain Adaptation》
    Note:[wechat:Y466551|可加勿骚扰,付费咨询]论文信息论文标题:CycleSelf-TrainingforDomainAdaptation论文作者:HongLiu,JianminWang,MingshengLong论文来源:2021 论文地址:download 论文代码:download视屏讲解:click......
  • 执行python脚本报错:case by sslerror(sslcertVerificationerror(1,ssl:vertificate_ve
    【现象】  使用python编写了一个请求,报错ssl证书过期问题【解决办法】   requests.packages.urllib3.disable_warnings()  r=requests.post(service_url,data=payload,headers=self.headers,verify=False)参考链接:https://www.cnblogs.com/sea-stream/p/14......
  • 使用 HelpLook Chatbot,让AI聊天机器人变成销售经理
    想要增强AI聊天机器人销售技巧的话,我们需要一个强大的搭建工具来帮助我们增加客户互动,通过很多的客户互动数据来支撑和锻炼我们的AI聊天机器人。在本篇文章中,looklook将会系统地来说说该如何定制聊天机器人的行为。使用AI聊天机器人的好处聊天机器人最明显的好处是,它们可以提供即时......
  • 十大功能特性,助力开发者玩转API Explorer
    伴随着我国API生态逐渐成熟、市场发展不断完善,API已广泛应用在以网页、移动应用、后端系统集成为主的众多开发场景中。同时,开发者对API的主要诉求已由获取数据能力转变为获取技术能力、甚至业务能力,开发者渴望更加高效便捷的调用方式,除关注API产品本身性能外,也愈发关注优质的服务和......