首页 > 其他分享 >安全、高效!天翼云HPFS助企业一臂之力!

安全、高效!天翼云HPFS助企业一臂之力!

时间:2024-08-15 15:39:13浏览次数:6  
标签:存储 场景 天翼云 AI HPFS 一臂之力 数据

近年来,随着各行业数智转型逐步深入以及人工智能大模型的蓬勃发展,气象分析、大模型训练、自动驾驶、石油勘探、EDA仿真、基因分析等高性能计算(HPC)场景和智算场景(AI)不仅对算力需求激增,也产生了图片、视频等大规模非结构性数据,企业在实践中面临着数据量大、存储性能不足等问题,导致训练阻塞、算力利用率低甚至训练中断现象频繁发生。在此背景下,企业需要不断创新和优化存储系统技术架构,以便实现更加高效、可靠和灵活的存储解决方案。

作为云服务国家队,天翼云坚持科技创新,不断加快推进数据存储基础设施建设,创新推出并行文件服务HPFS(CT-HPFS,High Performance File Storage),助力企业构建高性能存储底座。天翼云HPFS支持全NVMe闪存和InfiniBand高速网络,并融入RDMA技术,可提供最高千万IOPS和TBps吞吐,同时保证亚毫秒时延。该产品具有高性能、高可靠性、高可扩展性的特点,可充分满足企业在HPC和AI等场景下的存储需求。 

天翼云HPFS具备共享访问、弹性扩展、安全可信、性能优越四大产品优势。

在共享访问方面

HPFS支持数千台客户端挂载同一文件系统,从而实现共享访问;无缝适配主流应用程序进行数据读写,满足多客户端并行计算场景需求。

在弹性扩展方面

HPFS元数据采用集群架构,单文件系统文件数量可达百亿级别,文件系统支持在线扩展。

在安全方面

HPFS采用多种EC纠删码方式、热备盘备份来保证数据的可靠性。同时,支持HA,故障时自动切换,服务可用性在99.90%以上,有效保障数据安全。

在性能方面

HPFS使用100G以太网或IB、RoCE网络,性能随文件系统容量增长呈线性提升,同时可保证亚毫秒时延。

天翼云HPFS在高性能并行文件存储方向持续突破,面向HPC/AI场景大规模非结构化数据及性能深度优化,保障用户数据安全、实现高效存储。

在HPC场景,天翼云HPFS支持并行计算MPI-I/O(Message Passing Interface)接口,在多客户端同一时间并发读写同一个文件时,通过字节粒度锁机制,保证文件一致性,大幅提高多客户端读写同一文件的性能。

在AI应用领域,天翼云HPFS支持万亿参数大模型,助力客户构建高速大模型训练平台,根据不同AI业务流程特点,灵活调用存储服务能力,满足数据预处理、训练、仿真等数据存储能力的要求,并大幅提升训练数据读取和checkpoint回写速度,降低企业AI训练成本投入,加速模型迭代。

未来,天翼云将继续加大数据存储产品技术创新,以扎实的数据存储能力,为客户打造高性能存储底座,持续推动技术创新与产业协同发展,为构建安全、高效的数据基础设施贡献力量。

标签:存储,场景,天翼云,AI,HPFS,一臂之力,数据
From: https://www.cnblogs.com/developer-tianyiyun/p/18361079

相关文章

  • 亮相2024 DPU&AI Networking创新大会,天翼云斩获两项大奖!
    近日,以“智驱网络芯动未来”为主题的2024DPU&AINetworking创新大会在北京举办。大会表彰了在DPU与AI网络技术创新及实践应用中取得卓越成就的单位与项目,天翼云科技有限公司荣膺创新引擎奖、《紫金DPU算力卸载与网络加速应用》荣获实践先锋奖,技术创新实力以及应用实践成果再获行......
  • Forrester Wave™报告:天翼云三项产品能力获评最高分!
    8月5日,国际权威研究机构Forrester发布了《ForresterWave™:中国公有云平台厂商评测,2024Q3》报告。中国电信天翼云凭借前瞻性的发展战略和领先的产品能力,跻身行业头部玩家阵营。同时,中国电信天翼云在数据治理服务、网络和内容交付服务、先进通讯和区块链服务三项产品能力均获得了......
  • 一招致胜!天翼云对象存储攻克数据存、管、用难题!
    云计算、人工智能等信息技术的发展及应用,带来数据的爆发式增长,这不仅对存储系统的容量、性能、可靠性等提出了挑战,也推动了存储技术的不断创新。对象存储是一种将数据作为对象进行管理的网络存储架构,能够为用户提供可大规模扩展且经济高效的存储方案,其应用已逐渐深入到政务、金融......
  • 行业标准引领者!天翼云助推智算领域规范化发展!
    7月24日,2024可信云大会召开期间,智算云服务论坛上,天翼云荣获中国信通院颁发的“智算工程平台能力要求标准参编证书”,代表了业界对天翼云在推动行业标准制定中所作贡献及成果的重要肯定,以及对天翼云技术创新水平的高度认可。会上,天翼云科技有限公司智算产品线资深技术专家瞿龙发表演......
  • “分离”“聚合”两手抓,天翼云聚合计算赋能多元化应用场景!
    随着大数据、人工智能和高性能计算的迅猛发展,在大数据分析、基因测序、芯片设计、数据库和AI训练等“大计算”应用场景中,计算资源需求呈现爆发式增长态势,而传统的计算架构在资源利用率、扩展性、IO性能等方面存在诸多挑战。为了应对这些挑战,天翼云提出全新的云计算基础设施产品理......
  • 安全可信 | 通过多项评估认证!天翼云与业界伙伴共谋云上安全发展!
    近日,由全球数字经济大会组委会主办,中国信息通信研究院(以下简称中国信通院)与中国通信标准化协会联合承办的2024全球数字经济大会云和软件安全论坛暨第二届SecGo云和软件安全大会在北京召开。本届论坛聚焦云和软件安全最新发展趋势,以“链接云端,可信而安”为主题,为产业界提供丰富多......
  • WAIC 2024盛大召开,天翼云以全栈智算能力赋能AI时代!
     7月5日,2024世界人工智能大会期间,中国电信星辰人工智能生态论坛在上海世博中心启幕。论坛以“星辰注智,焕新领航”为主题,围绕人工智能技术发展趋势,分享中国电信与产业各界在人工智能领域的创新与实践。天翼云科技有限公司董事长、总经理胡志强出席,并发表演讲《云智一体国云焕新......
  • 轻松选型,高效开发——业务开发集市助您一臂之力
    在当今这个日新月异的时代,高效开发已成为企业保持竞争力的关键。为了满足市场对高效、灵活开发工具的迫切需求,OceanMind海睿思推出业务开发集市。这款开发工具汇集了众多丰富的、高度可定制的控件和组件,以及灵活的模板选型功能,旨在帮助企业快速响应并满足多变的客户需求。通过......
  • 解放双手,让流程自动化软件助你一臂之力
    本文将介绍流程自动化软件/脚本/助手的用途,同时我也做个自我介绍: ......
  • “翼”鸣惊人,天翼云两篇论文被ACM ICPP 2024收录!
    *日,由天翼云科技有限公司弹性计算产品线天玑实验室撰写的两篇论文《PheCon:Fine-GrainedVMConsolidationwithNimbleResourceDefragmentationinPublicCloudPlatforms》及《Yggdrasil:ReducingNetworkI/OTaxwith(CXL-Based)DistributedSharedMemory》被ACMInte......