首页 > 其他分享 >天翼云存储资源盘活系统HBlock,全面释放企业数据价值

天翼云存储资源盘活系统HBlock,全面释放企业数据价值

时间:2023-09-14 20:13:24浏览次数:40  
标签:存储 HBlock 天翼云 读写 存储资源 性能

9月6日,天翼云与科技媒体InfoQ联合举办的以“存储难题新解法,揭秘极/致易用的HBlock”为主题的线上技术分享会圆满落幕。天翼云国际业务事业部研发专家武志民与存储产品线总监魏玮以“天翼云存储资源盘活系统 HBlock,深挖独创技术亮点与实战演练”为主题,分享了HBlock在安装部署、数据可靠性和安全性保障、混沌测试与性能分析等内容。

安装部署超易用,打造企业数据存储底座 

随着数字经济的蓬勃发展,数据作为核心生产要素,已成为数字经济发展的重要基石。与此同时,数据规模持续爆炸性增长,数据类型不断丰富,企业对数据处理与分析速度要求越来越高,带来了一系列存储的新挑战。

尽管市场上的分布式存储产品和解决方案层出不穷,但如何提高企业存储资源利用率,同时满足安全可靠、高性能、方便易用、降本增效等需求并不容易。在天翼云最新发布的存储资源盘活系统HBlock中,我们看到了分布式存储的全新“解题思路”。

作为天翼云自主研发的业内第一款全用户态的软件定义存储产品,HBlock采用极简设计模式,相比于传统存储存在建设周期长、安装部署复杂、扩容难等问题,HBlock安装包只有170MB左右,可安装在任何主流Linux操作系统上,不依赖于NTP服务器,3个命令行完成安装部署,3分钟即可建立数据中心级别集群,大幅降低安装部署门槛,同时可以按需扩容,为用户带来极佳的使用体验。

与传统存储软硬一体的模式不同,HBlock对底层基础设施完全解耦,可以适配存量异构服务器环境,解决了硬件兼容性问题,可将X86、ARM、龙芯等不同架构服务器上的存储资源进行统一管理,转换成高性能的虚拟存储阵列,通过标准iSCSI协议提供分布式块存储服务。

高可用技术架构,保障企业数据安全 

通常,人们认为传统集中式存储的软硬件结合模式才具有极高的可用性,HBlock用出色的技术架构在纯软件上实现了令人刮目相看的高可用性。HBlock基于MPIO的“一主多备”方案,故障场景下支持数据链路自动切换,集群中所有服务都采用冗余模式部署,数据处理过程不依赖任何时钟服务器,使用天翼云自研的分布式租约和心跳机制进行主备切换,从发生故障到故障发现,再到完成服务接管,整个过程几秒内就能完成。在切换过程中,分布式多控制器保证了两个缓存之间的数据是强一致的,确保数据不丢失。

针对不同容量、不同性能表现、不同负载的节点及磁盘组成的集群,数据应当如何分布,由HBlock的多因子权重算法来决定:针对空间总量、使用量、使用率的空间因子;针对读写并发数、内存、磁盘负载的负载因子;针对时延、带宽的网络因子。三种因子通过综合计算得出总体权重,用来确定数据存放的节点或磁盘,充分发挥各个部件的性能,同时可避免性能差、负载高的节点及磁盘成为性能瓶颈。

HBlock还通过灵活的QoS(Quality of Service,服务质量)特性来保障读写的服务质量。在空间和内存紧张时,会触发一个平滑的降速,同时在管理侧通过告警、系统事件、发邮件等方式通知管理员人为干预,这样可以避免存储资源耗尽导致业务突然中断的问题。HBlock具有读写分离控制的机制,对于不同的资源,降速的请求是不一样的,空间紧张时降低写速度,内存紧张时同时降低读写速度。扩容后,由多因子权重算法决策平衡方案,负载向新节点倾斜,可灵活配置业务优先或数据恢复优先策略,满足不同需求场景。

HBlock可以设置节点或磁盘级别的故障域,每个存储卷都可以选择纠删码或副本等不同的冗余方式。可以检测数据静默错误,保障数据完整性。另外,HBlock是面向混沌环境的设计的,在各种弱电(电源不稳定、时钟抖动、CPU降速)、弱盘(老化降速、读写失败)、弱网(网卡降速、丢包、错包)等情况下,通过分布式租约、实时感知故障、多因子空间分配、坏盘后快速重构等技术手段确保数据不丢。

高性能实战表现,激活企业数据潜力 

HBlock的存储性能表现优异,单卷IOPS可达15万次、读写延迟200微秒的性能表现完全能够胜任多种业务场景的性能需求,并支持1024节点弹性扩展和PB级存储资源池。HBlock之所有具有如此出色的性能,要归功于领先的分布式多控制器架构和智能调度算法,通过多模式写缓存与读缓存的设计来实现高性能。

HBlock具有WriteBack、WriteThrough、WriteAround三种写缓存模式,可以根据不同场景的读写需求来动态调整;同时,HBlock会根据网络距离和节点负载选择最合适的节点,将数据放在缓存中,避免对磁盘频繁的小IO操作,更好地发挥存储介质的性能。

通过与开源Ceph的对比测试发现,在1MB大IO、三副本读写的场景下,HBlock读带宽300多兆,写带宽350多兆,是Ceph的2倍以上。随机读、随机写的带宽也是Ceph的1倍以上。用4K小IO进行读写,HBlock性能表现有更突出的优势,单线程读写场景下HBlock的读、写、随机写性能均为是Ceph的3-5倍。即使是在32个并发的场景下,HBlock的性能也是Ceph的1-2倍。而EC更是HBlock的优势领域,用EC2+1模式代替三副本模式,HBlock的性能可以达到Ceph的5倍以上,在空间使用率方面,得盘率由33.3%翻倍,达到66.7%,可在提升性能的同时显著降低存储成本。

标签:存储,HBlock,天翼云,读写,存储资源,性能
From: https://www.cnblogs.com/developer-tianyiyun/p/17703332.html

相关文章

  • 数字先锋|天翼云赋能巨龙电机打造“智慧工厂”,让企业发展“新”中有“数”!
    制造业是立国之本、强国之基,决定了一个国家的综合实力和国际竞争力。数字技术作为加快制造业质量变革、效率变革、动力变革的关键技术,成为推动制造业提质增效、实现产业链现代化的重要力量。在此背景下,全国各地的制造业企业纷纷走上数字化转型之路,发力数实融合,进一步提高经济发展势......
  • 天翼云存储资源盘活系统HBlock,全面释放企业数据价值
    9月6日,天翼云与科技媒体InfoQ联合举办的以“存储难题新解法,揭秘极致易用的HBlock”为主题的线上技术分享会圆满落幕。天翼云国际业务事业部研发专家武志民与存储产品线总监魏玮以“天翼云存储资源盘活系统HBlock,深挖独创技术亮点与实战演练”为主题,分享了HBlock在安装部署、数据可......
  • 夯实金融云基础设施底座,天翼云助力金融行业释放发展新活力
    9月8日,2023IDC中国数字金融论坛(CFSC)在北京举办。论坛汇集银行、保险、证券、投资、互联网金融等行业嘉宾,深度探讨中国金融行业数字化转型领域的洞察与实践。天翼云科技有限公司金融行业资深架构师石大伟在会上分享了天翼云在金融云基础设施领域的技术升级与发展。(图片来源:2023......
  • 夯实金融云基础设施底座,天翼云助力金融行业释放发展新活力
    9月8日,2023IDC中国数字金融论坛(CFSC)在北京举办。论坛汇集银行、保险、证券、投资、互联网金融等行业嘉宾,深度探讨中国金融行业数字化转型领域的洞察与实践。天翼云科技有限公司金融行业资深架构师石大伟在会上分享了天翼云在金融云基础设施领域的技术升级与发展。(图片来源:2023IDC......
  • “国云入闽 数耀鹭岛”,中国电信天翼云创新助力数字福建新征程!
    8月18日,“国云入闽数耀鹭岛”2023云技术创新助力数字福建新征程论坛在福建厦门成功举办。厦门市政府部门领导、中国电信福建公司领导、各合作伙伴企业代表与天翼云共聚一堂,聚焦云计算、云边缘等技术创新,深度探讨产业数字化实践案例与发展趋势。活动现场举行“国云入闽 数耀鹭岛......
  • 数字先锋|携手九江市自然资源局,天翼云助力自然资源管理走向“智治”新路
    自然资源是一切生产和存在的源泉,也是人类赖以生存和发展的物质基础。在数字化浪潮的驱动下,我国印发了《自然资源部信息化建设总体方案》,明确提出到2025年,建成以自然资源“一张图”为基础的自然资源大数据体系,基本形成“数据驱动、精准治理”的自然资源监管决策机制,促进国土空间开......
  • 释放多云应用价值,天翼云打造一站式数据库多云管理平台
    近年来,各行业上云提速,企业使用多云已经成为新常态。中国信通院发布的《多云数据存储白皮书(2023)》显示,在国内,已经有近九成企业选择多云架构。与此同时,多云部署也衍生出跨云管理难、数据治理难、数据安全保护难等挑战。数据库产品作为云服务中数据管理的关键一环,对多云部署同样提出......
  • 斩获“年度突破成果”奖!天翼云构建强大AI算力基础,制胜人工智能新时代
    8月18-19日,2023中国算力大会在宁夏银川举办。在大会“年度突破成果”发布环节,中国电信天翼云《基于异构多云环境下的息壤算力调度应用实践》荣获2023中国算力大会“算力中国·年度突破成果”奖,天翼云算力分发网络平台“息壤”的智能高效算力调度能力再次获得权威认可。 与大会......
  • 共创共赢,天翼云携手用友打造商业创新一体化解决方案!
    8月18日,用友2023全球商业创新大会在上海拉开帷幕。本次大会以“数据驱动智能运营”为主题,汇聚众多商业领-袖,探讨主题化融合创新、全局数据治理、普及AI应用等热点话题。天翼云科技有限公司助理总经理宫梅霞受邀参加企业数智化生态峰会并发表演讲,讲述了天翼云与用友一直以来通过......
  • 多云时代!天翼云TeleDB以科技创新释放数据价值
    8月17日,在第14届中国数据库技术大会(DTCC2023)上,天翼云科技有限公司数据库首席技术官李跃森以《天翼云TeleDB持续创新之路》为题发表演讲,介绍了天翼云TeleDB数据库的发展历程、技术突破以及国产化能力。天翼云科技有限公司数据库首席技术官 李跃森十年磨一剑TeleDB数据库实现全面自......