首页 > 其他分享 >数据存储“取经路”,HBlock轻松“渡”!

数据存储“取经路”,HBlock轻松“渡”!

时间:2024-08-29 17:04:58浏览次数:4  
标签:存储 缓存 HBlock 天翼云 取经 索引 数据

近日,天翼云联合权威科技媒体InfoQ举办了以“新存储,更轻量”为主题的线上技术分享会。天翼云存储产品线总监武志民讲解了HBlock的创新设计和技术。

高性能·高可用·高可靠

自研创新解决存储技术难题 

天翼云自主研发的业内首款存储资源盘活系统HBlock能够与底层基础设施完全解耦,同服务器上现网业务并存,将x86、ARM、龙芯等异构通用服务器中的存储资源统一管理,通过标准的iSCSI协议提供分布式块存储服务。

在性能方面,HBlock单卷IOPS可达15万次、读写延迟小于200微秒,这要归功于自研的分布式多控架构和智能调度算法,以及多模式写缓存与读缓存的设计。写缓存方面,HBlock具有三种模式,可以根据不同场景的读写需求动态调整。读缓存方面,HBlock采用按需更新、分段加锁、高效淘汰算法和智能预读器等多重机制,提升内存利用率、提高缓存命中率,并优化高并发场景下的数据访问性能。

HBlock的缓存设计

HBlock通过多重机制确保高可用性:采用一主多备架构,无需外部时钟服务器,实现秒级故障切换,保证数据一致性和无丢失;优化写入速度,在存储紧张时平滑降速,避免业务中断,并通过限速管理内存和重构操作,确保在高负载下稳定运行。

HBlock独创的副本折叠技术允许在一个故障域放多个副本来提高小规模集群的数据高可靠性。例如,只有三个故障域时,可以每个故障域放置两个副本,将EC2+1扩展为EC4+2,得盘率不变的情况下显著提升数据的容错能力,在扩容时,HBlock可智能调整数据分布,以最大化故障域的利用。

HBlock的副本折叠设计

HBlock通过创新设计,全面解决了存储系统中的种种难题,真正实现了“高性能·高可用·高可靠”的卓越存储解决方案。

低门槛·巧分配·超灵活

轻量设计定义存储未来形态

HBlock使用门槛极低,安装包只有170MB左右,1核4GB内存即可部署,可安装在任何主流Linux操作系统上,3个命令即可完成安装,3分钟建立数据中心级别集群,轻松发挥硬件资源的全部潜力。

HBlock的独特的存储引擎设计,可将元数据和数据分配到最佳位置,实现系统轻量化。

 

HBlock多级元数据管理

首先,HBlock设计了一级索引(记录iSCSI卷逻辑地址与数据位置)、二级索引(汇总一级索引,提高查询效率)和三级索引(记录集群内数据分布,缓存中存储,快速定位数据)的多级索引架构。其次,索引缓存机制优化了数据访问,通过逐级访问减少对元数据服务的依赖。第三,元数据持久化采用与数据相同的保护方式,确保数据和索引的容错能力。最后,HBlock支持轻量化混合部署,仅需三个节点即可完成元数据、iSCSI和数据服务的部署,充分利用硬件资源。

HBlock灵活的多存储池功能可以充分发挥硬件潜力,可统一管理不同规格的硬件设备,根据性能和容量创建多种存储池,例如SSD高性能池和HDD容量池,也可创建跨节点高速缓存池,提高资源共享效率。

HBlock将轻量化与高效能相结合,彻底革新了存储的部署和管理方式,重新定义了未来存储系统的形态。

HBlock凭借卓越的创新设计和技术实现,不仅解决了存储系统中的性能、可用性和可靠性难题,更开创了存储新纪元,重新定义了分布式存储的未来形态。未来,HBlock将持续推动行业进步,为各行各业的数字化转型注入动力,释放数据的巨大潜能,为创新应用场景的实现提供坚实基础,助力企业开启更广阔的数字化发展新篇章。

天翼云HBlock众测活动火热进行中

为了让“轻量存储”走进更多企业,InfoQ和天翼云联合举办“HBlock有奖众测活动”,欢迎广大存储Geek踊跃报名,深度体验轻量存储带来的不一样,将使用心得发布在InfoQ写作社区,即可参与评选并获得丰厚礼品!

 

 

标签:存储,缓存,HBlock,天翼云,取经,索引,数据
From: https://www.cnblogs.com/developer-tianyiyun/p/18387066

相关文章

  • CUDA编程结构、存储管理、线程管理杂谈
    CUDA编程结构、存储管理、线程管理杂谈CUDA编程结构一个异构环境,通常有多个CPU多个GPU,他们都通过PCIe总线相互通信,也是通过PCIe总线分隔开的。所以要区分一下两种设备的内存:1)主机:CPU及其内存2)设备:GPU及其内存这两个内存从硬件到软件都是隔离的(CUDA6.0以后支持统一寻址),目前先......
  • Android经典实战之存储方案对比:SharedPreferences vs MMKV vs DataStore
    本文首发于公众号“AntDream”,欢迎微信搜索“AntDream”或扫描文章底部二维码关注,和我一起每天进步一点点在Android开发中,键值对存储(Key-ValueStorage)是一种经常用到的轻量级数据存储方案。它主要用于保存一些简单的配置数据或状态信息,例如用户设置、缓存数据等。常......
  • Android开发 - “效验和”效验数据在传输或存储过程中是否出错解析
    校验和的基本原理校验和的基本原理非常简单,就是把一组数据中的所有字节(或者其他单位)的数值相加,然后得到一个总和,这个总和就是所谓的“校验和”。在传输数据时,发送方会把数据和校验和一起发送出去;接收方收到数据后,也会计算一次校验和,然后与发送方提供的校验和进行比较。如果两个......
  • 《第三十章 性能优化 - 存储优化》
    一、引言在Android应用开发中,性能优化是一个持续且重要的工作。存储优化作为性能优化的关键环节之一,对于提高应用的响应速度、节省资源以及提升用户体验具有重要意义。在本章中,我们将重点探讨数据库优化和缓存策略这两个主要知识点。二、数据库优化(一)合理设计数据库表......
  • 数据的存储3(第三十二天)
    1.整形在内存中的存储(补充)原码,反码,补码的概念(1)正数的原码,反码,补码相同 (2)对于整数来说:数据存放内存中其实存放的就是补码2.浮点型的存储!!!!整数和浮点数在内存中的存储一定是有区别的!!!!浮点数的存储浮点数的表示规则  ......
  • hadoop生态圈(二)-zookeeper(分布式小文件存储系统)
    目录zookeeper特性集群角色zookeepershell创建节点读取节点更新节点删除节点对节点增加限制其他命令 zookeeper数据模型数据结构图节点类型节点属性监听机制Watch机制特点zookeeper特性全局数据一致:集群中每个服务器保存一份相同的数据副本,client无论连......
  • 持久化存储
    在Kubernetes中,Pod的存储通常通过Volume对象来管理。Volume提供了一种在Pod生命周期内持久化数据的机制,并且可以跨容器共享。以下是对KubernetesVolume的详细介绍,包括各种Volume类型和它们的用途:一、Volume基本概念Volume:KubernetesVolume是一种在Pod中共享......
  • 存储过程能拯救你的LJ代码吗?
    MySQL存储过程是一种在数据库中存储并编译好的SQL脚本,它允许用户创建复杂的操作和逻辑控制结构。存储过程可以接受输入参数,并且可以返回输出参数或结果集。它们可以在数据库服务器上执行,从而减少网络流量,并提高性能(弊端:增加数据库服务器压力)。此外,存储过程还可以帮助确保......
  • 【VMware VCF】VCF 5.2:挂载远程 vSAN 数据存储。
    VMwarevSAN解决方案中,为了充分利用vSANHCI集群内的存储资源,vSANHCI和vSANHCI集群之间可以相互共享存储资源,这种解决方案早期叫vSANHCIMesh,现在被称为具有数据存储共享的vSANHCI(vSANHCIwithdatastoresharing)。VMwarevSAN集群根据主机磁盘的组成方式分为Orig......
  • 自建 NFS 服务器实现 Kubernetes 持久化存储
    1.简介在Kubernetes集群中,持久化存储是一个非常重要的组件。它允许我们保存需要长期保留的数据,即使Pod被删除或重新调度,这些数据也不会丢失。网络文件系统(NFS)是一种简单、可靠且广泛使用的存储解决方案。本文将详细介绍如何在CentOS7系统上搭建NFS服务器,并......