首页 > 其他分享 >数据持久性是如何炼成的——对象存储容灾技术解析

数据持久性是如何炼成的——对象存储容灾技术解析

时间:2024-12-18 15:12:24浏览次数:4  
标签:存储 版本控制 炼成 对象 持久性 容灾 AZ 数据

存储系统作为支撑人工智能发展的关键基础设施,不仅需要提供弹性、海量数据存储能力,还要保证数据的安全性和可靠性,以确保业务的核心数据资产得以持久存储,大模型时代对海量数据的安全可靠存储提出了更高的要求。
对象存储具有优秀的成本效益,丰富和卓越的数据安全保障措施,是构建云上企业级存储设施的首要选择。面对更高的数据安全要求,对象存储也提供了版本控制、跨地域复制、多AZ等多种数据容灾手段,帮助企业更好地保护和管理其数据资产。尤其是多AZ技术,能够将客户数据分散存储在城市中多个不同的数据中心,当某个数据中心因自然灾害、断电等极端情况导致整体故障时,仍能为客户提供稳定可靠的存储服务。这种架构提供了更高的冗余性和可用性,进一步确保业务能够持续访问所需的数据。在公有云上,可以根据业务容灾等级的需要,通过一种或者多种能力的组合,实现企业容灾要求。

版本控制

版本控制是一项关键的数据管理功能,它允许企业在腾讯云对象存储 COS 服务中保存和管理同一个文件的多个版本。这种机制为企业用户提供了强大的数据保护和恢复能力,确保了数据的安全性和可靠性。
当企业用户在存储桶中启用版本控制后,每次对同一个文件进行更新或替换时,对象存储 COS都会自动创建并保存一个新的版本,同时保留旧版本的文件。这意味着即使最新的版本因误操作或系统故障而被删除或损坏,企业用户仍然可以从历史版本中轻松恢复数据
此外,版本控制还引入了“删除标记”的概念。当用户删除一个对象时,COS并不会立即从存储桶中彻底移除该对象,而是为其创建一个带有删除标记的新版本。这个删除标记可以被视作一个软删除操作,使得被删除的对象在一定时间内仍然可以被恢复。这种设计进一步增强了数据的安全性,防止了因误删除而导致的数据永久丢失。

除了提供数据恢复的能力外,版本控制还允许企业用户对存储桶中的对象进行精细化的管理和控制。用户可以根据版本ID查询、列出和删除特定的对象版本,从而实现对数据的灵活管理。这种灵活性使得企业用户能够在不影响其他版本的情况下,轻松地处理和归档旧版本的数据。
版本控制为企业用户提供了一种可靠且灵活的数据管理解决方案。通过自动保存对象的历史版本和引入删除标记机制,版本控制有效地保障了企业数据的安全性和可恢复性。这使得企业在面对意外情况时能够迅速作出反应,最大限度地减少数据损失和业务中断的风险。

跨地域复制

跨地域复制能力可以将业务的增量数据跨地域同步。用户上传的数据,根据其文件大小和地域距离远近,可以在几秒到几十分钟内拷贝到另一地域的存储桶中。基于跨地域复制,可以实现数据的异地冗余备份,从而实现业务容灾。
企业可以通过配置跨地域复制能力构建业务层面的高可用架构,在高可用架构中,除了数据的异地容灾存储之外,还可以结合客户端的容灾切换能力,实现故障容灾的能力。比如在如下的高可用架构中:

  1. 正常情况下,企业的主写请求链路均指向存储桶 A,所有增量数据将被自动同步复制到存储桶 B 中作为备份数据。
  2. 当主存储桶 A 的链路不通时(例如拨测质量下降或者检测到上传失败),则客户端可以将写请求链路切换至主存储桶 B,此时所有增量数据同样将被自动同步复制到存储桶 A 中。
  3. 企业用户还可以选择在自有源站先备份一份冗余数据,同时给存储桶 B 配置回源策略。假设在极端情况下,主存储桶 A 和 B 链路都同时无法连通,那么在上传数据到存储桶 B 失败的情况下,存储桶 B 可以从源站拉取数据。
  4. 如果业务涉及到外网分发,还可以搭配 CDN 的主备容灾能力实现自动容灾切换,在存储桶 A 故障的时候,将业务的回源链路切换到存储 B 上。

多AZ存储

多 AZ(Multiple Availability Zones)是由腾讯云对象存储推出的多 AZ 存储架构,该架构将客户数据分散存储在城市中多个不同的数据中心,当某个数据中心因自然灾害、断电等极端情况导致整体故障时,仍能为客户提供稳定可靠的存储服务。
对于多 AZ 存储,COS 存储引擎部署在3个环境独立的 AZ 上。用户上传的数据将被切片存储在3个 AZ 的多个节点中。基于 EC 纠删码算法,原始数据会被切分为 N 个数据块,再由算法生成 M 个校验块,由此产生了多个存储分块。COS 将这些存储分块打散分布在3个 AZ 的不同机架服务器上,就实现了多 AZ 存储。

当机房故障导致部分节点、可用区损坏时,部分分块不可用,多 AZ 存储仍可以利用备 AZ 其他分块保证用户读、写数据成功,确保客户业务连续不中断。

相比单 AZ 存储,多 AZ 存储具有以下优势:
同城容灾:提供跨数据中心的容灾。多 AZ 存储架构下,对象数据会被存储在同个地域不同数据中心的不同设备中。当一个数据中心出现故障时,冗余数据中心保持可用,用户业务不受影响,数据不丢失。
稳定持久:采用纠删码冗余存储的方式,提供了高达99.9999999999%的数据设计可靠性;数据分块存储,并发读写,提供高达99.995%的服务设计可用性。
便捷易用:通过对象存储类型指定您的数据存储于何种存储架构,您可以指定存储桶内的任意对象存储到多 AZ 架构中,让使用更为简单。

标签:存储,版本控制,炼成,对象,持久性,容灾,AZ,数据
From: https://www.cnblogs.com/cloudstorageangel/p/18614987

相关文章

  • HLOB:限价订单簿中的信息持久性和结构
    https://zhuanlan.zhihu.com/p/718659516本文介绍了一个名为HLOB的新型大规模深度学习模型,用于预测限价订单簿中间价格的变化。该模型利用信息过滤网络(特别是三角最大化过滤图)来揭示订单簿中不同成交量水平间的深层和非平凡依赖结构,并通过同调卷积神经网络的设计选择来处理系统的......
  • 贴砖(即铺设大瓷砖)是一项常见的建筑施工工作,涉及到墙面和地面的装饰。为了保证施工质量
    贴砖(即铺设瓷砖)是一项常见的建筑施工工作,涉及到墙面和地面的装饰。为了保证施工质量和持久性,必须遵守相应的施工规范。以下是贴砖施工的一些基本规范,涵盖了操作步骤、材料要求以及质量控制等方面。1. 施工准备工具准备:常用工具包括水平尺、橡皮锤、钢丝刷、铲刀、砖刀、电动搅......
  • 面经自测——MySQL联合索引/事务的四大特性/持久性怎么做/说一下MySQL日志
    前言本文是作者专门用来自测Java后端相关面试题的,所有问题都是在牛客、知识星球或网上找到的最近最新的面试题,全文回答都是作者按自己的真实水平仿照真实环境的回答,所以答案不一定真实(但回答一定真诚......
  • 【安全运维】容灾演练体系构建与业务实践
    灾备演练就是通过假设某种灾难场景,主动进行应急演练,验证灾备系统的灾难恢复预案是否合理,是否能够达到项目初期期望的灾备效果的过程。通常,灾备系统的建设会参考各自业务系统要求、预算等因素而不同,最后建成的灾备系统大致分为三种:数据级、应用级、业务级。这三种级别的灾备系统具......
  • 演说高手的炼成:大道至简,动之以情——演说领域经典《演说之禅》来了!
    欢迎关注博主Mindtechnist或加入【智能科技社区】一起学习和分享Linux、C、C++、Python、Matlab,机器人运动控制、多机器人协作,智能优化算法,滤波估计、多传感器信息融合,机器学习,人工智能等相关领域的知识和技术。关注公粽号《机器和智能》回复关键词“python项目实战......
  • 年薪50万稀缺K8s人才,如何炼成?
    最近几年,容器、微服务、DevOps、持续交付等关键词频频出现而随着概念与技术的普及,越来越多企业开始向云原生迁移。作为当下最为火爆的技术之一,云原生已经成为提升云计算使用效能,推动企业深度上云、用云的关键支撑,成为打造数字经济发展新动能的重要保障。中国信息通讯研究院的调研信......
  • 阿里通义多模态大模型mPLUG-Owl3是怎么炼成的?
    关注公众号:青稞AI,第一时间了解最新AI技术......
  • openGauss-资源池化主备双集群容灾
    openGauss-资源池化主备双集群容灾特性简介本特性实现主备双集群的xlog日志同步,保证主备双集群的xlog一致性,从而增强主备双集群的容灾能力,降低存储空间,并保证主备集群内节点切换、主备集群间切换功能正常。本特性分为两种模式:基于网络的流复制模式:资源池化网络双集群部署......
  • openGauss-两地三中心跨Region容灾
    openGauss-两地三中心跨Region容灾可获得性本特性自openGauss3.1.0版本开始引入。特性简介openGauss3.1.0支持两地三中心跨Region容灾。客户价值业务需要底层数据库提供跨地域的容灾能力,来保证极端灾难情况下数据的安全和可用性。特性描述金融、银行业对数据的安全有着......
  • 聊聊如何利用ingress-nginx实现应用层容灾
    前言容灾是一种主动的风险管理策略,旨在通过构建和维护异地的冗余系统,确保在面临灾难性事件时,关键业务能够持续运作,数据能够得到保护,从而最大限度地减少对组织运营的影响和潜在经济损失。因此容灾的重要性不言而喻,今天的话题主要是聊下如何利用ingress-nginx实现应用层容灾应用层......