首页 > 其他分享 >RGW多站点同步策略配置

RGW多站点同步策略配置

时间:2022-10-11 15:45:29浏览次数:55  
标签:存储 同步 group RGW -- us 站点 east id

多站点存储桶粒度同步策略提供对不同区域中存储桶之间数据移动的细粒度控制。

在同步策略中,可以定义多个包含数据流配置列表的组,以及管道配置列表。

数据流定义了不同区域之间的数据流。 它可以定义对称数据流,其中多个区域相互同步数据,它可以定义定向数据流,其中数据以一种方式从一个区域移动到另一个区域。

管道定义了可以使用这些数据流的实际存储桶,以及与之关联的属性(例如:源对象前缀)。 

同步策略组可以处于 3 种状态: 

enabled:允许并启用同步
allowed:允许同步
forbidden:同步(由该组定义)不是 允许并且可以覆盖其他组

可以在存储桶级别定义策略。存储桶级同步策略继承了 zonegroup 策略的数据流,并且只能定义 zonegroup 允许的内容的一个子集。

重要:对 zonegroup 策略的任何更改都需要应用于 zonegroup 主区域,并且需要周期更新和提交。改变存储桶策略需要在 zonegroup master 区域上应用。更改由 rgw 动态处理。

S3 存储桶复制 API 也已实现,允许用户在不同存储桶之间创建复制规则。请注意,虽然 AWS 复制功能允许在同一区域内进行存储桶复制,但 rgw 目前不允许这样做。
但是,rgw api 还添加了一个新的“区域”数组,允许用户选择特定存储桶将同步到哪些区域。

示例 1:两个区域,完整镜像

这类似于旧的(pre Octopus) 同步功能,但通过新的同步策略引擎完成。请注意,对 zonegroup 同步策略的更改需要定期更新和提交。 

[us-east] $ radosgw-admin sync group create --group-id=group1 --status=allowed
[us-east] $ radosgw-admin sync group flow create --group-id=group1 \
                          --flow-id=flow-mirror --flow-type=symmetrical \
                          --zones=us-east,us-west
[us-east] $ radosgw-admin sync group pipe create --group-id=group1 \
                          --pipe-id=pipe1 --source-zones='*' \
                          --source-bucket='*' --dest-zones='*' \
                          --dest-bucket='*'
[us-east] $ radosgw-admin sync group modify --group-id=group1 --status=enabled
[us-east] $ radosgw-admin period update --commit

$ radosgw-admin sync info --bucket=buck
{
    "sources": [
        {
            "id": "pipe1",
            "source": {
                "zone": "us-west",
                "bucket": "buck:115b12b3-....4409.1"
            },
            "dest": {
                "zone": "us-east",
                "bucket": "buck:115b12b3-....4409.1"
            },
            "params": {
...
            }
        }
    ],
    "dests": [
        {
            "id": "pipe1",
            "source": {
                "zone": "us-east",
                "bucket": "buck:115b12b3-....4409.1"
            },
            "dest": {
                "zone": "us-west",
                "bucket": "buck:115b12b3-....4409.1"
            },
           ...
        }
    ],
    ...
    }
}

示例 2:镜像特定存储桶

使用相同的组配置,但这次将其切换到 allowed state,表示允许同步但未启用。

[us-east] $ radosgw-admin sync group modify --group-id=group1 --status=allowed
[us-east] $ radosgw-admin period update --commit

下面将为现有的存储桶创建存储桶级别的策略规则 buck2。
请注意,存储桶需要存在才能设置此策略,并且修改存储桶策略的管理命令需要在主区域上运行,但是它们不需要周期更新。

无需更改数据流,因为它是从 zonegroup 策略继承的。存储桶策略流将只是区域组策略中定义的流的子集。

管道也是如此,尽管存储桶策略可以启用在 zonegroup 策略中未启用(尽管不是禁止)的管道。

[us-east] $ radosgw-admin sync group create --bucket=buck2 \
                          --group-id=buck2-default --status=enabled

[us-east] $ radosgw-admin sync group pipe create --bucket=buck2 \
                          --group-id=buck2-default --pipe-id=pipe1 \
                          --source-zones='*' --dest-zones='*'

标签:存储,同步,group,RGW,--,us,站点,east,id
From: https://www.cnblogs.com/varden/p/16779444.html

相关文章

  • 深入理解并发编程同步工具类
    大家好,我是陶朱公Boy。今天跟大家分享一个并发编程领域中的一个知识点——同步工具类。我将结合一个真实线上案例作为背景来展开讲解这一知识点。给大家讲清楚什么是同步......
  • 基于git的tomcat站点打增量包shell脚本
    #!/bin/sh#获取git中两版本间发生变动的文件列表(区间前$1开后$2闭)git_files=($(gitlog--pretty=format:""--name-only"$1..$2"))#待打包文件列表(空格分割)res_f......
  • RedisShake迁移同步工具
    阿里开源项目地址:https://github.com/alibaba/RedisShake程序下载地址:https://github.com/alibaba/RedisShake/releases下载最新程序,里面包含了配置文件https://gith......
  • C++多线程同步技巧(二) ---事件
    简介Windows在线程控制方面提供了多种信号处理机制,其中一种便是使用CreateEvent()函数创建事件,然后使用信号控制线程运行。其中将事件变为有信号可使用SetEvent()函数,将......
  • 同步时间ntpdate
    ntpdate-untp.api.bz ntp常用服务器:中国国家授时中心:210.72.145.44NTP服务器(上海):ntp.api.bz美国:time.nist.gov复旦:ntp.fudan.edu.cn微软公司授时主机(......
  • 永磁同步电机的原理介绍
         永磁同步电机(PMSM)基本结构为定子、转子和端盖。其中转子磁路结构是永磁同步电机(PMSM)与其它电机最主要的区别,其在很大程度上决定了永磁同步电机(PMSM)的实际性能......
  • VS Code支持配置远程同步了
    公众号ID|ComputerVisionGzq​论文地址:https://arxiv.org/pdf/2206.02647.pdf计算机视觉研究院专栏作者:Edison_G【VSCode支持配置远程同步了......
  • 校园网络时钟系统(标准化考场时钟同步)技术实施方案
    校园网络时钟系统(标准化考场时钟同步)技术实施方案校园网络时钟系统(标准化考场时钟同步)技术实施方案京准电子科技官微——ahjzsz 【摘要】时钟系统是一个大型标准计时系......
  • canal全量同步到ES
     参考文档:https://blog.csdn.net/zlt2000/article/details/115291950一、ETL接口adapter 的 ETL 接口为:/etl/{type}/{task}默认web端口为 8081type 为类型(hba......
  • 2K 12|20倍HDMI\SDi\ip\Usb3.0全接口音视频同步输出会议摄像机
    一款支持1920*1080P(2K)会议PTZ摄像机,广播级图像,12倍和20倍智能变焦镜头可选,支持全接口音视频同步输出:SDI\HDMI\IP\USB3.0,最高支持1920×1080P/60Fps,250个精准预设位。在取多......