首页 > 其他分享 >openGauss-反向迁移gs_replicate

openGauss-反向迁移gs_replicate

时间:2024-08-30 08:56:07浏览次数:8  
标签:逻辑 gs 复制 replicate 反向 openGauss 迁移

openGauss- 反向迁移gs_replicate

特性简介

支持openGauss的增量数据在线迁移至MySQL。

客户价值

反向迁移是指用户将源端数据库迁移到目标数据库,应用切到目标数据库后,再将目标端新产生的数据迁移回源端。反向迁移可满足用户业务迁移逃生的诉求,保持源端、目标端两个库并行运行,在目标端数据库出问题后应用能及时切回源端数据库。

特性描述

debezium opengauss connector的source端,监控openGauss的xlog日志,并将数据的DML操作以AVRO格式写入到kafka;

debezium opengauss connector的sink端,从kafka读取AVRO格式的数据,在mysql端按表并行回放,从而完成数据的DML操作从openGauss在线迁移至mysql。

特性增强

  • 反向迁移支持迁移进度与回放失败的SQL语句实时上报。
  • 反向迁移支持断点续传功能,可满足工具中断重启后数据持续迁移,中断期间的增量数据不遗漏。
  • 反向迁移支持jdbc超时重连机制,可在jdbc断连后自动重连,用户无感知。
  • 反向迁移支持用户自定义是否在迁移结束后保留逻辑复制槽,若保留逻辑复制槽则可实现断点续传功能。
  • 反向迁移增加流量控制能力,可在迁移大批量增量数据时触发流量控制,防止系统崩溃。

特性约束

  1. 日志级别的guc参数wal_level = logical。
  2. 仅限能进行逻辑复制的用户进行操作。
  3. 不支持DDL操作迁移。
  4. 在需要ssl连接的场景,需要前置条件保证guc参数ssl = on。
  5. 不允许多个库使用同一个逻辑复制槽。
  6. 禁止在使用逻辑复制槽时在其他节点对该复制槽进行操作,可通过参数slot.drop.on.stop控制是否在工具退出时删除逻辑复制槽。

依赖关系

依赖逻辑复制与发布订阅。

参考文档

开源社区地址:gs_rep_portal

详细参考文档: README.md

反向迁移社区地址:gs_replicate

详细参考文档: README.md

详情查看:https://opengauss.org

详情查看:https://docs-opengauss.osinfra.cn

标签:逻辑,gs,复制,replicate,反向,openGauss,迁移
From: https://www.cnblogs.com/xiaoxu0211/p/18387880

相关文章

  • openGauss-反向全量迁移
    openGauss-反向全量迁移特性简介本特性自openGauss5.1.0版本开始引入,支持openGauss的全量数据迁移至MySQL。客户价值反向迁移可满足用户业务迁移逃生的诉求。实现openGauss数据库全量数据迁移至MySQL数据库,可最大程度保持兼容性。特性描述debeziumopengaussconnector的s......
  • openGauss-大页内存
    openGauss-大页内存可获得性本特性自openGauss5.1.0版本开始引入。特性简介通过操作系统大页内存的使用,优化数据库的共享内存,提升在大内存环境下数据库的性能表现。客户价值提升客户在大内存生产环境下数据库的性能表现。特性描述操作系统页表所需空间会随着运行环境总......
  • openGauss-动态数据脱敏机制
    openGauss-动态数据脱敏机制可获得性本特性自openGauss1.1.0版本开始引入。特性简介数据脱敏是行之有效的数据库隐私保护方案之一,可以在一定程度上限制非授权用户对隐私数据的窥探。动态数据脱敏机制是一种通过定制化制定脱敏策略从而实现对隐私数据保护的一种技术,可以有效......
  • TPS62000DGS电源管理芯片中文资料PDF数据手册引脚图产品参数特性
    TPS62000的说明TPS6200x器件是低噪声同步降压直流/直流转换器系列非常适合由1节锂离子电池或2至3节电池供电的系统镍镉、镍氢或碱性电池。TPS6200x的典型输入电压低至1.8V。指定的最小输入电压为2V。该TPS62000可在–40°C至85°C的自由空气温度范围内工......
  • gstreamer教程(8)——构建应用之Pad和Pad的能力集
    Pad和能力集:正如我们在 Elements 中看到的那样,pad是Element与外部世界的接口。数据从一个Element的sourcepad流向另一个Element的sinkpad。元素可以处理的媒体类型都是通过pad的能力集公布的。我们将在本章后面详细讨论功能(参见 pad的功能)。Pad:pad类......
  • gstreamer教程(7)——构建应用之Bus的使用
    Bus总线:bus总线是一个简单的系统,它负责将消息从流线程转发到其自己的线程上下文中的应用程序。总线的优点是,即使GStreamer本身是大量线程的,应用程序也不需要线程感知即可使用GStreamer。默认情况下,每个pipeline管道都包含一条bus总线,因此应用程序不需要创建总......
  • gstreamer教程(6)——构建应用之Bin的使用
    Bin:bin是一个容器元素。您可以将element元素添加到bin中。由于bin本身就是一个元素,因此bin可以像任何其他元素一样处理。因此,上一章(element)的操作也适用于bin。什么是bin:bin允许您将一组链接起来的元素合并为一个逻辑元素。您不再处理每一个元素,而只处理一......
  • openGauss-外键锁增强
    openGauss-外键锁增强可获得性本特性自openGauss3.0.0版本开始引入。特性简介新增两类行锁,由share和update锁扩展到keyshare、share、nokeyupdate和update。非主键的更新获取的是nokeyupdate锁,外键触发器获取的行锁为keyshare锁,这两种类型的锁互不冲突,以此提升了外键......
  • openGauss-数据校验gs_datacheck
    openGauss-数据校验gs_datacheck可获得性本特性自openGauss3.0.0版本开始引入。特性简介gs_datacheck工具是一个基于JDK11+Springboot2.6.7框架实现openGauss/MySQL之间的同构与异构之间的数据校验。该工具提供了全量数据的校验以及增量数据的实时校验能力,可实现数据一......
  • openGauss-索引推荐
    openGauss-索引推荐可获得性本特性自openGauss1.1.0开始引入。特性简介本功能是一个覆盖多种任务级别和使用场景的数据库智能索引推荐工具,其具备单Query索引推荐功能、虚拟索引功能、workload级别索引推荐功能,可以为用户提供可靠的索引建议。客户价值为客户提供快速可靠的......