首页 > 其他分享 >openGauss 反向迁移gs_replicate

openGauss 反向迁移gs_replicate

时间:2024-03-30 09:47:33浏览次数:21  
标签:逻辑 gs 复制 replicate 反向 openGauss 迁移

反向迁移gs_replicate

特性简介

支持openGauss的增量数据在线迁移至MySQL。

客户价值

反向迁移是指用户将源端数据库迁移到目标数据库,应用切到目标数据库后,再将目标端新产生的数据迁移回源端。反向迁移可满足用户业务迁移逃生的诉求,保持源端、目标端两个库并行运行,在目标端数据库出问题后应用能及时切回源端数据库。

特性描述

debezium opengauss connector的source端,监控openGauss的xlog日志,并将数据的DML操作以AVRO格式写入到kafka;

debezium opengauss connector的sink端,从kafka读取AVRO格式的数据,在mysql端按表并行回放,从而完成数据的DML操作从openGauss在线迁移至mysql。

特性增强

  • 反向迁移支持迁移进度与回放失败的SQL语句实时上报。
  • 反向迁移支持断点续传功能,可满足工具中断重启后数据持续迁移,中断期间的增量数据不遗漏。
  • 反向迁移支持jdbc超时重连机制,可在jdbc断连后自动重连,用户无感知。
  • 反向迁移支持用户自定义是否在迁移结束后保留逻辑复制槽,若保留逻辑复制槽则可实现断点续传功能。
  • 反向迁移增加流量控制能力,可在迁移大批量增量数据时触发流量控制,防止系统崩溃。

特性约束

  1. 日志级别的guc参数wal_level = logical。
  2. 仅限能进行逻辑复制的用户进行操作。
  3. 不支持DDL操作迁移。
  4. 在需要ssl连接的场景,需要前置条件保证guc参数ssl = on。
  5. 不允许多个库使用同一个逻辑复制槽。
  6. 禁止在使用逻辑复制槽时在其他节点对该复制槽进行操作,可通过参数slot.drop.on.stop控制是否在工具退出时删除逻辑复制槽。

依赖关系

依赖逻辑复制与发布订阅。

参考文档

开源社区地址:gs_rep_portal

详细参考文档: README.md

反向迁移社区地址:gs_replicate

详细参考文档: README.md

标签:逻辑,gs,复制,replicate,反向,openGauss,迁移
From: https://www.cnblogs.com/renxyz/p/18105043

相关文章

  • openGauss 备机增加删除
    备机增加删除可获得性本特性自openGauss2.0.0版本开始引入。特性简介支持新增和删除备节点。客户价值当主库的读取压力较大,或者用户想要提升数据库灾难恢复能力,需要新增备节点。当集群中的某些备节点发生故障无法短时间内进行修复时,为保证集群状态正常,用户可以先将故障节点......
  • openGauss 动态数据脱敏机制
    动态数据脱敏机制可获得性本特性自openGauss1.1.0版本开始引入。特性简介数据脱敏是行之有效的数据库隐私保护方案之一,可以在一定程度上限制非授权用户对隐私数据的窥探。动态数据脱敏机制是一种通过定制化制定脱敏策略从而实现对隐私数据保护的一种技术,可以有效地在保留原始......
  • openGauss 物理备份
    物理备份可获得性本特性自openGauss1.0.0版本开始引入。特性简介支持将整个数据库的数据以内部格式备份到指定的存储介质中。客户价值通过物理备份特性,可以达成以下目的:整个数据库的数据备份到可靠性更高的存储介质中,提升系统整体的可靠性。通过采用数据库内部的数据格......
  • openGauss 伪列ROWNUM
    伪列ROWNUM可获得性本特性自openGauss1.0.1版本开始引入。特性简介ROWNUM为查询出来的每一行记录生成一个序号,从1开始依次递增且不会重复。客户价值兼容Oracle特性,方便数据库迁移。与LIMIT特性类似,能够筛选出结果集的前n条记录。特性描述ROWNUM(伪列),用于对SQL查询中符......
  • openGauss 物化视图
    物化视图可获得性本特性自openGauss1.1.0版本开始引入。特性简介物化视图实际上就是一种特殊的物理表,物化视图是相对普通视图而言的。普通视图是虚拟表,应用的局限性较大,任何对视图的查询实际上都是转换为对SQL语句的查询,性能并没有实际上提高。而物化视图实际上就是存储SQL所......
  • openGauss 外键锁增强
    外键锁增强可获得性本特性自openGauss3.0.0版本开始引入。特性简介新增两类行锁,由share和update锁扩展到keyshare、share、nokeyupdate和update。非主键的更新获取的是nokeyupdate锁,外键触发器获取的行锁为keyshare锁,这两种类型的锁互不冲突,以此提升了外键锁的并发性。......
  • openGauss 网络通信安全
    网络通信安全可获得性本特性自openGauss1.1.0版本开始引入。特性简介为保护敏感数据在Internet上传输的安全性,openGauss支持通过SSL加密客户端和服务器之间的通讯。客户价值保证客户的客户端与服务器通讯安全。特性描述openGauss支持SSL协议标准。SSL(SecureSocketLayer......
  • openGauss 数据库审计
    数据库审计可获得性本特性自openGauss1.1.0版本开始引入。特性简介审计日志记录用户对数据库的启停、连接、DDL、DML、DCL等操作。客户价值审计日志机制主要增强数据库系统对非法操作的追溯及举证能力。特性描述数据库审计功能对数据库系统的安全性至关重要。数据库安全......
  • openGauss 鲲鹏NUMA架构优化
    鲲鹏NUMA架构优化可获得性本特性自openGauss1.0.0版本开始引入。特性简介鲲鹏NUMA架构优化,主要面向鲲鹏处理器架构特点、ARMv8指令集等,进行相应的系统优化,涉及到操作系统、软件架构、锁并发、日志、原子操作、Cache访问等一系列的多层次优化,从而大幅提升了openGauss数据库在......
  • openGauss 极致RTO按需回放
    极致RTO按需回放可获得性本特性自openGauss5.1.0版本开始引入。特性简介支撑资源池化部署下数据库主机重启后快速恢复的场景。支撑资源池化部署下备机加速failover,降低RTO。本特性基于现有极致RTO特性演进而来。客户价值资源池化部署下,备机不再回放主机日志。当主机发......