首页 > 其他分享 >好用的数据校验&修复工具gt-checksum开源啦

好用的数据校验&修复工具gt-checksum开源啦

时间:2023-03-06 09:46:34浏览次数:48  
标签:gt -- checksum GreatSQL 校验 MySQL

  • GreatSQL社区原创内容未经授权不得随意使用,转载请联系小编并注明来源。
  • GreatSQL是MySQL的国产分支版本,使用上与MySQL一致。
  • 作者: GreatSQL社区
  • 文章来源:GreatSQL社区原创

    1. 背景介绍
    1. 功能特性
    1. gt-checksum使用
    • 3.1 标准使用案例
    • 3.2 直接在命令行模式下使用
    • 3.3 使用极简配置文件案例
    1. 项目信息
    1. 开源发布会

不用说,看名字也知道,gt-checksum工具是数据校验工具。

没错,gt-checksum 是GreatSQL社区新增的成员,它是 一款静态数据库校验修复工具,支持MySQL、Oracle等主流数据库,采用Go语言开发,今天正式开源。

1. 背景介绍

作为MySQL DBA,相信应该都听说过Percona出品的 pt-table-checksum & pt-table-sync 工具(没听说过的绝对不是合格的MySQL DBA,嘿嘿),可以用它俩进行数据校验及修复工作,非常好用。

不过,在MySQL MGR架构中,或者是当下常见的上云、下云业务中,以及MySQL、Oracle间的异构数据等多种场景中,pt工具并不支持。针对这些需求痛点,我们结合平时遇到的客户需求,开发了 gt-checksum 数据校验&修复工具,并贡献给GreatSQL社区,进行开源,继续促进业内开源生态健康发展。

gt-checksum工具支持以下几种常见业务需求场景:

  1. MySQL主从复制:主从复制中断后较长时间才发现,且主从间差异的数据量太多,这时候通常基本上只能重建复制从库,如果利用 pt-table-checksum 先校验主从数据一致性后 ,再利用 pt-table-sync 工具修复差异数据,这个过程要特别久,时间代价太大。
  2. MySQL MGR组复制:MySQL MGR因故崩溃整个集群报错退出,或某个节点异常退出,在恢复MGR集群时一般要面临着先检查各节点间数据一致性的需求,这时通常为了省事会选 择其中一个节点作为主节点,其余从节点直接复制数据重建,这个过程要特别久,时间代价大。
  3. 上云下云业务场景:目前上云下云的业务需求很多,在这个过程中要进行大量的数据迁移及校验工作,如果出现字符集改变导致特殊数据出现乱码或其他的情况,如果数据迁 移工具在迁移过程中出现bug或者数据异常而又迁移成功,此时都需要在迁移结束后进行一次数据校验才放心。
  4. 异构迁移场景:有时我们会遇到异构数据迁移场景,例如从Oracle迁移到MySQL,通常存在字符集不同,以及数据类型不同等情况,也需要在迁移结束后进行一次数据校验才 放心。
  5. 定期校验场景:作为DBA在维护高可用架构中为了保证主节点出现异常后能够快速放心切换,就需要保证各节点间的数据一致性,需要定期执行数据校验工作。

以上这些场景,都可以利用 gt-chcksum 工具来满足。

2. 功能特性

在正式开源之前,gt-checksum 工具已经在内部经过了十数个版本迭代,可以满足绝大多数场景下的数据校验&修复需求,尤其是MySQL、Oracle间的异构数据库场景。

gt-checksum 工具主要功能特性有:

  • 支持主从复制、MGR以及MySQL、Oracle间的数据校验&修复;
  • 数据库名、表名设置支持多种正则表达式
  • 支持多种字符集
  • 支持设置表名大小写敏感
  • 支持多种数据校验模式,数据、表结构、索引、分区、外键、存储过程等
  • 支持多种数据校验方式,全量校验,抽样校验和行数校验
  • 支持多种数据修复模式,校验完毕后直接修复或是生成修复SQL文件再自行手动处理
  • 支持校验无索引表
  • 支持并发多线程校验
  • 更好支持大表数据校验,效率更高,且基本不会发生OOM等问题

3. gt-checksum使用

3.1 标准使用案例

指定配置文件,开始执行数据校验,示例:

shell> gt-checksum -f ./gc.conf
-- gt-checksum init configuration files --
-- gt-checksum init log files --
-- gt-checksum init check parameter --
-- gt-checksum init check table name --
-- gt-checksum init check table column --
-- gt-checksum init check table index column --
-- gt-checksum init source and dest transaction snapshoot conn pool --
-- gt-checksum init cehck table query plan and check data --
begin checkSum index table db1.t1
[████████████████████████████████████████████████████]113%  task:     678/600
table db1.t1 checksum complete

** gt-checksum Overview of results **
Check time:  73.81s (Seconds)
Schema  Table                   IndexCol                                checkMod        Rows            Differences     Datafix
db1     t1                      ol_w_id,ol_d_id,ol_o_id,ol_number       rows            5995934,5995918 yes             file

3.2 直接在命令行模式下使用

设定只校验db1库下的所有表,不校验test库下的所有表,并设置没有索引的表也要校验

shell> gt-checksum -S type=mysql,user=root,passwd=abc123,host=172.16.0.1,port=3306,charset=utf8 -D type=mysql,user=root,passwd=abc123,host=172.16.0.2,port=3306,char
set=utf8 -t db1.* -it test.* -nit yes

3.3 使用极简配置文件案例

gt-checksum还支持极简配置文件模式,最少只需要配置三个参数,即可完成数据校验,例如:

shell> cat gc.conf-simple
[DSNs]
srcDSN = mysql|pcms:abc123@tcp(172.17.16.1:3306)/information_schema?charset=utf8
dstDSN = mysql|pcms:abc123@tcp(172.17.16.2:3306)/information_schema?charset=utf8

[Schema]
tables = db1.t1

shell> gt-checksum -f ./gc.conf-simple
...

注意

  1. 极简配置文件名必须是 gc.conf-simple
  2. 配置文件中仅需指定源和目标端的DSN,以及要校验的表名即可。

更多使用场景和案例欢迎大家一起来解锁。

4. 项目信息

gt-checksum代码已上传到 gitee 上,项目地址 https://gitee.com/GreatSQL/gt-checksum,欢迎围观、加星,也欢迎来“找茬”,提patch/issue。

5. gt-checksum正式开源发布会

gt-checksum开源发布会将在 03月06日 19:00-22:30 举办

标签:gt,--,checksum,GreatSQL,校验,MySQL
From: https://www.cnblogs.com/greatsql/p/17182674.html

相关文章

  • Linux & 标准C语言学习 <DAY1>
    Linux系统简单介绍:  BCPL->NewB->C->UNIX->Minix->Linux->gcc  美国贝尔实验室1968  Linux管理硬盘的能力非常强,所以只有一个磁盘分区  cd路径名......
  • Linux & 标准C语言学习 <DAY3>
    C语言简介:  BCPL->NewB->C->UNIX->Minix->Linux->gcc  C语言诞生于1971~1973年,美国贝尔实验室,肯.汤普逊和丹尼斯.里奇  C语言是专门为了编写操作系统而诞......
  • Linux & 标准C语言学习 <DAY2>
    vim文本编辑器:  可以直接在终端下采用纯键盘操作的一款文本编辑器,号称编辑器之神,可以二次升级、可以扩展  基础用法:    1、进入vim:      ......
  • Linux & 标准C语言学习 <DAY5>
    一、if分支语句  if(表达式) //单分支语句  {     //表达式的值为真,则执行此处代码  }  if(表达式) //双分支语句  {   ......
  • Linux & 标准C语言学习 <DAY4>
    一、数据类型  为什么要对数据进行分类    1、现实中的数据就是自带类别属性的    2、对数据进行分类可以节约内存存储空间、提高运行速度  ......
  • Linux & 标准C语言学习 <DAY6>
    一、数组  什么是数组:变量的组合,是一种批量定义相同类型变量的方式  定义: 类型名数组名[数量];      intarr[5];      注意:数组......
  • 这样在 C# 使用 LongRunnigTask 是错的
    Task.Factory.StartNew有一个重载,是支持TaskCreationOptions.LongRunning参数来指定Task的特征的。但是可能在没有注意的情况下,你就使用了错误的用法。那么本文我们来......
  • 常用的互相转化int[]、Integer[]和List<Integer>
    publicclassArr2List{publicstaticvoidmain(String[]args){int[]data={4,5,3,6,2,5,1};//int[]转List<Integer>Lis......
  • 18.JSR303数据校验
    以新增品牌接口为例接口代码展示   添加校验注解前端送的json对应BrandEntity,比如我们需要品牌的名称不能为空:  NotBlank注解表示不允许为null为空为纯空......
  • 5.JavaScript提供的正则表达式API、可以使用正则表达式解决常见问题(邮箱校验、URL解析
    JavaScript提供的正则表达式API、可以使用正则表达式解决常见问题(邮箱校验、URL解析、去重等)js正则常用API1.五个常用方法①testreg.test(str);//返回是否包含正则......