首页 > 其他分享 >分布式 | DBLE 新全局表检查实现浅析

分布式 | DBLE 新全局表检查实现浅析

时间:2022-12-20 15:04:36浏览次数:37  
标签:quartz 自定义 检查 dble DBLE 全局 方法 浅析 分布式


作者:孙正方
爱可生 DBLE 核心研发成员,拥有丰富的分布式数据库中间件开发、咨询以及调优经验,擅长数据库中间件问题排查和处理,对线上中间件部分排错有深入的实践与认知。


背景

在 dble 2.19.11.0 之前的版本中,继承于 Mycat 的实现,全局表检查是一个 server 级别的功能,并且通过在创建全局表的时候添加列 _dble_op_time 来进行实现。在实际使用中带来了许多棘手的问题。

  • 开关不便
  • 结果集处理不便
  • 数据导入处理不便

在 dble 2.19.11.0 中,考虑到生产中实际使用的场景和定义情况,按照以下的几点要求,对于全局表检查进行了重新的设计:

  • 检查开关在表格级别(只有部分表格需要检查)
  • 检查触发的具体时间需要能精确定义
  • 检查的方式要求可以自定义
  • 检查方式自定义要求足够足够简单明确

实现原理

根据以上提供的明确要点,dble 引入了 quartz 框架来进行定时任务的时间控制,并且在 schema.table 级别的标签上添加了以下的几个可选项:

  • globalCheck
  • cron
  • globalCheckClass

并且在加载过程中,将每一个 table 的全局表检查,作为一个独立的定时任务加载到 quartz 中去,之后便交由 quartz 进行触发和执行。

而至于每一个独立的定时任务,则可以和其他的 dble 中的自定义功能一样,由用户自定义以下几个方法:

  • getCountSQL (全局表检查 SQL 执行定义)
  • getFetchCols (全局表检查结果集列定义)
  • resultEquals (全局表检查结果对比方法)
  • failResponse (全局表检查失败反馈方法)
  • resultResponse (全局表检查结果反馈方法)

具体的执行逻辑和流程如下图所示:

分布式 | DBLE 新全局表检查实现浅析_开源

简单的描述为以下步骤:

  • start/reload 的时候将表格所配置的定时任务加入到 quartz 中
  • quartz 触发定时任务
  • 实例化 AbstractConsistencyChecker 并执行
  • 根据方法 getCountSQL 确定需要执行的 SQL,并将 SQL 下发执行
  • 根据方法 getFetchCols 确定需要获取的 SQL 执行结果列
  • 根据方法 resultEquals 对于不同 MySQL 上的检查结果进行对比
  • 根据 failResponse 和 resultResponse 方法进行结果的反馈

全局表检查使用实例

当然,dble 内置了两种全局表检查的默认方法,并提供了对应的简称:

  • CHECKSUM
  • COUNT

顾名思义,以上的两种默认方法分别通过在不同的 MySQL 节点求取同名表的 checksum 值以及 count 的数量来进行比较不同 MySQL 节点上的数据的一致性。

具体则可以按照以下进行配置:

<!--dble内置CHECKSUM检查方式-->
<table name="tb_global1" dataNode="dn1,dn2" type="global" globalCheck="true" cron = "0 * * * * ?" globalCheckClass="CHECKSUM"/>
<!--dble内置COUNT检查方式-->
<table name="tb_global2" dataNode="dn1,dn2" type="global" globalCheck="true" cron = "0 * * * * ?" globalCheckClass="COUNT"/>


标签:quartz,自定义,检查,dble,DBLE,全局,方法,浅析,分布式
From: https://blog.51cto.com/u_15077536/5955412

相关文章

  • 分布式 | DBLE 是如何实现视图的?
    作者:苏仕祥浩鲸科技PaaS组件团队成员,长期从事分库分表中间件的相关解决方案工作,热爱技术,乐于分享。本文来源:原创投稿*爱可生开源社区出品,原创内容未经授权不得随意使用,转......
  • 分布式id的方案
    1简介在分布式系统架构中,通常会涉及到分布式全局唯一ID的生成在复杂分布式系统中,往往需要对大量的数据和消息进行唯一标识。如在金融、电商、支付、等产品......
  • docker高级篇第二章-分布式存储之实战案例:主从容错切换迁移案例
    在上一篇,学会了3主3从的Redis集群搭建。那么接下来,我们就来学习Redis集群主从容错切换迁移案例本次案例从模拟两个场景1:数据读写存储a:一个新key数据来了,是否会按照预设......
  • 北汇信息与臻融科技达成战略合作,共同推进分布式通信技术在汽车领域的应用
      南京臻融科技有限公司(简称瑧融科技)是从事中间件研发的创新型国家高新技术企业,拥有多项具有完全自主知识产权的核心技术和中间件产品,在网络化计算、中间件平台、云边......
  • 分布式计算框架Gearman原理详解
     什么是Gearman?Gearman提供了一个通用的应用程序框架,用于将工作转移到更适合于工作的其他机器或流程。它允许你并行工作,负载平衡处理,并在语言间调用函数。它可用于从高可用......
  • 利用log4j+mongodb实现分布式系统中日志统
    背景   在分布式系统当中,我们有各种各样的WebService,这些服务可能分别部署在不同的服务器上,并且有各自的日志输出。为了方便对这些日志进行统一管理和分析。我们可以将......
  • 细说集中式与分布式版本控制系统
    前言:分布式版本控制系统除了Git以及促使Git诞生的BitKeeper外,还有类似Git的Mercurial和Bazaar等。这些分布式版本控制系统各有特点,但最快、最简单也最流行的依然是Git!集中式......
  • Kubernetes分布式架构分析
     一个Kubernetes平台可以管理几百台容器主机,以及运行在这些主机上的容器应用。如果容器主机采用裸金属服务器,则一台容器主机上运行的容器应用可以超过200个。也就是说,一......
  • 分布式ID生成方案
    分布式ID生成方案朱门酒肉臭,路有冻死骨。简介对于单体项目,主键ID常用主键自动的方式进行设置。但是在分布式系统中,分库分表之后就不行了,如果还采用简单数......
  • 基于消息队列实现分布式事务
    注意:本文把消息队列与购物车系统看作同一个事务目标:掌握消息队列的事务场景:订单系统产生订单,购物车系统减购物车中的商品。实现思路:订单系统在消息队列上开启一个事务......