首页 > 数据库 >MYSQL 主从不一致的原因分析

MYSQL 主从不一致的原因分析

时间:2024-03-13 15:35:25浏览次数:32  
标签:binlog slave master 一致 MYSQL 主备 数据 主从

数据库作为存储数据的组件,数据的一致性一定是要保证的前提,今天给出两个场景来分析数据不一致的原因。

binlog同步模式导致主从不一致

在MYSQL 中主库向从库同步数据是利用binlog记录修改操作,然后将binlog传递给从库进行复制,binlog的格式有3种,

row 在对update,delete,insert语句进行记录时会进行修改的行数据进行记录。row格式的坏处在于比较占用空间,比如更新十万行数据,那么row格式将会把10万数据记录下来。

statement 只会将原始的sql语句记录下来。但是这种格式可能会引起主备不一致。

mixed 是前面两种格式的混合,MYSQL会自己去判断这条sql是不是会造成主备不一致,将引起主备不一致的sql记录成row格式。

statement 为什么会主备不一致?

举一个例子来说明下,statement主备不一致的原因,例如下面的sql

update navigation.t_account set id = uuid();

当你使用 类似uuid或者now这种动态函数时,那么在主库的生成结果将会和从库不同。造成数据的主备不一致。

为什么大多数时候我们还是用row

大多时候,我们还是用row 格式写入binlog,这样带来的好处是便于恢复数据,下面我举例说明下,

  • 当你执行错delete语句,能够通过binlog日志找到删除行的所有字段信息,不过需要注意的是,需要将binlog_row_image 参数设置为FULL,才会记录所有字段信息,如果设置为MINIMAL 则只会记录删除字段信息。
  • 当你执行错update语句,通过binlog记录的修改前后的整行数据,对数据进行恢复。
  • 当你执行错insert语句,能够通过binlog找到插入数据的id,对错误插入的数据进行删除。

所以,为了避免主从不一致,还是选用row 格式记录binblog吧,或者至少还是选用mixed

主备切换导致主从不一致

第二种主从不一致的场景是发生在主备切换时,我先直接说下结论,主备切换方式其实分可靠性优先方式与可用性优先方式。

可靠性优先方式,MYSQL服务可能会存在短暂的不可提供服务的时间段,可用性优先则是保证MYSQL在切换过程中都是可用的。

为了方便,下面我将主主数据库称为master,从数据库称为slave。

可靠性优先方式

1,判断slave是否已经 seconds_behind_master,是否小于5s或更短,seconds_behind_master 代表主从同步延迟的时间,如果小于5s,则继续下一步。

2,修改master的readonly 参数为true, 将master变为只读状态。

3,判断slave的主从同步延迟是否变为0,即seconds_behind_master 等于0,等于0后,继续下一步。

4,修改 slave的 readonly参数改为false,将slave变为可读可写状态。

5,将业务请求转发到slave,原先master,修改为新master的从库。

这个切换过程,数据库是有一段时间不可写的,必须等待slave主从延迟同步变为0以后才行,所以这也是为什么要在seconds_behind_master 在一个较小的值才开始进行主备切换的原因。

可用性优先方式

接着看下保证可用性优先的主备切换方式,在上述主备切换步骤中,我们去掉第三个步骤,也就是不等到主从同步完成就去切换主备。

现在假设现在的binlog为 row格式。表定义为

mysql> CREATE TABLE `t` ( `id` int(11) unsigned NOT NULL AUTO_INCREMENT, `c` int(11) unsigned DEFAULT NULL, PRIMARY KEY (`id`)) ENGINE=InnoDB;

insert into t(c) values(1),(2),(3);

业务此时进行插入操作,

insert into t(c) values(4);
insert into t(c) values(5);

当在执行完第一个sql时,进行主备切换,且假设此时备库并没有完成第一条sql的同步。如下图所示,在插入4这条数据时,将slave改为可写,接着业务系统后续的写就往slave写入了5这条数据。注意此时master的4这条数据还没有同步到slave。

image.png

接着开始准备更改主备关系,如下图所示,更改关系前,有可能slave才会进行来自master的4这条数据的写入,但是因为slave中已经有id为4的数据了,所以会导致插入失败。

image.png
修改slave为master后,插入到之前从库的(4,5)这条数据 会同步到新的slave主机(即旧master),但是这个时候也会因为旧master有id为4的这条数据导致同步失败。主备同步就会自动停止。

可以看到,最后主从数据库中有id等于4这条数据不一样。

所以,可用性优先的主备切换方式是有可能导致主备不一致的。

数据库最重要还是数据的正确性,拿许多业务场景来说,如果数据错乱了,是较难恢复的,但是如果业务失败了,还可以通过重试重新填充数据,怕就怕成功一半,失败一半。所以主备切换的时候尽量还是可靠性优先方式比较好。

最后,

自荐一波✅:

欢迎朋友们关注我的公众号

标签:binlog,slave,master,一致,MYSQL,主备,数据,主从
From: https://www.cnblogs.com/hobbybear/p/18070737

相关文章

  • MySQL遇到的一些坑
    坑第一大坑后端代码没问题,前端拉取代码的时候拉取的是master分支,而master分支还没有跟新到最新进度,导致某些菜单访问正常但是有几个菜单模块访问不了,浏览器进度条卡住后端也要改,可以重新拉取或者merge,后端和前端要对应上gitpullhttp://117.73.11.3:8090/WindPowerPrediction......
  • mysql如何保证数据一致性
    MySQL保证数据一致性的主要方式有以下几种:事务支持:MySQL支持事务,通过事务可以保证数据库操作要么全部执行成功,要么全部失败回滚,从而确保数据的一致性。ACID特性:MySQL遵循ACID(原子性、一致性、隔离性、持久性)特性,其中一致性是指事务执行前后数据的状态保持一致。在事......
  • 基于Java+Vue+Mysql的门店管理系统(附配套文档和源码)【毕业设计分享】
          前言:门店管理系统是一个综合性的软件解决方案,旨在帮助门店高效地管理日常运营、提升服务质量、优化资源配置和增强决策能力。以下是您提到的各个管理模块的简要概述:门店管理:门店信息管理:记录门店的基本信息,如门店名称、地址、联系方式、营业时间等。门店布局管......
  • 基于Java+Vue+Mysql的WMS仓库管理系统(附配套文档和源码)【毕业设计分享】
          前言: WMS(WarehouseManagementSystem)仓库管理系统是一个用于优化仓库操作、提高效率和准确性的软件解决方案。以下是针对列出的WMS仓库管理系统的各个部分的简要描述:1.订单管理订单管理是WMS的核心功能之一,涉及处理、跟踪和完成客户订单。这包括:订单录入:......
  • mysql卸载安装及其报错解决
    数据库软件机制复杂,解决它的相关问题的时候最有效的方法是dos命令。在删除,修改密码和处理报错的时候,往往只要dos命令正确发挥作用,不会引发别的问题而若是直接对mysql下的各种文件进行修改极易引发未知问题,应谨慎。为不使安装过程产生报错应该先在以下几个方面进行清理。1......
  • MySQL3种指定索引的方式
    在使用MySQL进行查询时,我们经常会遇到SQL执行没有按照我们预想的那样去使用某个索引优化查询,那怎么解决这个问题呢?对于这个问题,MySQL给我们准备了三个方法,这三个方法可以帮助我们让SQL执行按照我们预想的那样去选择索引。今天我们就针对这三个方法分别来说说吧!useindex:在你查......
  • mysql索引详解
    一、介绍索引是通过某种算法,构建出一个数据模型,用于快速找出在某个列中有一特定值的行,不使用索引,MySQL必须从第一条记录开始读完整个表,直到找出相关的行,表越大,查询数据所花费的时间就越多,如果表中查询的列有一个索引,MySQL能够快速到达一个位置去搜索数据文件,而不必查看所有数......
  • 45_docker-compose_mysql8.0
    1.安装Docker-composecurl-L"https://github.com/docker/compose/releases/download/v2.17.2/docker-compose-$(uname-s)-$(uname-m)"-o/usr/local/bin/docker-composechmod+x/usr/local/bin/docker-composeln-s/usr/local/bin/docker-compose/usr/b......
  • 44_docker-compose_mysql5.7
    1.安装Docker-composecurl-L"https://github.com/docker/compose/releases/download/v2.17.2/docker-compose-\$(uname-s)-\$(uname-m)"-o/usr/local/bin/docker-composechmod+x/usr/local/bin/docker-composeln-s/usr/local/bin/docker-compose/u......
  • 开源.NET8.0小项目伪微服务框架(分布式、EFCore、Redis、RabbitMQ、Mysql等)
    1、前言为什么说是伪微服务框架,常见微服务框架可能还包括服务容错、服务间的通信、服务追踪和监控、服务注册和发现等等,而我这里为了在使用中的更简单,将很多东西进行了简化或者省略了。年前到现在在开发一个新的小项目,刚好项目最初的很多功能是比较通用的,所以就想着将这些功能......