首页 > 数据库 >MySQL Binlog日志三种模式

MySQL Binlog日志三种模式

时间:2022-12-30 16:06:46浏览次数:42  
标签:语句 Binlog binlog 模式 复制 MySQL 日志

binlog 基本认识

MySQL的二进制日志可以说是MySQL最重要的日志了,它记录了所有的DDL和DML(除了数据查询语句)语句,以事件形式记录,还包含语句所执行的消耗的时间,MySQL的二进制日志是事务安全型的。

一般来说开启二进制日志大概会有1%的性能损耗(参见MySQL官方中文手册 5.1.24版)。

二进制有两个最重要的使用场景:

其一:MySQL Replication在Master端开启binlog,Mster把它的二进制日志传递给slaves来达到master-slave数据一致的目的。

其二:自然就是数据恢复了,通过使用mysqlbinlog工具来使恢复数据。

二进制日志包括两类文件:二进制日志索引文件(文件名后缀为.index)用于记录所有的二进制文件,二进制日志文件(文件名后缀为.00000*)记录数据库所有的DDL和DML(除了数据查询语句)语句事件。

Mysql复制主要有三种方式:

  • 基于SQL语句的复制(statement-based replication, SBR)
  • 基于行的复制(row-based replication, RBR)
  • 混合模式复制(mixed-based replication, MBR)

对应的,Binlog的格式也有三种:STATEMENT、ROW、MIXED。

1)STATEMENT模式(SBR)

每一条会修改数据的sql语句会记录到binlog中。优点是并不需要记录每一条sql语句和每一行的数据变化,减少了binlog日志量,节约IO,提高性能。缺点是在某些情况下会导致master-slave中的数据不一致(如sleep()函数, last_insert_id(),以及user-defined functions(udf)等会出现问题)

2)ROW模式(RBR)

不记录每条sql语句的上下文信息,仅需记录哪条数据被修改了,修改成什么样了。而且不会出现某些特定情况下的存储过程、或function、或trigger的调用和触发无法被正确复制的问题。缺点是会产生大量的日志,尤其是alter table的时候会让日志暴涨。

3)MIXED模式(MBR)

以上两种模式的混合使用,一般的复制使用STATEMENT模式保存binlog,对于STATEMENT模式无法复制的操作使用ROW模式保存binlog,MySQL会根据执行的SQL语句选择日志保存方式。

行模式和语句模式的区别

1)语句模式:100万条记录,只需1条delete * from test;就可以删除100万条记录

2)row模式:100万条记录,记录100万条删除命令

企业场景如何选择binlog模式

1、互联网公司,使用MySQL的功能相对少(存储过程、触发器、函数)选择默认的语句模式,Statement Level(默认)

2、公司如果用到使用MySQL的特殊功能(存储过程、触发器、函数) 则选择Mixed模式

3、公司如果用到使用MySQL的特殊功能(存储过程、触发器、函数)又希望数据最大化一致,此时最好选择Row level模式

binlog复制配置

# 在数据库中查看binlog模式

mysql> show global variables like "%binlog_format%";

MySQL Binlog日志三种模式_MySQL

查询结果是ROW模式 ,这里我想修改成MIXED模式

方法一:无需重启Mysql,重启Mysql失效

mysql> set global binlog_format='MIXED';

方法二:永久生效,需要重启Mysql生效

在Mysql的配置文件my.cnf中,可以通过以下选项配置binglog相关

1. # bin-log日志文件
2. log-bin = mysql-bin
3. # Mysql服务ID号
4. server-id =1
5. # binlog日志过期清理时间
6. expire_logs_days =7
7. # 定义binlog的模式为Mixed Level模式,默认为Statement Level
8. binlog_format = MIXED
9. # 设置binlog日志文件最大大小,达到512M,自动生成新的Binlog文件
10. max_binlog_size =1024M
11. # binlog缓存大小
12. binlog_cache_size =4m
13. # 最大binlog缓存大小
14. max_binlog_cache_size =512m

MIXED说明

对于执行的SQL语句中包含now()这样的时间函数,会在日志中产生对应的unix_timestamp()*1000的时间字符串,slave在完成同步时,取用的是sqlEvent发生的时间来保证数据的准确性。另外对于一些功能性函数slave能完成相应的数据同步,而对于上面指定的一些类似于UDF函数,导致Slave无法知晓的情况,则会采用ROW格式存储这些Binlog,以保证产生的Binlog可以供Slave完成数据同步。

现在来比较以下SBR和RBR 两者中模式各自的优缺点:

SBR 的优点:

  • 历史悠久,技术成熟
  • binlog文件较小
  • binlog中包含了所有数据库更改信息,可以据此来审核数据库的安全等情况
  • binlog可以用于实时的还原,而不仅仅用于复制
  • 主从版本可以不一样,从服务器版本可以比主服务器版本高

SBR 的缺点:

  • 不是所有的UPDATE语句都能被复制,尤其是包含不确定操作的时候。
  • 调用具有不确定因素的 UDF 时复制也可能出问题
  • 使用以下函数的语句也无法被复制:
  • * LOAD_FILE()
    * UUID()
    * USER()
    * FOUND_ROWS()
    * SYSDATE() (除非启动时启用了--sysdate-is-now选项)
  • INSERT ... SELECT会产生比RBR更多的行级锁
  • 复制需要进行全表扫描(WHERE 语句中没有使用到索引)的 UPDATE 时,需要比 RBR 请求更多的行级锁
  • 对于有 AUTO_INCREMENT 字段的 InnoDB表而言,INSERT 语句会阻塞其他 INSERT 语句
  • 对于一些复杂的语句,在从服务器上的耗资源情况会更严重,而 RBR 模式下,只会对那个发生变化的记录产生影响
  • 存储函数(不是存储过程)在被调用的同时也会执行一次 NOW() 函数,这个可以说是坏事也可能是好事
  • 确定了的 UDF 也需要在从服务器上执行
  • 数据表必须几乎和主服务器保持一致才行,否则可能会导致复制出错
  • 执行复杂语句如果出错的话,会消耗更多资源

RBR 的优点:

  • 任何情况都可以被复制,这对复制来说是最安全可靠的
  • 和其他大多数数据库系统的复制技术一样
  • 多数情况下,从服务器上的表如果有主键的话,复制就会快了很多
  • 复制以下几种语句时的行锁更少:
  • * INSERT ... SELECT
    * 包含 AUTO_INCREMENT 字段的 INSERT
    * 没有附带条件或者并没有修改很多记录的 UPDATE 或 DELETE 语句
  • 执行INSERT、UPDATE、DELETE语句时锁更少
  • 从服务器上采用多线程来执行复制成为可能

RBR 的缺点:

  • binlog 磁盘空间占用大
  • 复杂的回滚时binlog中会包含大量的数据
  • 主服务器上执行UPDATE语句时,所有发生变化的记录都会写到binlog中,而 SBR 只会写一次,这会导致频繁发生binlog的并发写问题
  • UDF 产生的大BLOB值会导致复制变慢
  • 无法从binlog中看到都复制了写什么语句
  • 当在非事务表上执行一段堆积的SQL语句时,最好采用SBR模式,否则很容易导致主从服务器的数据不一致情况发生

另外,针对系统库Mysql里面的表发生变化时的处理规则如下:

如果是采用INSERT、UPDATE、DELETE 直接操作表的情况,则日志格式根据 binlog_format 的设定而记录

如果是采用GRANT、REVOKE、SET PASSWORD 等管理语句来做的话,那么无论如何都采用SBR模式记录

注:采用RBR模式后,能解决很多原先出现的主键重复问题。

  • 输入编号:7421,直达文章
  • 输入m|M,直达目录列表

标签:语句,Binlog,binlog,模式,复制,MySQL,日志
From: https://blog.51cto.com/u_12018693/5980561

相关文章

  • Tomcat WEB服务器日志切割
    cronolog简介cronolog是一个简单的过滤程序,读取日志文件条目从标准输入和输出的每个条目并写入指定的日志文件的文件名模板和当前的日期和时间。当扩展文件名的变化,目前的......
  • mysql 修改密码
    1.使用mysqladmin修改密码使用mysqladmin命令修改MySQL的root用户密码格式为:mysqladmin-u用户名-p旧密码password新密码例如(root用户,root密码,修改密码为1234):......
  • MySQL高级
    大小写规范MySQL在Windows下是大小写不敏感的,会全部转换成小写MySQL在Linux下的大小写规则:数据库名、表名、表的别名、变量名是严格区分大小写的;关键字、函数......
  • MySQL 学习 --- 隔离级别
      文章图片来自参考文章,图片非原创概述事务隔离级别可解决的问题       下面的章节将会解释脏读,不可重复度和幻读。MySQL默认的事务隔离级别是可重复读(repeata......
  • MySQL 备份与恢复
    备份terminal窗口下mysqldump-h-p-u-pdb_name>路径名.sql-h主机名-p端口名-u用户名-p 用户密码db_name 数据库的名字例子#备份train数据库mysq......
  • MyBatis日志工厂
    目录日志工厂标准日志实现Log4j使用步骤:日志工厂我们在测试SQL的时候,要是能够在控制台输出SQL的话,是不是就能够有更快的排错效率?如果一个数据库相关的操作出现了问题......
  • mysql忘记root密码的解决办法
    mysql5.7mysql安装目录为/usr/local/mysql通过mysqld启动mysql服务。 /usr/local/mysql/bin/mysqld--skip-grant-tables--user=root [root@localhostbin]#/usr/local/......
  • MySQL中B-Tree和B+Tree创建过程
    1.B-Tree以一颗最大度数为5(5阶)的B-tree为例,每个节点最多存储4个key,5个指针。意味着:在一个有n个key的节点中,有n+1个指针,原理如下图:现在,依次存入如下数据:200、100、400、......
  • MySQL-(InnoDB)事务和锁
    在事务并行处理背景下,不同的事务之间因数据共享的状态变化,存在着某种依赖/隔离影响。即事务隔离级别。事务隔离级别,官网的解释在这里。InnoDB提供SQL:1992标准描述的所......
  • MySQL复制常见报错处理【转】
    在日常工作中,笔者遇到过很多MySQL主从复制报错的情况,这篇文章就来聊一聊常见的一些复制报错,以及处理办法。1serverid重复这个在我们刚接触主从复制的时候可能会犯的错......