首页 > 数据库 >MySQL日志之误删恢复数据

MySQL日志之误删恢复数据

时间：2024-12-27 10:41:47浏览次数：6  
标签：binlog log 1.2 MySQL 误删 session mysql 日志 id

目录

1 误删恢复数据

1.1 引言

假如误操作而删除数据，但是一不小心数据删多了。被误删的数据，如何恢复呢

例子：假如有一个表

create table person
(
  id   bigint primary key auto_increment comment 'id',
  name varchar(50) comment '名称'
) engine = innodb;

原本是要执行这条SQL语句：delete from person where id > 500000;
不小心执行了这条SQL语句：delete from person;

1.2 解决方案

处理这个问题的解决思路就是，基于 binlog找回被删除的数据，将被删除的数据重新插入到数据库。
对于binlog文件来说，实际上保存的是对于数据库的正向操作。比如说，插入数据insert，binlog中保存的也是insert语句；删除数据delete，binlog中保存的也是delete语句。
因此，想要恢复被删除的数据，主要有两种方式：

描述 优点 缺点
找到数据插入的位置，重新执行数据的插入操作 1.比较方便，不需要生成逆向操作，直接执行sql脚本重新插入数据即可
2.对binlog的模式没有限制，row模式、statement模式都能找到具体的数据		 1.如果数据插入之后还有更新操作，插入的数据不是最新的，会有问题
2.如果被删除的数据比较多，插入的位置比较多，找到插入的位置比较困难
找到数据被删除的位置，生成逆向操作，重新执行插入操作 1.只要找到数据被删除的位置即可找到所有被删除的数据，比较方便 1.需要通过脚本生成逆向操作，才能将数据恢复
2.需要保证binlog模式是row模式，才能找到被删除的数据。否则，statement模式不会找到具体的数据

1.2.1 通用操作

首先介绍两种方式都需要使用到的一些通用的操作，主要用于设置 binlog、找到binlog文件

1.2.1.1 确认binlog开启

首先要保证binlog是开启的，不然数据肯定是没办法恢复回来的。
在MySQL中，可以通过执行以下SQL查询来检查是否已经开启了binlog：

SHOW VARIABLES LIKE 'log_bin';

这个查询将返回一个结果集，其中包含名为log_bin的系统变量的值。如果log_bin的值为ON，则表示binlog已经开启；如果值为OFF，则表示binlog没有开启。

mysql> SHOW VARIABLES LIKE 'log_bin';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| log_bin       | ON    |
+---------------+-------+

如果发现没有开启，可以通过修改MySQL配置文件（通常是my.cnf或my.ini，Linux下MySQL的配置文件目录一般是/etc/mysql）中的[mysqld]部分来开启binlog。如果在配置文件中找到了类似以下的设置，则表示binlog已经开启：

[mysqld]
log-bin=mysql-bin
server-id=1

修改配置启用了binlog之后，需要重启MySQL服务才能使更改生效，mysql-bin表示binlog文件的前缀，server-id 设置了MySQL服务器的唯一ID，在 MySQL 的主从复制配置中，server-id 是必需的参数，否则没办法开启binlog

1.2.1.2 binlog模式

对于delete操作，只有row模式才能找到被删除数据的具体值，因此需要确认开启的binlog模式。
要查询MySQL的binlog模式，您可以使用以下SQL命令：SHOW VARIABLES LIKE 'binlog_format';
这将返回一个结果集，其中包含当前的binlog格式。可能的值有：

  • ROW： 表示使用行模式（row-based replication），这是推荐的设置，因为它提供了更好的数据一致性。
  • STATEMENT： 表示使用语句模式（statement-based replication），在这种模式下，可能会丢失一些数据，因为它仅记录执行的SQL语句。
  • MIXED： 表示混合模式（mixed-based replication），在这种模式下，MySQL会根据需要自动切换行模式和语句模式。

可以通过修改MySQL配置文件（通常是my.cnf或my.ini，Linux下MySQL的配置文件目录一般是/etc/mysql）中的[mysqld]部分来修改binlog模式。
在[mysqld]部分下，添加或修改以下行，将binlog_format设置为想要的模式（ROW、STATEMENT或MIXED）：

[mysqld]
binlog_format=ROW

随后重启mysql服务使其生效

1.2.1.3 binlog信息查询

查询当前使用的binlog文件，通过show master status;可以找到当前正在使用的binlog文件

mysql> show master status\G
*************************** 1. row ***************************
             File: mysql-bin.000217
         Position: 668127868
     Binlog_Do_DB: 
 Binlog_Ignore_DB: 
Executed_Gtid_Set: 29dc2bf9-f657-11ee-b369-08c0eb829a3c:1-291852745,
744ca9cd-5f86-11ef-98d6-0c42a131d16f:1-5374311
1 row in set (0.00 sec)

找到所有 binlog文件名：show master logs;可以找到所有binlog文件名

mysql> show master logs;
+------------------+------------+
| Log_name         | File_size  |
+------------------+------------+
| mysql-bin.000200 | 1073818388 |
| mysql-bin.000201 | 1073757563 |
| mysql-bin.000202 | 1074635635 |
| mysql-bin.000203 | 1073801053 |
| mysql-bin.000204 | 1073856643 |
| mysql-bin.000205 | 1073910661 |
| mysql-bin.000206 | 1073742603 |
| mysql-bin.000207 | 1195256434 |
| mysql-bin.000208 | 1085915611 |
| mysql-bin.000209 | 1073990985 |
| mysql-bin.000210 | 1075942323 |
| mysql-bin.000211 | 1074716392 |
| mysql-bin.000212 | 1073763938 |
| mysql-bin.000213 | 1073780482 |
| mysql-bin.000214 | 1074029712 |
| mysql-bin.000215 | 1073832842 |
| mysql-bin.000216 | 1079999184 |
| mysql-bin.000217 |  668173793 |
+------------------+------------+

查询binlog保存位置：SHOW VARIABLES LIKE 'log_bin_basename'; 可以找到binlog文件保存的目录位置。
比如说/var/lib/mysql/mysql-bin表示目录为/var/lib/mysql/下的以mysql-bin为前缀的文件。

我们通过文件的最后修改时间，可以看出binlog覆盖的时间范围。一般后缀的数字越大，表示越新。

mysql> SHOW VARIABLES LIKE 'log_bin_basename';
+------------------+--------------------------+
| Variable_name    | Value                    |
+------------------+--------------------------+
| log_bin_basename | /var/lib/mysql/mysql-bin |
+------------------+--------------------------+
1 row in set (0.00 sec)
bash-4.2# ls /var/lib/mysql/mysql-bin* -alh
-rw-r----- 1 mysql mysql 1.1G Sep  9 02:28 /var/lib/mysql/mysql-bin.000200
-rw-r----- 1 mysql mysql 1.1G Sep  9 02:32 /var/lib/mysql/mysql-bin.000201
-rw-r----- 1 mysql mysql 1.1G Sep  9 02:39 /var/lib/mysql/mysql-bin.000202
-rw-r----- 1 mysql mysql 1.1G Sep  9 02:45 /var/lib/mysql/mysql-bin.000203
-rw-r----- 1 mysql mysql 1.1G Sep  9 07:52 /var/lib/mysql/mysql-bin.000204
-rw-r----- 1 mysql mysql 1.1G Sep  9 12:10 /var/lib/mysql/mysql-bin.000205
-rw-r----- 1 mysql mysql 1.1G Sep 10 04:40 /var/lib/mysql/mysql-bin.000206
-rw-r----- 1 mysql mysql 1.2G Sep 10 07:00 /var/lib/mysql/mysql-bin.000207
-rw-r----- 1 mysql mysql 1.1G Sep 11 07:54 /var/lib/mysql/mysql-bin.000208
-rw-r----- 1 mysql mysql 1.1G Sep 12 03:03 /var/lib/mysql/mysql-bin.000209
-rw-r--r-- 1 root  root   24M Sep 11 09:06 /var/lib/mysql/mysql-bin.000209.event.log
-rw-r----- 1 mysql mysql 1.1G Sep 12 03:30 /var/lib/mysql/mysql-bin.000210
-rw-r----- 1 mysql mysql 1.1G Sep 12 08:33 /var/lib/mysql/mysql-bin.000211
-rw-r----- 1 mysql mysql 1.1G Sep 12 08:35 /var/lib/mysql/mysql-bin.000212
-rw-r----- 1 mysql mysql 1.1G Sep 12 22:00 /var/lib/mysql/mysql-bin.000213
-rw-r----- 1 mysql mysql 1.1G Sep 13 10:26 /var/lib/mysql/mysql-bin.000214
-rw-r----- 1 mysql mysql 1.1G Sep 13 10:29 /var/lib/mysql/mysql-bin.000215
-rw-r----- 1 mysql mysql 1.1G Sep 14 01:42 /var/lib/mysql/mysql-bin.000216
-rw-r----- 1 mysql mysql 637M Sep 14 06:11 /var/lib/mysql/mysql-bin.000217
-rw-r----- 1 mysql mysql 4.1K Sep 14 01:42 /var/lib/mysql/mysql-bin.index

1.2.2 方案一：找到insert语句，重新插入

需要执行以下几个步骤：

  • 确认insert插入数据的时间，找到对应的binlog文件
  • 解析该binlog文件，指定时间点，在binlog文件中找到插入数据的位置
  • 重新解析binlog文件，指定binlog位置。对解析出来的文件进行重放。

1.2.2.1 找到binlog文件

比如说，数据是在9月12日12:00插入的，那么我们看上方的所有binlog文件，可以看出插入语句应该保存在mysql-bin.000213文件中。

1.2.2.2 根据时间点解析binlog文件

通过mysqlbinlog将binlog文件解析成可读的sql文件。

mysqlbinlog --base64-output=decode-rows -v --start-datetime="2024-09-12 11:59:00" --stop-datetime="2024-09-12 12:01:00" mysql-bin.000213 > binlog.sql
  • --base64-output=decode-rows：将二进制日志中的行事件解码为 SQL 语句。
  • -v 或 --verbose：输出详细的事件信息。
  • --start-datetime="2024-09-12 11:59:00"：从指定的日期和时间开始读取二进制日志。通过指定时间范围，可以减小解析出来的sql文件，避免太多无用信息使得查询位置比较困难。
  • --stop-datetime="2024-09-12 12:01:00"：在指定的日期和时间停止读取二进制日志。
  • mysql-bin.000213：要解析的二进制日志文件的路径和名称。
  • >：将命令的输出重定向到指定的文件。
  • binlog.sql：保存解码后的 SQL 语句的文件名。
1.2.2.2.1 statement模式确认binlog位置

我们可以找到insert into person values (1, 'first')，并且分别在前后的BEGIN和COMMIT找到position。
BEGIN往前找有一个position at 219，COMMIT往后找有一个position at 445，这就是插入语句的实际binlog范围。

# at 219
#240914 17:14:26 server id 1  end_log_pos 300 CRC32 0xb8159bc1  Query thread_id=1267 exec_time=0 error_code=0
SET TIMESTAMP=1726305266/*!*/;
SET @@session.pseudo_thread_id=1267/*!*/;
SET @@session.foreign_key_checks=1, @@session.sql_auto_is_null=0, @@session.unique_checks=1, @@session.autocommit=1/*!*/;
SET @@session.sql_mode=1436549120/*!*/;
SET @@session.auto_increment_increment=1, @@session.auto_increment_offset=1/*!*/;
/*!\C latin1 *//*!*/;
SET @@session.character_set_client=8,@@session.collation_connection=8,@@session.collation_server=8/*!*/;
SET @@session.lc_time_names=0/*!*/;
SET @@session.collation_database=DEFAULT/*!*/;
BEGIN
/*!*/;
# at 300
#240914 17:14:26 server id 1  end_log_pos 414 CRC32 0xb7e0263b  Query thread_id=1267 exec_time=0 error_code=0
use `tests`/*!*/;
SET TIMESTAMP=1726305266/*!*/;
insert into person values (1, 'first')
/*!*/;
# at 414
#240914 17:14:26 server id 1  end_log_pos 445 CRC32 0x9345e6ca  Xid = 30535
COMMIT/*!*/;
# at 445
1.2.2.2.2 row模式确认binlog位置

row模式下，与statement模式下的binlog格式有少许差别，但方法是一致的。
我们可以找到以 ###开头的几行，包含INSERT INTO语句。并且分别在前后的BEGIN和COMMIT找到position。
BEGIN往前找有一个position at 219，COMMIT往后找有一个position at 426，这就是插入语句的实际binlog范围。

# at 219
#240914 17:16:36 server id 1  end_log_pos 292 CRC32 0xe9082d52  Query thread_id=20 exec_time=0 error_code=0
SET TIMESTAMP=1726305396/*!*/;
SET @@session.pseudo_thread_id=20/*!*/;
SET @@session.foreign_key_checks=1, @@session.sql_auto_is_null=0, @@session.unique_checks=1, @@session.autocommit=1/*!*/;
SET @@session.sql_mode=1436549120/*!*/;
SET @@session.auto_increment_increment=1, @@session.auto_increment_offset=1/*!*/;
/*!\C latin1 *//*!*/;
SET @@session.character_set_client=8,@@session.collation_connection=8,@@session.collation_server=8/*!*/;
SET @@session.lc_time_names=0/*!*/;
SET @@session.collation_database=DEFAULT/*!*/;
BEGIN
/*!*/;
# at 292
#240914 17:16:36 server id 1  end_log_pos 345 CRC32 0x1832ced4  Table_map: `tests`.`person` mapped to number 111
# at 345
#240914 17:16:36 server id 1  end_log_pos 395 CRC32 0x32d6a21b  Write_rows: table id 111 flags: STMT_END_F
### INSERT INTO `tests`.`person`
### SET
###   @1=1
###   @2='first'
# at 395
#240914 17:16:36 server id 1  end_log_pos 426 CRC32 0x07619928  Xid = 149
COMMIT/*!*/;
# at 426
1.2.2.2.3 定位&重放

我们已经找到了具体的位置，现在我们可以重新解析binlog文件，指定binlog位置。内容和上方实际上没有太大差异。

mysqlbinlog --start-position=219 --stop-position=426 mysql-bin.000213 > binlog.sql

需要注意的是，这个解析语句，删掉了--base64-output=decode-rows -v 参数。因为这些参数是用于解码binlog的，是让开发人员更方便看到binlog被解析之后的格式。但是对mysql来说是没办法使用的。

重放数据，解析的这个文件就是一个sql脚本文件，通过往常的方式执行sql脚本即可

mysql -uroot -proot < binlog.sql

或者mysql客户端登陆之后，通过source命令执行

source binlog.sql;

1.2.3 方案二：找到delete语句，生成逆向操作，重新insert

1.2.3.1 找到binlog文件

比如说，数据是在9月12日12:00删除的，那么我们看上方的所有binlog文件，可以看出插入语句应该保存在mysql-bin.000213文件中。

1.2.3.2 根据时间点解析binlog文件

操作和的操作没有差异，我们主要来比较一下statement模式和row模式的差别。我们会发现statement模式下，没办法找到所有被删除的数据的具体数据，而row模式能找到。

1.2.3.2.1 statement模式

我们可以看到binlog只保存了一句 delete from person。很遗憾，啥数据都没有，也没办法根据它生成逆向操作。

# at 445
#240914 17:15:13 server id 1  end_log_pos 510 CRC32 0x6a7a66e4  Anonymous_GTID last_committed=1 sequence_number=2 rbr_only=no
SET @@SESSION.GTID_NEXT= 'ANONYMOUS'/*!*/;
# at 510
#240914 17:15:13 server id 1  end_log_pos 591 CRC32 0x55e4225b  Query thread_id=1267 exec_time=0 error_code=0
SET TIMESTAMP=1726305313/*!*/;
BEGIN
/*!*/;
# at 591
#240914 17:15:13 server id 1  end_log_pos 685 CRC32 0x10938b9d  Query thread_id=1267 exec_time=0 error_code=0
SET TIMESTAMP=1726305313/*!*/;
delete from person
/*!*/;
# at 685
#240914 17:15:13 server id 1  end_log_pos 716 CRC32 0x1ea4a681  Xid = 30610
COMMIT/*!*/;
# at 716
1.2.3.2.2 row模式

可以看到binlog以 ###开头的几行，WHERE之后，把被删除数据的每一个字段都作为条件嵌入到sql语句中了。条件的顺序，就是表结构的字段顺序。比如说@1对应的就是id，@2对应的就是name。

# at 1574
#240914 17:16:38 server id 1  end_log_pos 1642 CRC32 0x944b1b94  Query thread_id=20 exec_time=1260 error_code=0
SET TIMESTAMP=1726305398/*!*/;
BEGIN
/*!*/;
# at 1642
#240914 17:16:38 server id 1  end_log_pos 1695 CRC32 0x435282e2  Table_map: `tests`.`person` mapped to number 111
# at 1695
#240914 17:16:38 server id 1  end_log_pos 1745 CRC32 0x3063bf8c  Delete_rows: table id 111 flags: STMT_END_F
### DELETE FROM `tests`.`person`
### WHERE
###   @1=1
###   @2='first'
# at 1745
#240914 17:16:38 server id 1  end_log_pos 1776 CRC32 0x086c2270  Xid = 3391
COMMIT/*!*/;

1.2.3.3 生成逆向操作

根据上面的binlog文件，我们可以通过脚本生成逆向操作。

insert into person values (1, 'first');

1.3 常见工具

目前有一些开源的工具，可以帮助我们解析binlog，并且自动生成binlog记录的操作的逆向操作。

1.3.1 binlog2mysql

binlog2sql由美团点评DBA团队(上海)出品，python脚本实现。主要原理是伪装成slave，向master获取binlog，并且根据binlog生成逆向操作。

下载地址：https://github.com/danfengcao/binlog2sql.git
在执行之前，需要确认mysql server已设置以下参数：

[mysqld]
server_id = 1
log_bin = /var/log/mysql/mysql-bin.log
max_binlog_size = 1G
binlog_format = row
binlog_row_image = full

获取正向操作：

> python binlog2sql.py -h127.0.0.1 -P13306 -uroot -p --start-file=mysql-bin.000002
Password:
INSERT INTO `tests`.`person`(`id`, `name`) VALUES (1, 'first'); #start 4 end 395 time 2024-09-14 17:16:36
DELETE FROM `tests`.`person` WHERE `id`=1 AND `name`='first' LIMIT 1; #start 426 end 667 time 2024-09-14 17:16:38

通过命令，输入用户名、密码、端口号、地址等，并且指定binlog文件
通过输出，可以看出所有正向操作，以及每个正向操作的时间、binlog位置

获取逆向操作：

> python binlog2sql.py -h127.0.0.1 -P13306 -uroot -p --start-file=mysql-bin.000002 --flashback
Password:
INSERT INTO `tests`.`person`(`id`, `name`) VALUES (1, 'first'); #start 426 end 667 time 2024-09-14 17:16:38
DELETE FROM `tests`.`person` WHERE `id`=1 AND `name`='first' LIMIT 1; #start 4 end 395 time 2024-09-14 17:16:36

命令中，新增一个参数 --flashback，用于指定回滚
通过输出，可以看出所有逆向操作。并且可以看出相对于正向操作来说，逆向操作的顺序是相反的，按时间从后往前排序

标签：binlog,log,1.2,MySQL,误删,session,mysql,日志,id
From： https://www.cnblogs.com/jingzh/p/18634988

相关文章

  • Mysql锁机制
    前序：    锁可以看作是一把现实生活中的锁，它的作用就是锁住东西确保安全。如果大家有其他语言开发经验，其实就很容易理解锁原理。例如Java语言中，Synchronized与Lock锁，就是用来保证并发安全性的。1、Mysql锁的概念    Mysql锁是管理并发控制与数据一致性的......
  • 微信小程序打印生产环境日志
    微信小程序打印生产环境日志新建一个log.js文件，写入以下代码：letlog=wx.getRealtimeLogManager?wx.getRealtimeLogManager():nullmodule.exports={debug(){if(!log)returnlog.debug.apply(log,arguments)},info(){if(!log)ret......
  • 开启TDE后mysqldump使用
    环境：mysql:5.7.39-log 导出加密表/opt/mysql57/bin/mysqldump-hlocalhost-uroot-pmysql-P13306--default-character-set=utf8--hex-blob--set-gtid-purged=OFF-S/opt/mysql57/data/mysql.sockdb_testtb_tde>/tmp/tb_tde.dump 导入到无加密环境的库下/opt/mysql......
  • Docker日志清理
    在CentOS系统中，Docker日志文件的不断增长可能会占用大量磁盘空间，影响系统性能和正常运行。为了保持系统的健康状态，需要定期清理Docker日志文件。本文将详细介绍如何在CentOS系统上清理Docker日志文件的具体步骤和方法。Docker日志文件位置Docker容器的日志文件通常存储在以下位......
  • MySQL基础-事务
    1.事务简介2.事务操作--转账操作(张三给李四转账1000)--正常情况--1.查询张三账户余额select*fromaccountwherename='张三';--2.将张三账户余额-1000updateaccountsetmoney=money-1000wherename='张三';--3.将李四账户余额+1000updateaccoun......
  • mysql数据库
    文章目录基本操作操作数据库操作数据库数据库列类型数据库字段属性操作数据表数据表类型(数据库引擎MyISAM与InnoDB)数据管理外键(了解)DML语言DQL查询数据指定查询字段where条件子句联表查询分页和排序子查询基本操作连接数据库命令行连接mysql-u用户名-p......
  • 【实战指南】MySQL备份与恢复完全指南，8种备份方案全面解析！
    本文详细介绍MySQL所有备份方案，包括逻辑备份、物理备份、热备份、冷备份等，并提供每种方案的具体实施步骤和最佳实践。一、备份方案概述1.1备份分类按备份方式分类：逻辑备份：导出SQL语句物理备份：复制数据文件按备份范围分类：完整备份：备份整个数据库增量备份：只......
  • linux系统下docker安装mysql
    记录一下步骤：1、拉取镜像：dockerpullvijayan/mysql5.62、创建mysql挂载用数据卷cd/data/software/mysqlmkdirconfmkdirlogmkdirdata3、创建mysql配置文件cd/data/software/mysql/conf vimmy.conf[client]#端口号port=3306[mysql]no-beepdefault-character......
  • MySQL的MTS（多线程复制）和GC（组提交）
    开启MySQL的MTS（多线程复制）和GC（组提交）的主要参数如下：MTS（多线程复制）参数：slave_parallel_workers：设置从库上可以并行执行的线程数量。例如：slave_parallel_workers=8slave_parallel_type：设置从库并行复制的类型，有两个选项：DATABASE：基于库级别的并行复制。LOGICAL_CLOCK：基......
  • MySQL数据库——存储引擎（InnoDB、MyISAM、MEMORY、ARCHIVE）
    大家好，这里是GoodNote，关注公主号：Goodnote，专栏文章私信限时Free。本文详细介绍MySQL数据库重要的存储引擎及其适用场景：InnoDB、MyISAM、MEMORY、ARCHIVE。文章目录MyISAMInnoDBMyISAMVSInnoDBMyISAM相较于InnoDB的优势MEMORYARCHIVEMEMORYVSARCHIVEM......

赞助商

阅读排行

网站主页关于我们联系我们网站地图

本网站内容转载自其他媒体，侵权联系[admin##ips99.com]。

Copyright © 2020-2023 IPS99 版权所有 IPS99