首页 > 数据库 >备份MySQL binlog

备份MySQL binlog

时间:2024-09-13 09:17:00浏览次数:1  
标签:binlog -- 备份 MySQL 服务器 mysqlbinlog BACKUP

以前备份binlog时,都是先在本地进行备份压缩,然后发送到远程服务器中。但是这其中还是有一定风险的,因为日志的备份都是周期性的,如果在某个周期中,服务器宕机了,硬盘损坏了,就可能导致这段时间的binlog就丢失了。

而且,以前用脚本对远程服务器进行备份的方式,有个缺点:无法对MySQL服务器当前正在写的二进制日志文件进行备份。所以,只能等到MySQL服务器全部写完才能进行备份。而写完一个binlog的时间并不固定,这就导致备份周期的不确定。

从MySQL5.6开始,mysqlbinlog支持将远程服务器上的binlog实时复制到本地服务器上。

mysqlbinlog的实时二进制复制功能并非简单的将远程服务器的日志复制过来,它是通过MySQL 5.6公布的Replication API实时获取二进制事件。本质上,就相当于MySQL的从服务器。与普通服务器类似,主服务器发生事件后,一般都会在0.5~1秒内进行备份。

 

备份命令

mysqlbinlog --read-from-remote-server --raw --host=192.168.244.145 --port=3306 --user=repl --password=repl --stop-never  mysql-bin.000001

解释如下:

--read-from-remote-server:用于备份远程服务器的binlog。如果不指定该选项,则会查找本地的binlog。

--raw:binlog日志会以二进制格式存储在磁盘中,如果不指定该选项,则会以文本形式保存。

--user:复制的MySQL用户,只需要授予REPLICATION SLAVE权限。

--stop-never:mysqlbinlog可以只从远程服务器获取指定的几个binlog,也可将不断生成的binlog保存到本地。指定此选项,代表只要远程服务器不关闭或者连接未断开,mysqlbinlog就会不断的复制远程服务器上的binlog。

mysql-bin.000001:代表从哪个binlog开始复制。

除了以上选项外,还有以下几个选项需要注意:

--stop-never-slave-server-id:在备份远程服务器的binlog时,mysqlbinlog本质上就相当于一个从服务器,该选项就是用来指定从服务器的server-id的。默认为-1。

--to-last-log:代表mysqlbinlog不仅能够获取指定的binlog,还能获取其后生成的binlog,获取完了,才终止。如果指定了--stop-never选项则会隐式打开--to-last-log选项。

--result-file:用于设置远程服务器的binlog,保存到本地的前缀。譬如对于mysql-bin.000001,如果指定--result-file=/test/backup-,则保存到本地后的文件名为/test/backup-mysql-bin.000001。注意:如果将--result-file设置为目录,则一定要带上目录分隔符“/”。譬如--result-file=/test/,而不是--result-file=/test,不然保存到本地的文件名为/testmysql-bin.000001。

 

不足:

这个方式有个问题,对于常规的主从复制来说,如果主从直接的连接断开了,则从会自动再次连接,而对于mysqlbinlog,如果断开了,并不会自动连接。

 

解决方案:

可通过脚本来弥补上述不足。

#!/bin/sh
BACKUP_BIN=/usr/bin/mysqlbinlog
LOCAL_BACKUP_DIR=/backup/binlog/
BACKUP_LOG=/backup/binlog/backuplog

REMOTE_HOST=192.168.244.145
REMOTE_PORT=3306
REMOTE_USER=repl
REMOTE_PASS=repl
FIRST_BINLOG=mysql-bin.000001

#time to wait before reconnecting after failure
SLEEP_SECONDS=10

##create local_backup_dir if necessary
mkdir -p ${LOCAL_BACKUP_DIR}
cd ${LOCAL_BACKUP_DIR}

## 运行while循环,连接断开后等待指定时间,重新连接
while :
do
  if [ `ls -A "${LOCAL_BACKUP_DIR}" |wc -l` -eq 0 ];then
     LAST_FILE=${FIRST_BINLOG}
  else
     LAST_FILE=`ls -l ${LOCAL_BACKUP_DIR} | grep -v backuplog |tail -n 1 |awk '{print $9}'`
  fi
  ${BACKUP_BIN} --raw --read-from-remote-server --stop-never --host=${REMOTE_HOST} --port=${REMOTE_PORT} --user=${REMOTE_USER} --password=${REMOTE_PASS} ${LAST_FILE}

  echo "`date +"%Y/%m/%d %H:%M:%S"` mysqlbinlog停止,返回代码:$?" | tee -a ${BACKUP_LOG}
  echo "${SLEEP_SECONDS}秒后再次连接并继续备份" | tee -a ${BACKUP_LOG}  
  sleep ${SLEEP_SECONDS}
done

 

脚本解读:

1. 实际上定义了一个死循环,如果备份失败,则10s后重新连接。

2. 第一次运行时需指定FIRST_BINLOG的值,指从哪个binlog开始复制,一般为mysql-bin.000001。后续执行的时候就直接获取备份目录下最新的binlog,从最新的binlog开始复制。

 

总结:

1. 如果指定了--raw,mysqlbinlog获取事件后,并不会实时落盘,而是先保存在本地服务器的内存中,每4K刷盘一次。这也就减少了频繁的日志写操作。如果此时mysqlbinlog和主服务器之间的连接断开了,则内存中的binlog会马上刷新到磁盘中。

2. 尽管mysqlbinlog类似于从服务器,但从服务器上的relaylog却是实时存盘的,即从服务器获取主服务器产生的事件后,会实时写入到relaylog中。

3. 如果不指定--raw,这个时候会以文本格式存盘,此时,--result-file=/test/不能指定为目录,必须明确写上文件名,譬如--result-file=/test/1.sql,此时,mysqlbinlog获取事件后,是实时落盘的,不会每4K刷盘一次。

 来源:

https://www.cnblogs.com/ivictor/p/5502240.html

标签:binlog,--,备份,MySQL,服务器,mysqlbinlog,BACKUP
From: https://www.cnblogs.com/gdjgs/p/18411555

相关文章

  • PbootCMS无缝sqlite数据库转mysql数据库
    将PbootCMS的SQLite数据库无缝转换为MySQL数据库,可以遵循以下步骤。请注意,这里所说的“无缝”转换是指尽可能减少数据丢失和格式错误,但仍然需要确保转换后的数据能够正常工作。以下是详细的转换步骤:1.导出SQLite数据库打开SQLiteStudio或类似工具:使用SQLiteStud......
  • PbootCMS网站备份及恢复(搬家同理)
    在网站运营过程中,备份是非常重要的,因为随时都可能遇到各种问题,如服务器故障、黑客攻击等,这些问题都可能导致网站数据的丢失。如果没有备份,这些数据将无法恢复,这对网站运营者来说是非常致命的。PbootCMS的备份与恢复方法1.备份方法进入后台管理:登录PbootCMS后台管理系统......
  • 如何在删除ibdata1和ib_logfile的情况下恢复MySQL数据库
    昨天,有个朋友对公司内部使用的一个MySQL实例开启binlog,但是在启动的过程中失败了(他也没提,为何会失败),在启动失败后,他删除了ibdata1和ib_logfile,后来,能正常启动了,但所有的表通过showtables能看到,但是select的过程中却报“Tabledoesn'texist”。于是,建议他试试可传输表空间。同......
  • 【重学 MySQL】二十六、内连接和外连接
    【重学MySQL】二十六、内连接和外连接内连接(INNERJOIN)外连接(OUTERJOIN)总结在MySQL中,内连接和外连接是两种常见的表连接方式,它们在处理多个表之间的关系时发挥着重要作用。内连接(INNERJOIN)概念:内连接是连接操作中最常用的一种,它通过将两个表中满足连......
  • MySQL索引的深入学习与应用
    一、索引的基本概念 索引是数据库管理系统中用于加速数据检索的一种数据结构,其工作原理类似于书籍的目录,能够指引数据库系统快速定位到目标数据。通过减少数据扫描范围,索引显著提升了数据库的查询效率,特别是在处理大规模数据集时,效果尤为显著。索引数据通常存储在磁盘上......
  • mysql 使用binlog还原数据
    MySQL的二进制日志(BinaryLog,简称binlog)是MySQL数据库的一个重要功能,它记录了所有的修改数据库内容的操作(如INSERT、UPDATE、DELETE等),但不包括SELECT和SHOW这类操作。这些日志对于数据恢复、复制和数据审计等场景非常有用。1.确认binlog是否开启登录MySQL后,可以通过SH......
  • MySQL练习50道
    MySQL练习50道经典SQL练习题数据表介绍1.学⽣表Student(SId,Sname,Sage,Ssex)SId学⽣编号Sname学⽣姓名Sage出⽣年⽉Ssex学⽣性别2.课程表Course(CId,Cname,TId)CId课程编号Cname课程名称TId教师编号3.教师表Teacher(TId,Tname)TI......
  • MySQL安装
    MySql安装1、下载mysql安装包再mysql官方下载安装包2、删除依赖包#查找依赖包rpm-qa|grepmysqlrpm-qa|grepMySQLrpm-qa|grepmariadb#删除查询到的依赖包rpm-e--nodepsmariadb-libs-5.5.68-1.el7.x86_643、安装mysql#将安装包上传到linux中#my......
  • MySQL常用函数
    一、聚合函数1、max():计算指定列的最大值2、min():计算指定列的最小值3、count():计算指定列不为null的数据的数量4、sum():计算指定列的数值的和如果计算的列的类型不是数值类型,计算结果为05、avg():计算指定列的数值的平均值如果计算的列的类型不是数值类型,计算的结果......
  • Mysql--操作
    目录数据类型数据类型的属性1、整型2、浮点型(float和double)3、定点数(numeric等价于decimal)4、字符串(char,varchar,_text)5.二进制数据(xxxBLOB和xxxBINARY了解就行)6.日期时间类型7.位类型(bit)8.枚举(enum)9.集合(set)10.特殊的NULL类型基本操作DDL数据库管理create创建数据库sh......