首页 > 数据库 >使用GTID同步RDS到自建mysql

使用GTID同步RDS到自建mysql

时间:2023-01-26 23:11:06浏览次数:77  
标签:主库 同步 slave RDS mysql 从库 GTID

使用GTID同步RDS到自建mysql   这篇博客应该是我春节结束前关于工作上的最后一篇博客。。。    在我上家公司里,经常做mysql传统方式下的主从同步,面试题也经常考。而这个GTID(全局事务标识)同步数据库,跟这个主从同步的部署很像,但相比更加简单,而且安全。   GTID的工作原理:

(1)当一个事务在主库端执行并提交时,产生GTID,一同记录到binlog日志中;(所以要确保主库打开了binlog日志)
binlog传输到slave,并存储到slave的relaylog后,读取这个GTID的这个值设置gtid_next变量,即告诉Slave,下一个要执行的GTID值;
(2)sql线程从relay log中获取GTID,然后对比slave端的binlog是否有该GTID;
如果有记录,说明该GTID的事务已经执行,slave会忽略;
如果没有记录,slave就会执行该GTID事务,并记录该GTID到自身的binlog,在读取执行事务前会先检查其他session持有该GTID,确保不被重复执行;
(3)在解析过程中会判断是否有主键,如果没有就用二级索引,如果没有就用全部扫描。
  简单回顾下,mysql主从配置过程
1、安装实例,确认基本配置一致
(1)主从数据库大版本一致,5.6同步5.6,5.7同步5.7,如果需要跨版本复制,从库版本 >= 主库版本号
(2)主从配置文件的server_id 要不一样,主库开启log-bin
(3)主库全量复制一份数据到从库上
2、准备从库基准数据,同时确定此基准数据对应主库上的同步点(二进制日志名:MASTER_LOG_FILE,MASTER_LOG_POS:偏移量值)的组合
3、使用准备的基准数据,启动从库
4、主库创建从库所需要的复制账号
5、change master,创建从库到主库的复制配置信息(ip,port,repl-user,repl_password,repl_pos)
6、start slave启动复制
7、show slave status 检测复制状态

 

一、部署 参考链接: (1)https://blog.csdn.net/baiuterfkcyj/article/details/116228215?spm=1001.2101.3001.6650.1&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7ERate-1-116228215-blog-113150590.pc_relevant_multi_platform_whitelistv3&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7ERate-1-116228215-blog-113150590.pc_relevant_multi_platform_whitelistv3&utm_relevant_index=2 (2)原理讲解可以看下这个: https://www.cnblogs.com/heijinli/p/13380389.html https://brucewayne2099.github.io/2019/09/26/%E4%BD%BF%E7%94%A8GTID%E5%A4%87%E4%BB%BD%E9%98%BF%E9%87%8C%E4%BA%91RDS%E5%88%B0%E8%87%AA%E5%BB%BAMYSQL/    我的测试环境:主库为阿里云RDS mysql 5.7.37,从库为自建 mysql 5.7.24(用的是rpm安装:mysql-5.7.24-1.el7.x86_64.rpm-bundle.tar)    使用GTID的话,主要是上面的第2步开始有所不同   1、配置主库,授权数据库和账号
create user '同步数据库账号'@'%' identified by '密码';
grant all privileges on 同步数据库名.* to '同步数据库账号'@'%';

 

2、配置从库,修改从库mysql的配置文件,需要打开gtid模式  cat /etc/my.cnf
。。。
####RDS to mysql ####
server-id                        =1001        #不可与RDS主库id相同
port                         =3306                    
replicate-do-db                    =   {需要同步的数据库名}

binlog_format                   = row                  #日志文件格式
log-bin                         = mysql-bin
log-bin-index                   = mysql-bin.index
relay-log                       = relay-log
relay_log_index                 = relay-log.index
slave-skip-errors               = all

gtid_mode                       = on   #开启GTID模式
enforce_gtid_consistency        = on   #强制GTID的一致性
log-slave-updates               = 1
sql_mode                        = NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES
。。。

 

3、配置主从同步

(1)进入RDS主库,查询GTID

show global variables like 'gtid_purged';

可以看到GTID由两个部分组成: source_id(GTID传递到从库的服务器ID):transaction_id(当前服务器上已提交事务的序列号,会一直变化)

(2)进入ECS自建的从库

mysql> stop slave;

mysql> set global gtid_purged = '0467af4a-5fc8-11ed-a559-00163e128475:1-11070,0794bfdb-5fc8-11ed-a07a-00163e147c49:1-1415';
注意:设置gtid_purged值时,gtid_executed值必须为空否则报错,该值清空的方法就是reset master命令 mysql>reset master;

(3)执行同步

mysql>CHANGE MASTER TO 
MASTER_HOST='rm-wzxxxxxxqzp8.mysql.rds.aliyuncs.com', 
MASTER_PORT=3306,                
MASTER_USER='同步账号',    
MASTER_PASSWORD='同步账号密码',
master_auto_position=1;

mysql>start slave;
mysql>show slave status\G;

 

  写的有点敷衍,没有做深究,纯粹留个纪念,代表有做过,哈哈哈~~~

 

标签:主库,同步,slave,RDS,mysql,从库,GTID
From: https://www.cnblogs.com/windysai/p/17068082.html

相关文章

  • MySql数据类型
    一、数值1、TINYINT1byte小整数值2、SMALLINT2bytes大整数值3、MEDIUMINT3bytes大整数值4、INT或INTEGER4bytes大整数值......
  • 《MySQL高级篇》十、数据库其他调优策略
    文章目录​​1.数据库调优的措施​​​​1.1调优的目标​​​​1.2如何定位调优问题​​​​1.3调优的维度和步骤​​​​第1步:选择适合的DBMS​​​​第2步:优化表设计​......
  • mysql存储过程和游标
    创建存储过程存储过程和定义函数相似,使用CREATEPROCEDURE 存储名(),BEGIN 和END之间为“函数体”。CREATETABLEBlog(authorVARCHAR(25),blogTEXT,......
  • MySQL高级【存储过程】
    1:存储过程1.1:介绍存储过程是事先经过编译并存储在数据库中的一段SQL语句的集合,调用存储过程可以简化应用开发人员的很多工作,减少数据在数据库和应用服务器之间的传输,对于......
  • 认真学习MySQL中的二进制日志(binlog)与中继日志(Relay log)
    binlog即binarylog,二进制日志文件,也叫作变更日志(updatelog)。它记录了数据库所有执行的DDL和DML等数据库更新事件的语句,但是不包含没有修改任何数据的语句(如数据查询语句se......
  • MySQL
    MySQL概述数据库相关概念数据库:存储数据的仓库,数据时有组织的进行存储,简称DataBase(DB)数据库管理系统:操纵和管理数据库的大型软件,简称DataBaseManagementSystem(DBM......
  • mysqldump最佳实践(2)
    ​导入存储过程、函数和触发器默认情况下,mysqldump导入视图和触发器。但是,它不导入过程、函数和事件。要导入过程和函数,应该指定--routines选项,要导入事件,应该指定--event......
  • Day03 - 事务索引查询及PyMySQL
    1.将查询结果插入到另一张表中思考目前只有一个goods表,我们想要增加一个商品分类信息,比如:移动设备这个分类信息,只通过goods表无法完成商品分类的添加,那么如何实现添加......
  • Day02 - MySQL的条件查询
    1.聚合函数聚合函数的介绍聚合函数又叫组函数,通常是对表中的数据进行统计和计算,一般结合分组(groupby)来使用,用于统计和计算分组数据。常用的聚合函数:1.count(co......
  • mysqldump最佳实践(1)
    1.空间需求首先,重要的是要确保目标数据库有足够的空间来保存导入的数据。具体来说,如果在目标MySQL数据库上启用了二进制日志,则需要非常谨慎,因为导入数据时生成的二进制日......