首页 > 其他分享 >集群技术,一主一从的部署和原理方式

集群技术,一主一从的部署和原理方式

时间:2024-07-16 19:30:23浏览次数:12  
标签:部署 source 一主一 集群 master mysql 服务器 日志 localhost

集群概述

所谓集群,就是将多台服务器集中在一起,同时处理用户对服务器的请求

比如,我们现在开启的这一台mysql服务器,可以同时处理1000个用户的请求,那么我们开启两个这样的服务器,就可以同时处理2000

数据库集群之间最重要的是数据一致性

Replication

集群图示:

请添加图片描述
类型:

  • M

  • M-S

  • M-S-S…

  • M-M

  • M-M-S-S

    M表示主服务器

    S表示从服务器

    需要从主服务器备份到从服务器,即主从复制

    我们需要通过配置,完成自动的主从复制

原理图示:

图示1
请添加图片描述
概念:

  1. 在主库上把数据更改(DDL DML DCL)记录到二进制日志(Binary Log)中。
  2. 从库和主库连接,此时从库会开启io现成和sql线程
  3. 备库I/O线程将主库上的日志复制到自己的中继日志(Relay Log)中。
  4. 备库SQL线程读取中继日志中的事件,将其重放到备库数据库之上。

集群案例

环境
  • 环境三部曲

    • 1.全新服务器-互相通信
    • 2.全新安装mysql8.0-分别安装
    • 3.配置域名解析

配置静态ip

  • 2台服务器ip分别是

  • 192.168.145.141

  • 192.168.145.142

  • 配置mysql8.0yum源头

    • 下载安装包
    • yum源 几台服务器都有,其中19,29,39,49安装yum源
    • mysql8.0安装包,19,29,39,49安装
  • 141服务器操作如下:

在19服务器下操作:

 wget https://dev.mysql.com/get/mysql80-community-release-el9-1.noarch.rpm
 yum install  mysql80-community-release-el9-1.noarch.rpm

 yum install   mysql-community-server  --downloadonly -y
find / -iname "*mysql*.rpm"  //查找包的位置

cd /var/cache/dnf/mysql80-community-22d3d3ecd3d92106/packages/

scp ./*.rpm 192.168.145.142:~/

141安装mysql
yum install -y *.rpm
启动数据库
systemctl start mysqld


grep 'password' /var/log/mysqld.log
mysqladmin -uroot -p'复制的密码' password "Lixinyi@123"

mysql -uroot -p'Lixinyi@123';
show databases;

其他同理

142:

  [root@localhost ~]# ls
  anaconda-ks.cfg                                         mysql-community-common-8.0.38-1.el9.x86_64.rpm
  install_mysql.sh                                        mysql-community-icu-data-files-8.0.38-1.el9.x86_64.rpm
  mysql-community-client-8.0.38-1.el9.x86_64.rpm          mysql-community-libs-8.0.38-1.el9.x86_64.rpm
  mysql-community-client-plugins-8.0.38-1.el9.x86_64.rpm  mysql-community-server-8.0.38-1.el9.x86_64.rpm
  
  [root@localhost ~]# chmod +x install_mysql.sh
  //开始安装
  [root@localhost ~]# ./install_mysql.sh
  
  
一主一从(M-S)(1)
  • 主(master1)

    • 部署一台新mysql服务器。准备好域名解析。

    • 准备数据1(验证主从同步使用)

      • master1

         create database master1db;
         create table master1db.master1tab(name char(50));
         insert into master1db.master1tab values (1111);
         insert into master1db.master1tab values (2222);
        
    • 开启二进制日志

      • master1

         [root@localhost ~]# vim /etc/my.cnf
         log_bin
         server-id=1
         [root@localhost ~]# systemctl restart mysqld
         重启生效
         
         ---------------------------------------------
         log_bin   开启二进制日志
         server-id 集群中二进制的编号 不要重复
        
    • 创建复制用户

      • master1
创建用户:
mysql> create user  'rep'@'192.168.145.%' identified by 'Lixinyi@123';
 
 授权:
 mysql>grant replication slave, replication client on *.* to 'rep'@'192.168.145.%' ;
下面是这条命令的详细解释:

grant: 这是SQL的关键字,用于授权用户特定的权限。
replication slave: 这个权限允许用户请求在主服务器复制二进制日志事件到从服务器,这通常用于MySQL的主从复制功能。

replication client: 这个权限允许用户查询主服务器或从服务器的状态,以及执行SHOW SLAVE 
STATUS和SHOW MASTER STATUS等命令。

on *.*: 这表示对所有数据库和所有表进行授权。
to ‘rep’@‘192.168.229.%’: 这表示将权限授予用户名为rep的用户,并且这个用户可以从192.168.229.*这个IP地址范围内的任何主机连接到MySQL服务器。这里的%是一个通配符,表示匹配该IP段内的任何具体IP地址。

简而言之,这条命令的意思是:“为从192.168.229.*这个IP地址范围内的任何主机连接到MySQL服务器的rep用户授予复制从服务器和复制客户端的权限”。这通常用于设置MySQL的主从复制功能,其中rep用户将用于从主服务器复制数据到从服务器。

备份master数据库的数据

  • master1

    刚才是先添加的数据,然后才开启的二进制日志。二进制日志中没有记录一开始添加数据的记录。

    所以需要我们对之前的数据先进行一个手动备份

    退出mysql登陆页
    
    mysqldump -uroot -p'Lixinyi@123' --all-databases --single-transaction --master-data=2 --flush-logs > `date +"%F-%H"`-mysql-all.sql
    
    
    # ls
    2024-07-15-14-mysql-all.sql 
    
    注释:
    --single-transaction  保持服务的可以用性,服务保持开机状态
    master-data=2         帮我开启记录 记录二进制节点的位置
    --flush-logs          刷新二进制日志  对二进制日志进行分割
    

    发送给另一台主机:

     scp -r ./2024-07-15-14-mysql-all.sql    192.168.145.142:/tmp
    
    

    观察二进制日志分割点:

     vim ./2024-07-15-14-mysql-all.sql
    
    查看第24行:
    CHANGE MASTER TO MASTER_LOG_FILE='localhost-bin.000002', MASTER_LOG_POS=157;
    
      • 准备数据2(验证主从同步使用)

      ​ 刚刚备份的是之前开始的数据,我们现在模拟真实的生产环境,在备份后,又产生了新的数据

      • master1

        mysql -uroot -p'Lixinyi@123'
        
        insert into master1db.master1tab values (33333333);
        insert into master1db.master1tab values (44444);
        
  • 从(master2)

    • 测试rep用户是否可用

      • master2

        部署数据库应用

        mysql -h master1 -urep -p'Lixinyi@123'
        
        用授权的账号登陆
        
        • 预防账户问题,防火墙、selinux都要关闭。
    • 启动服务器序号

      [root@localhost ~]#vim /etc/my.cnf
      不用在从设备上开启二进制日志,没有人向master2请求日志。
      
      server-id=2
      
      服务器ID是必须设置的。
      
      [root@localhost ~]# systemctl restart mysqld
      
      mysql -uroot -p'Lixinyi@123'
       测试服务器是否修改正确。能否正常登陆。
      
    • 手动同步数据

       mysql>  set sql_log_bin=0;
       mysql>  source /tmp/2024-07-15-03-mysql-all.sql
      
      注释:
       set sql_log_bin=0;  设置当前数据库服务器的二进制日志临时关闭
       
       source /tmp/2024-07-15-14-mysql-all.sql  根据日志文件还原数据库
      

      验证是否正确完成备份:

       
      mysql> show databases;
      +--------------------+
      | Database           |
      +--------------------+
      | information_schema |
      | master1db          |
      | mysql              |
      | performance_schema |
      | sys                |
      +--------------------+
      5 rows in set (0.00 sec)
      
      
      
      mysql> select * from master1db.master1tab;
      +------+
      | name |
      +------+
      | 1111 |
      | 2222 |
      +------+
      
      
    • 设置主服务器

      配置主从关系

mysql> change master to
master_host='192.168.145.142',
master_user='rep',
master_password='Lixinyi@123',
master_log_file='localhost-bin.000002',
master_port=3306,
master_log_pos=157;


ERROR 1064 (42000): You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'master to master_host='master1',master_user='rep',master_password='Lixinyi@123' at line 1

  • 原因:

    在MySQL 8.0中,CHANGE MASTER TO 语句用于配置复制。但是,从MySQL 8.0.14开始,该语句已经被弃用,并建议使用新的语句 CHANGE REPLICATION SOURCE TO

      CHANGE REPLICATION SOURCE TO
        SOURCE_HOST = '192.168.145.142',
        SOURCE_USER = 'rep',
        SOURCE_PASSWORD = 'Lixinyi@123',
        SOURCE_PORT = 3306,
        SOURCE_LOG_FILE = 'localhost-bin.000002',
        SOURCE_LOG_POS = 158;
    
      change replication source to
        source_host = '192.168.145.142',
        source_user = 'rep',
        source_password = 'Lixinyi@123',
        source_port = 3306,
        source_log_file = 'localhost-bin.000002',
        source_log_pos = 158;
    
      mysql> change replication source to source_host = '192.168.145.142',source_user = 'rep',source_password = 'Lixinyi@123',source_port = 3306,source_log_file = 'localhost-bin.000002',source_log_pos = 158;
      
    注意,二进制日志的位置,应该参照主服务器备份时生成的新位置。
    
    
    
  • 启动从服务器的复制线程

    mysql> start slave;
    
    
  • 查看启动状态(IO-YES/SQL-YES)

    show slave status\G;
    
    mysql> show slave status\G;
    *************************** 1. row ***************************
                   Slave_IO_State: Waiting for master to send event
                      Master_Host: master1
                      Master_User: rep
                      Master_Port: 3306
                    Connect_Retry: 60
                  Master_Log_File: localhost-bin.000003
              Read_Master_Log_Pos: 154
                   Relay_Log_File: localhost-relay-bin.000003
                    Relay_Log_Pos: 375
            Relay_Master_Log_File: localhost-bin.000003
                 Slave_IO_Running: Yes
                Slave_SQL_Running: Yes
    
    

    请添加图片描述

  • 从服务器查看数据库,看数据是否一致

    mysql> select * from master1db.master1tab;
    +----------+
    | name     |
    +----------+
    | 1111     |
    | 2222     |
    | 33333333 |
    | 44444    |
    +----------+
    
    3333,4444就是主从集群同步过来的数据
    
    
  • 返回主服务器(master1)更新数据,在从服务器(master2)观察是否同步。

    master1主服务器添加数据
    
    mysql> insert into master1db.master1tab values (55555);
    
    
    从master2查看数据:
    
    mysql> select * from master1db.master1tab;
    +----------+
    | name     |
    +----------+
    | 1111     |
    | 2222     |
    | 33333333 |
    | 44444    |
    | 55555    |
    +----------+
    已经同步了
    

    注意:

    如果从服务器添加了数据,主服务器是不会同步的

    不要这样操作,不要操作

    因为主从复制的原理,就是从服务器来同步主服务器,如果从服务器擅自添加数据,添加的数据就属于脏数据

    了解,不要去实验操作!!!!!

标签:部署,source,一主一,集群,master,mysql,服务器,日志,localhost
From: https://blog.csdn.net/l_789rty/article/details/140474182

相关文章

  • 基于SpringBoot+Uniapp的微信阅读小程序系统设计与实现(源码+lw+部署文档+讲解等)
    文章目录前言项目运行截图技术框架后端采用SpringBoot框架前端框架Vue可行性分析系统测试系统测试的目的系统功能测试数据库表设计代码参考数据库脚本为什么选择我?获取源码前言......
  • ELK平台部署
    一、ELK1.什么是ELK通俗来讲,ELK是由Elasticsearch、Logstash、Kibana三个开源软件的组成的一个组合体,ELK是elastic公司研发的一套完整的日志收集、分析和展示的企业级解决方案,在这三个软件当中,每个软件用于完成不同的功能,ELK又称为ELKstack,官方域名为elastic.co,ELKsta......
  • gitlab通过docker部署搭建
    企业级GitLab在Docker部署使用 一、部署gitlab这里使用的是Centos8,安装Docker环境,这里不说了,参考:https://www.cnblogs.com/wei325/p/15139701.htmlgitlab有ce版和ee版,ce版为免费版本;ee版为企业版本,需要收费;这里用ce版。1)拉取Gitlab镜像dockerpullgitlab/gitlab-ce......
  • 快速部署 HBase 测试环境
    快速部署HBase测试环境第一步:下载软件,在HBase官网下载最新版,找到bin,点击下载,比如我这里下载的是hbase-2.5.6-bin.tar.gz第二步:解压软件$tar-zxvfhbase-2.5.6-bin.tar.gz$cdhbase-2.5.6第三步:启动软件$./bin/start-hbase.sh$./bin/hbase-daemon.shstartthrif......
  • 基于 Vagrant 手动部署多个 Redis Server
    环境准备宿主机环境:Windows10虚拟机环境:Vagrant+VirtualBoxVagrantfile配置首先,我们需要编写一个Vagrantfile来定义我们的虚拟机配置。假设已经在D:\Vagrant\redis目录下创建了一个Vagrantfile,其内容如下:Vagrant.configure("2")do|config|config.vm.box="l......
  • 使用Spring Boot和Docker实现微服务的部署与扩展
    使用SpringBoot和Docker实现微服务的部署与扩展大家好,我是微赚淘客系统3.0的小编,是个冬天不穿秋裤,天冷也要风度的程序猿!在现代软件开发中,微服务架构被广泛采用,而SpringBoot和Docker是实现微服务架构的两大重要技术。本文将详细介绍如何使用SpringBoot和Docker实现微服务的部署......
  • GLM-4-9B-Chat WebDemo 部署报错:ValueError: too many values to unpack
    用开源大模型食用指南self-llm项目的GLM-4-9B-ChatWebDemo部署文档部署时遇到如下错误:ValueError:toomanyvaluestounpack(expected2)Traceback:File"/root/miniconda3/lib/python3.10/site-packages/streamlit/runtime/scriptrunner/script_runner.py",line552,......
  • Docker---最详细的服务部署案例
    提供python服务的docker一键部署,示例已配置负载均衡,不需要的在nginx.conf和docker-compose注释相关代码即可文件结构1、dockerfile#服务的dockerfile#服务依赖的镜像FROMpython:3.7#设置容器内服务的工作目录WORKDIR/app#复制当前文件夹所有文件到容器的工作......
  • 基于Java+SpringBoot+Vue的创新创业教育中心项目申报管理系统的设计与开发(源码+lw+部
    文章目录前言项目背景介绍技术栈后端框架SpringBoot前端框架Vue数据库MySQL(MyStructuredQueryLanguage)具体实现截图详细视频演示系统测试系统测试目的系统功能测试系统测试结论代码参考数据库参考源码获取前言......
  • ragflow本地部署的问题(文本解析不了)
    本文章主要介绍我在部署一个名叫ragflow的开源项目时所遇见的问题以及解决办法。对于这个其实对我的感触很大,因为我花费了一个星期的时间来寻找这个问题的办法,但是却不敬人意,于是我决定换一个思路来解决这个问题。下面就是我对这个问题的详细描述。在本地部署完ragflow后,并且......