首页 > 数据库 >Shell多线程备份数据库

Shell多线程备份数据库

时间:2023-04-19 18:56:01浏览次数:39  
标签:tmp 10 Shell read 备份 echo 12 test 多线程

Shell这么简单的脚本语言有多线程这一说吗?答案是有的。只不过它实现起来稍微有点难理解罢了,因为它借助了命名管道实现。所谓多线程就是原本由一个进程完成的事情现在由多个线程去完成。假如一个进程需要10小时完成的事情,现在分配10个线程,给他们分工,然后同时去做这件事情,最终可能就需要1小时。

本案例具体需求是这样的:

1)公司的业务量比较大,有100个数据库需要全量备份,而每个数据库的数据量高达几十GB,(注意,每一个库都为一个独立的实例,即有着独立的ip:port)。

2)预估每一个库的备份时间在30分钟左右

3)要求在5小时内备份完成

提示:要想在5小时内完成100个数据库的备份,需要使用shell脚本的多线程功能,一次性开10个线程同时并发备份10个数据库。

 

知识点一:使用xtrabackup备份MySQL数据库

Mysqldump对于导出几个G的数据库或几个表,还是不错的,速度并不慢。一旦数据量达到几十上百G,无论是对原库的压力还是导出的性能,mysqldump就力不从心了。Percona-Xtrabackup备份工具,是实现MySQL在线热备工作的不二选择,可进行全量、增量、单表备份和还原。

Xtrabackup官网下载地址:https://www.percona.com/downloads/Percona-XtraBackup-LATEST/,由于我的系统是Rocky8,所以在这里,我下载8.0.30版本。

wget https://downloads.percona.com/downloads/Percona-XtraBackup-LATEST/Percona-XtraBackup-8.0.30-23/binary/tarball/percona-xtrabackup-8.0.30-23-Linux-x86_64.glibc2.17.tar.gz

因为是二进制包,解压后可直接使用,将包解压到/usr/local/下

tar zxf percona-xtrabackup-8.0.30-23-Linux-x86_64.glibc2.17.tar.gz -C /usr/local/ln -s /usr/local/percona-xtrabackup-8.0.30-22-Linux-x86_64.glibc2.17/bin/xtrabackup  /usr/bin/

用xtrabackup做全量备份的命令是:

# xtrabackup --defaults-file=/usr/local/mysql/my.cnf --user=bakuser --password=your_pass  -S /tmp/mysql.sock --backup --target-dir=/data/backup/mysql/20221210

说明:在执行该备份操作之前,需要先创建一个用户bakuser(用户名自定义),并授予reload, lock tables, replication client, process, super等权限。备份数据将会放到/data/backup/mysql/20221210目录里面。

知识点二:文件描述符

文件描述符(缩写fd)在形式上是一个非负整数。实际上,它是一个索引值,指向内核为每一个进程所维护的该进程打开文件的记录表。当程序打开一个现有文件或者创建一个新文件时,内核向进程返回一个文件描述符。每一个unix进程,都会拥有三个标准的文件描述符,来对应三种不同的流:

文件描述符

名称

0

标准输入

1

标准正确输出

2

标准错误输出

除了上面三个标准的描述符外,我们还可以在进程中去自定义其他的数字作为文件描述符。每一个文件描述符会对应一个打开文件,同时,不同的文件描述符也可以对应同一个打开文件;同一个文件可以被不同的进程打开,也可以被同一个进程多次打开。

我们可以写一个测试脚本/tmp/test.sh,内容如下:

#!/bin/bashecho "该进程的pid为$$"exec 1>/tmp/test.log 2>&1ls -l /proc/$$/fd/

执行该脚本 sh /tmp/test.sh,然后查看/tmp/test.log:

# cat /tmp/test.log总用量 0lrwx------ 1 root root 64 12月 10 10:06 0 -> /dev/pts/0l-wx------ 1 root root 64 12月 10 10:06 1 -> /tmp/test.logl-wx------ 1 root root 64 12月 10 10:06 2 -> /tmp/test.loglr-x------ 1 root root 64 12月 10 10:06 255 -> /tmp/test.sh

说明:exec将脚本后续指令的正确和错误输出重定向到了/tmp/test.log,所以查看该文件就会看到以上内容。关于exec命令,我们再来看一个直观的例子:

# exec > /tmp/test# echo "123123"# echo $PWD# lalala-bash: lalala: 未找到命令# exec > /dev/tty# cat /tmp/test123123/root
说明:通过上面的例子,可以发现,当执行exec后,其后面的命令的标准正确输出全部写入到了/tmp/test文件中,而错误的还是在当前终端上显示,要想退出这个设置,需要重新定义exec的标准输出为/dev/tty。

知识点三:命名管道

我们前面在shell脚本中多次用过这个管道符号'|',这个叫做匿名管道,也就是说它并没有名字,而这里提到的管道叫做命名管道,功能和那个匿名管道基本上是一样的。命名管道,英文名First In First Out,简称FIFO。命名管道有如下特点:1)在文件系统中,FIFO拥有名称,并且是以设备特殊文件的形式存在的;2)任何进程都可以通过FIFO共享数据;3)除非FIFO两端同时有读与写的进程,否则FIFO的数据流通将会阻塞;4)匿名管道是由shell自动创建的,存在于内核中,而FIFO则是由程序创建的(比如mkfifo命令),存在于文件系统中;5)匿名管道是单向的字节流,而FIFO则是双向的字节流;可以使用mkfifo命令创建一个命名管道:
# screen# mkfifo  123.fifo  # echo "121212" > 123.fifo  //此时被阻塞,因为我们只是在管道里写入内容了,并没有其他的进程读这个内容

按ctrl+a 再按d,退出该screen

# cat  123.fifo  //此时可以看到121212内容,然后再进入screen去看刚才的echo那条命令已经结束了。

我们可以把命名管道和文件描述符结合起来:

# mkfifo test.fifo # exec 100<>test.fifo   //这样可以把fd100的读和写全部指定到test.fifo中# ls -l /dev/fd/100  //可以看到fd100已经指向到了/root/test.fifolrwx------. 1 root root 64 12月 10 10:08 100 -> /root/test.fifo  

 

知识点四:read命令

在shell脚本中,read命令使用还是比较多的,最典型的用法是,和用户交互,如下:

# read -p "Please input a number: " nPlease input a number: 5  [root@aming-master ~]# echo $n5

如果不使用-p选项,也可以这样使用:

# read name  //name为变量名,这样也是在给name变量赋值aming# echo $nameaming

read的-u选项后面可以跟fd,如下:

# read -u10 a //这样会把fd10里面的字符串赋值给a
注意,这里的fd10就是前面我们定义的test.fifo,如果你的fd10里还没有任何的内容写入,那么你执行上面这条命令会卡着不动。因为fd10是一个命名管道文件,只有写入了东西,read才会读到,否则就一直卡着,等待写入内容。当然,这个命名管道文件可以写入多行,先储存起来,然后等着read去读。
# echo "123" >&10# echo "456" >&10  //连续在fd10中写入两次内容# read -u10 a  //第一次读取fd10里的第一行# echo $a123# read -u10 a  //第二次读取fd10里的第二行# echo $a456

 

知识点五:wait命令

wait命令顾名思义就是等待的意思,即等待那些在没有完成的任务(主要是后台的任务),直到所有任务完成后,才会继续执行wait以后的指令,常用于shell脚本中。以下是关于wait指令的示例:
# sleep 5 &# wait   //此时会卡死不动,直到上面的后台指令执行完,才会有反应。

 

知识点六:结合命名管道和read实现多线程

命名管道有两个很明显的特点:

1)先进先出,比如上例中我们给fd10写入了两行内容,则第一次read第一行,第二次read第二行。

2)有内容read则执行,没有则阻塞,例如上例中,read完两次后,如果你再执行一次read,则它就会一直卡着,直到我们再次写入新的内容它才会read到

利用这两个特点,我们就可以实现shell的多线程了,先看这个例子:

#!/bin/bash#创建命名管道123.fifo文件mkfifo 123.fifo#将命名管道123.fifo和文件描述符1000绑定,即fd1000的输入输出都是在123.fifo中exec 1000<>123.fifo#连续向fd1000中写入两次空行echo >&1000echo >&1000#循环10次for i in `seq 1 10`do    #每循环一次,读一次fd1000中的内容,即空行,只有读到空行了,才会执行{ }内的指令    #每次循环都需要打印当前的时间,休眠1秒,然后再次向fd1000中写入空行,这样后续的read就有内容了    #read指令不仅可以赋值,也可以跟一个函数,用{ }括起来,函数中是多条指令    read -u1000    {        date +%T        echo $i        sleep 1        echo >&1000    } &  #丢到后台去,这样10次很快就循环完,只不过这些任务是在后台跑着。由于我们一开始就向fd1000里写入了两个空行,所以read会一次性读到两行。done#等待所有后台任务执行完成wait#删除fd1000exec 1000>&-#删除命名管道rm -f 123.fifo

执行脚本结果如下:

10:12:0210:12:021210:12:0310:12:033410:12:04510:12:04610:12:05710:12:05810:12:0610:12:06910
可以看到,原本需要10秒完成的事情,现在需要5秒就搞定了,这说明并发量为2,即两个线程同时执行任务。要想5个线程,那么在一开始的时候,直接向fd1000写入5个空行即可。

本案例参考脚本

#!/bin/bash#多线程备份数据库#作者:阿铭#日期:2022-12-10#版本:v1.5##假设100个库的库名、host、port以及配置文件路径存到了一个文件里,文件名字为/tmp/databases.list##格式:db1 10.10.10.2 3308 /data/mysql/db1/my.cnf##备份数据库使用xtrabackupexec &> /tmp/mysql_bak.logif ! which xtrabackup &>/dev/nllthen    echo "安装xtrabackup工具"    wget https://downloads.percona.com/downloads/Percona-XtraBackup-LATEST/Percona-XtraBackup-8.0.30-23/binary/tarball/percona-xtrabackup-8.0.30-23-Linux-x86_64.glibc2.17.tar.gz    tar zxf percona-xtrabackup-8.0.30-23-Linux-x86_64.glibc2.17.tar.gz -C /usr/local/  && ln -s /usr/local/percona-xtrabackup-8.0.30-22-Linux-x86_64.glibc2.17/bin/xtrabackup  /usr/bin/    if [ $? -ne 0 ]    then        echo "安装xtrabackup工具出错,请检查。"        exit 1    fifibakdir=/data/backup/mysql/`date +%F`bakuser=vyNctMbakpass=99omeaBHhfunction bak_data {    db_name=$1    db_host=$2    db_port=$3    cnf=$4    [ -d $bakdir/$db_name ] || mkdir -p $bakdir/$db_name    xtrabackup --defaults-file=$4 --host=$2  --port=$3 --user=$bakuser --password=$bakpass --databases=$1 --backup --target-dir=$bakdir/$1         if [ $? -ne 0 ]        then            echo "备份数据库$1出现问题。"        fi}fifofile=/tmp/$$mkfifo $fifofileexec 1000<>$fifofilethread=10for ((i=0;i<$thread;i++))do    echo >&1000donecat /tmp/databases.list | while read linedo    read -u1000    {        bak_data `echo $line`        echo >&1000    } &donewaitexec 1000>&-rm -f $fifofile

这个脚本有点复杂,需要琢磨一会儿。

标签:tmp,10,Shell,read,备份,echo,12,test,多线程
From: https://www.cnblogs.com/msjhw/p/17334334.html

相关文章

  • call bash shell script by dos command
     1.atfirstwehaveascriptsaytest.sh 2.tocallitweneedabashshellenvironmentinwindows,saycygwin 3.thenrunbelowcommand: C:\XXXX\Cygwin\bin\bash--login"/cygdrive/e/scripts/test.sh"  that'sit. ......
  • 如何处理 bash shell 变量中的斜杠(/)?
    #!/bin/bash##Ourpath_r1="/nfs/apache/logs/rawlogs/access.log"##Escapepathforsedusingbashfindandreplace_r1="${_r1//\//\\/}"#replace__DOMAIN_LOG_FILE__inoursample.awstats.confsed-e"s/__DOMAIN_LOG_FILE......
  • 900万大数据量 查询 更新 使用redis 多线程请求
    表A中有900多万数据,根据900万数据,查询数据并插入B表创建一个定时任务,定时查询配置条件,查询更新(查询更新使用多线程)预估时间,设置请求时间跟频率不想这么干:可以查看数据执行进度思路:设置一个运行队列runList里面是待执行的id设置一个失败队列failList里面是执行失败的i......
  • mysql备份脚本
    [root@node1scripts]#catmysql_bak.shBackup_Dir=/data/backup/mysql/dayuser=roothost=localhostpwd=rootif[!-d$Backup_Dir]thenmkdir-p$Backup_DirfiDB_Name=(information_schemaachievements_statistical_utf8mb4adv......
  • 四月学习之LVS shell脚本配置DR模型
    1、DS脚本配置#!/usr/bin/bashVIP=172.16.1.100RS1=172.16.1.5RS2=172.16.1.6PORT=80SCHEDULER=rrDEV=eth1:1case$1instart)#配置虚拟IP地址VIP cat>/etc/sysconfig/network-scripts/ifcfg-${DEV}<<-EOF TYPE=Ethernet BOOTPROTO=none DEFROUTE=y......
  • Python + Shell 巡检服务器
    1.背景团队维护多套业务系统,有支付系统、金融系统、数据系统、核验系统等二十多套业务系统,每套业务系统有10-50台服务器不等,当前团队中存在一套自动化巡检系统,每十分钟巡检一次,有异常可实时告警。但每天还需要人工登录服务器巡检两次,因人工巡检耗时长、漏巡风险大,需要一个运维巡......
  • NBU备份系统中oracle数据库自动恢复脚本
    #!/bin/bash#oracle数据库恢复源客户端主机名exportclient=dmzdb71cd/usr/openv/netbackup/bin/CONTROL=`./bplist-C${client}-t4-R/|awk-F:'NR==1{print$(NF)}'`;exportCONTROL;#恢复库Oracle环境变量exportORACLE_SID=moniexportORACLE_HOME=/u01/......
  • 基于LINUX系统下多线程贪吃蛇小游戏
    基于Ncurse图形库的C语言小游戏。涉及到,C变量,流程控制,函数,指针,结构体等知识内容,动态链表的创建和插入,以及释放。数组的遍历,#include<stdlib.h>#include<curses.h>#defineROW20#defineCOL20#defineROW_Snake2#defineCOL_Snake2#defineUP1#defineDOWN......
  • Shell脚本--case in
    当分支较多,并且判断条件比较简单时,使用casein语句就比较方便了。其基本格式为:caseexpressioninpattern1)statement1;;pattern2)statement2;;pattern3)statement3;;……*)statem......
  • Shell脚本--(())
    双小括号(())是BashShell中专门用来进行整数运算的命令,它的效率很高,写法灵活。但是,(())只能进行整数运算,不能对小数(浮点数)或者字符串进行运算。 1.(()) 使用(()) 的语法格式为:((表达式))通俗地讲,就是将数学运算表达式放在((和))之间。表达式可以只有一个......