首页 > 数据库 >MySQL导入数据小技巧:在不影响业务的前提下,如何平稳迁移数据?

MySQL导入数据小技巧:在不影响业务的前提下,如何平稳迁移数据?

时间:2024-01-28 22:31:42浏览次数:36  
标签:pv 读取 MySQL 限速 导入 mysql 数据

MySQL导入数据小技巧:在不影响业务的前提下,如何平稳迁移数据?

生产案例:产品经理要求把B库里的表迁移到A库里。

问:在不影响业务的前提下,如何平稳迁移数据?

答:可以做限速,以每秒1MB的速度导入数据,这样CPU和磁盘IO不受影响。

shell> pv -a -q -t -L 1m test1.sql | mysql -S /tmp/mysql.sock -p123456 test


这条命令的限速思路是:

1) pv通过监控test1.sql的读取流量起到限速的目的

2) 它每秒只读取流量限制内的数据量(1MB)

3) 由于下游mysql只能以pv提供的数据为基础导入

4) 所以整个恢复速度就是pv限定的读取速度

5) 从而间接在导入端实现了限速控制

也就是说:pv通过控制文件读取速度,间接限定了mysql导入的速度。




标签:pv,读取,MySQL,限速,导入,mysql,数据
From: https://blog.51cto.com/hcymysql/9454254

相关文章

  • Python导入(import)模块的方法
    ​ Python中,导入(import)模块是一种常见的操作,用于加载模块或库的功能以便在当前的程序中使用。Python提供了几种不同的方式来导入模块,可以根据自己的需求选择合适的方式来导入所需的模块或函数。参考文档:Python导入(import)模块的方法-CJavaPy1、导入整个模块模块是扩展名......
  • Python Seaborn 基本数据排名分析
    ​ Python中使用Seaborn进行基本的数据排名分析通常涉及到可视化数据的分布和排名。Seaborn是一个基于Matplotlib的数据可视化库,提供了丰富的图表类型,使得数据分析更加直观。可以对数据进行初步的排名分析,了解数据的基本分布情况,从而为更深入的数据分析打下基础。1、条......
  • ES 制造测试数据方法。
      importrandomdata={"name":"tom","age":18}#复制100次copies=[data.copy()for_inrange(11)]aa='dddddddddd'#随机生成name和agea='{"index":{"_index":"dumpindex"}}'foritem......
  • mysqldump备份
     mysql备份:backup_dir='/data/backup/mysql'database_name='dbname'bak_save_days=7dd=`date+%Y-%m-%d-%H-%M-%S`if[!-d$backup_dir];thenmkdir-p$backup_dirfimysqldump--defaults-extra-file=/etc/mypass.txt--flush-logs--single......
  • Oracle数据类型的简单学习之一
    Oracle数据类型的简单学习之一背景因为信创安可替代的发展有很多项目提到了数据库切换到国产数据库的要求.一般情况是要求从Oracle/SQLServer迁移到国产的:达梦/瀚高/人大金仓/南大通用等数据库.但是因为Oracle作为数据库领域No.1的存在他对SQL的规范标准支持的并不是很......
  • logstash实现Mysql(Tidb)数据到Elasticsearch数据迁移(增量同步)
    1、下载Logstash和Elasticsearch,需要版本一致,本次使用版本均为7.8.0版本[root@zjkdata]#llelasticsearch-7.8.0-linux-x86_64.tar.gzlogstash-7.8.0.tar.gz-rw-r--r--.1rootroot31911256112月2815:39elasticsearch-7.8.0-linux-x86_64.tar.gz-rw-r--r--.1rootroo......
  • ES数据迁移方案,-自己总结 基于REINDEX_API`
     跨集群ES数据迁移:1.设置白名单在目标ES库(新库)reindex.remote.whitelist:["192.168.9.201:9200"][或者下面参数:reindex.remote.whitelist:"10.*:*"http.cors.enabled:truehttp.cors.allow-origin:"*"]  2.利用kibana修改新ES参数,防止刷新影响性能.   PUT_settings......
  • 数据库使用二进制表示的
    2.1——IC是集成电路的简称,有模拟ic和数字ic。IC的一个引脚只能表示0V和5V两种状态。二进制数的位数一般是8的倍数。8位二进制数被称为一个字节。字节是最基本的信息计量单位。2.2——数值的表现方法,进位计数制中各数位上可能有的数值的个数。十进制的基数是10,二进制数的基数是......
  • 快乐学Python,如何对数据进行清洗?(缺失值处理和重复值删除)
    上一篇文章中,我们介绍了通过pandas读取数据到DataFrame中之后,对DataFrame中数据的操作方式,这篇文章我们继续来介绍:数据清洗。即:当读取的数据出现缺失或异常时,我们如何对缺失的数据进行预处理。1、缺失值是什么?当我们从数据文件(CSV、Excel等)或者其他数据源加载到DataFrame中时,往......
  • 数据结构笔记(1)
    开个博客记录一下算法学习的内容------------------------------------分界线------------------------------------最近在acwing上学了数据结构之链表,栈,队列,KMP(都是采用数组进行模拟,比用struct实现更快)链表:像一个链子一样一个元素串着另一个元素。单链表:每个节点有一个值......