首页 > 数据库 >Mysql批量更新性能优化学习

Mysql批量更新性能优化学习

时间:2022-11-19 01:22:06浏览次数:39  
标签:语句 批量 Mysql update 更新 sql 优化 1000

转自:https://juejin.cn/post/7043596855829069861

1.更新

对表做多行更新的时候通常会遇到以下两种情况:

  1. 单语句批量更新(update a=a+1 where pk > 500)
  2. 多语句批量更新(update a=1 where pk=1;update a=12 where pk=7;...)

多语句批量更新脚本:

#!/bin/bash

start_time=`date +%s%3N`
/ssd/tmp/mysql/bin/mysql -h127.0.0.1 -uroot -P3316 -pabc123 -e "use test;source /ssd/tmp/tmp/1000/update.sql;"
end_time=`date +%s%3N`
echo "执行时间为:"$(($end_time-$start_time))"ms"

结果:

影响性能的地方主要原因: 

  1. 如果会话是auto_commit=1,每次执行update语句后都要执行commit操作。commit操作耗费时间较久,会产生两次磁盘同步(写binlog和写redo日志)。在进行比对测试时,尽量将多个语句放到一个事务内,保证只提交一次事务。 
  2. 向后端发送多语句时,后端每处理一个语句均会向client返回一个response包,进行一次交互。如果多语句使用一个事务的话,网络IO交互应该是影响性能的主要方面。之前在性能测试时发现网卡驱动占用cpu很高。//后面一句话的意思是,如果多语句使用一个事务,那么一次传输的数据请求就比较大,所以应该是传输数据占用内存、网络IO是主要影响。

 2.批量更新优化

2.1 使用prepare 

减少执行语句的解析时间来提高执行效率。但效率没有提升,一条update被拆分为2条,在MySQL客户端和MySQL进程之间的通讯次数增加了,所以增加了总耗时。

//具体没深入了解。

2.2 事务批量执行

以下脚本用于生成1000行update语句在一个事务内,更新c2的值等于1000以内的随机数:

#!/bin/bash
echo "begin;" > update.sql
for i in {1..1000}
do
        echo "update t1 set c2=$((RANDOM%1000+1)) where c1=$i;" >> update.sql
done
echo "commit;" >> update.sql

echo和print作用类似。生成sql语句如下:

 能明显优化:

 2.3 特殊sql

//没看,太复杂了。

 

标签:语句,批量,Mysql,update,更新,sql,优化,1000
From: https://www.cnblogs.com/BlueBlueSea/p/16905343.html

相关文章

  • Mysql批量插入性能优化学习
    转自:https://www.cnblogs.com/myseries/p/11191134.html1.批量insert1.1一条sql将单条insert改为批量insert,其实个人认为改为replaceinto更好,批量insert时,如果其中一......
  • MySQL启动时自动创建数据库
    一、背景及分析MysqL容器启动时,会自动创建一些必要的数据库,比如MysqL,这是官方默认的做法。但是,在实际中,还需要让MysqL自动创建我们自定义的数据库。本文就此应用场合进行......
  • MySQL关联查询
    一、关联查询1、概念在查询数据时,所需要的数据不只在一张表中,可能在两张或多张表中。这个时候,需要同时操作这些表来查询数据,即关联查询。关联查询所涉及到的表与表之间都......
  • 通过docker部署grafana和mysql
    阅读本文需要一定的Linux,Docker与MySQL知识,例如:会启动容器,进入容器;会创建表,会使用INSERT语句,会使用SELECT语句...1.简介2.网络设置-2.1docker网络......
  • MySQL
    数据库当中最基本的单位是表:table姓名性别年龄(列:字段)张三男20—->行(记录)李四女21王五男22数据库当中是以表格的形式表示数据的因为表......
  • MySQL的SQL优化常用30种方法[转]
    MySQL的SQL优化常用30种方法1、对查询进行优化,应尽量避免全表扫描,首先应考虑在where及orderby涉及的列上建立索引。2、应尽量避免在where子句中使用!=或<>操作符,......
  • 开发笔记1.1-配置可视化MySQL工具phpMyAdmin
    配置好phpMyAdmin前提是需要安装http服务器、php、phpMyAdmin1.安装http服务器#安装httpd服务器yuminstallhttpd#开启http服务器并设置开机启动sudosystemctlst......
  • MySQL 数据列长度超长处理策略 & STRICT_TRANS_TABLES
    对于一个数据库表column例如长度namevarchar(8)当用insert长度超过8的时候一般会报错,但有时候也会阶段报错。那具体跟什么有关系呢?其实就是sql_mode的配置有关,具体结论......
  • MYSQL性能优化的最佳20+条经验
    MYSQL性能优化的最佳20+条经验 2009年11月27日  陈皓 评论 169条评论  251,274人阅读今天,数据库的操作越来越成为整个应用的性能瓶颈了,这点对于Web应用尤其......
  • mysql导出 TIDB导入
    tiupdumpling-h10.10.14.229-P22066-uroot-p123456-t16-r200000-F256MiB-Btest_db-o's3://dsideal/HuangHai/TiDB?access-key=AK&secret-access-key=SK......