首页 > 数据库 >MySQL数据库:Lock wait timeout exceeded; try restarting transaction问题解析及解决方案

MySQL数据库:Lock wait timeout exceeded; try restarting transaction问题解析及解决方案

时间:2024-06-04 16:23:00浏览次数:23  
标签:transaction Lock 数据库 线程 timeout MySQL schema id wait

MySQL数据库:Lock wait timeout exceeded; try restarting transaction问题解析及解决方案

一、背景描述
二、原因分析
三、解决方案
3.1 方案一 事务信息查询
3.2 方案二 如果杀掉线程依然不能解决,可以查找执行线程耗时比较久的任务,kill掉
3.3 方案三 innodb_lock_wait_timeout 锁定等待时间改大
3.4 方案四 优化SQL语句
一、背景描述
MySQL数据库,版本号为 5.7.37 。其中有一个设备数据消息表,数据量为 130万多条。设备订阅的MQTT消息定时的会添加新的消息到此消息表中。

在维护项目过程中,由于设备更换,导致历史数据无法与新更换的设备对应上,导致历史数据丢失。为了解决这个问题,临时解决方案就是把历史数据关联的字段更换成新安装的设备的值。于是便有了以下操作。

UPDATE device_data_message SET device_id = 45, pillar_id = 10086, collect_id = 64
WHERE monitor_id IN ( SELECT monitor_id FROM (SELECT monitor_id FROM device_data_message WHERE pillar_id = 10010 AND collect_type = 1) a );

上述SQL语句在本地电脑执行正常(执行时间为29秒)。达到预期效果。但是同样的SQL语句跑到开发环境就不行了,执行了100多秒后,直接报 Lock wait timeout exceeded; try restarting transaction 这样的错误。 

二、原因分析

因为使用的数据库为 MySQL,而 device_data_message 表的引擎是 InnoDB 表类型,此时会出现锁等待的情况,在出现锁等待时,会根据参数 innodb_lock_wait_timeout(默认50s)的配置,判断是否需要进行 timeout 的操作,如果等待时间超过了设置的时间就会报错。如下图所示:

按照经验和网上搜索列举锁等待超时出现的情况:

1、多台服务器同时操作同一数据库。
2、在同一事务内先后对同一条数据进行插入和更新操作。
3、同时对同一张表进行插入和更新操作。
4、事务A对记录C进行更新/删除操作的请求未commit时,事务B也对记录C进行更新/删除操作。此时,B会等A提交事务,释放行锁。当等待时间超过innodb_lock_wait_timeout设置值时,会产生“LOCK WAIT”事务。
5、数据库内存不足,导致无法执行写操作。
6、瞬时出现高并发现象,Spring事务造成数据库死锁,后续操作超时抛出异常。

三、解决方案
可以使用 information_schema 查询数据库使用情况。information_schema 这个数据库保存了 MySQL 服务器所有数据库的信息。

如数据库名,数据库的表,表栏的数据类型与访问权限等。也就是说,这台 MySQL 服务器上,到底有哪些数据库、各个数据库有哪些表,每张表的字段类型是什么,各个数据库要什么权限才能访问等等信息都保存在 information_schema 库里面。

1、SELECT * FROM information_schema.INNODB_TRX; – 当前运行的所有事务
2、SELECT * FROM information_schema.INNODB_LOCKS; – 当前出现的锁
3、SELECT * FROM information_schema.INNODB_LOCK_WAITS; – 锁等待的对应关系

3.1 方案一 事务信息查询
通过SELECT * FROM information_schema.innodb_trx查询未提交事务,查到一个一直没有提交的只读事务(trx_state=”LOCK WAIT”),找到对应线程,执行:kill 线程ID。线程id为表中的trx_mysql_thread_id字段。

如果数据库中有锁的话,查看 innodb_trx就可以看到对应的信息。通过查询知道是哪条语句锁了,图中红色语句为占用系统资源的语句,我们需要杀掉这个锁,执行 kill 线程id号。上面这条记录的id为319618246 ,所以我们执行:kill 319618246即可。以下为执行前后对比:

 

执行以后的情况: 

 

3.2 方案二 如果杀掉线程依然不能解决,可以查找执行线程耗时比较久的任务,kill掉

执行SELECT * from information_schema.PROCESSLIST WHERE Time > 1000 AND USER = ‘xxx’ ORDER BY TIME desc;找到线程:kill 线程ID。

具体接成KILL 语句如下,然后批量KILL.

 

select concat('kill ', id, ';')  from information_schema.PROCESSLIST WHERE Time > 1000 AND USER = ‘xxx’ ORDER BY TIME desc;

 

3.3 方案三 innodb_lock_wait_timeout 锁定等待时间改大

修改超时时间将 #innodb_lock_wait_timeout = 50 修改为 innodb_lock_wait_timeout = 500。

缺点:全局更改,影响也是全局的,等待时间加长,容易使等待事务增多导致堆积问题。

3.4 方案四 优化SQL语句
对于我上面的更新操作的写法,优化了一下,效率提高了10倍左右。以下是优化后的写法:

即在数据库中创建一个临时表(比如下面的 t_test_a 表),用于存放上述SQL语句中查询出来的子结果避免使用IN字段导致扫描全表。

UPDATE device_data_monitor ddm INNER JOIN t_test_a tta ON ddm.monitor_id = tta.monitor_id
SET device_id = 45, pillar_id = 29, collect_id = 64

本文完结!

摘自:No8g攻城狮

原文链接:https://blog.csdn.net/weixin_44299027/article/details/135092678

 

标签:transaction,Lock,数据库,线程,timeout,MySQL,schema,id,wait
From: https://www.cnblogs.com/niewd/p/18231149

相关文章

  • MySQL数据库的安装
    MySQL数据库的安装【一】各种数据库的端口MySQL:3306Redis:6379MongoDB:27017Django:8000flask:5000【二】MySQL介绍MySQL是一个开源免费的关系型数据库管理系统,由瑞典MySQLAB公司开发,目前属于Oracle旗下公司。MySQL最流行的关系型数据库管理系统,在WEB......
  • 配置Mysql允许远程连接
    目录1.开通其他主机使用root登录的权限2.在安装mysql的本机上添加防火墙允许规则,允许33063.补充1.开通其他主机使用root登录的权限在搜索里搜索msyql进入命令行,输入密码;usermysql showtables;显示所有数据库,我们可以看到有一个名为user的表。selectHost,Use......
  • windows MySql 8免安装初并始化root权限和密码
    安装命令@ECHOOFFif"%1"=="h"gotobeginstartmshtavbscript:createobject("wscript.shell").run("""%~nx0""h",0)(window.close)&&exit:beginfltmc>nul||cd/d%~dp0&&mshtavbscript:......
  • Mysql实时数据监听高可用
    一、需求:数据实时监听在项目中有着重要的意义,例如某些项目需要监听数据库的变化,生成对应的元数据块,这个数据块为前端接口提供数据支撑或者数据计算使用,监听到某些数据的变化,及时提醒上游或下游服务等等。如何保证数据监听的高可用?本文用自身项目结构简易阐述,不喜勿喷。二、......
  • 适合小白学习的项目1901java体育馆管理系统Myeclipse开发mysql数据库web结构java编程
    一、源码特点java体育馆管理系统是一套完善的web设计系统,对理解JSPjava编程开发语言有帮助采用了java设计,系统具有完整的源代码和数据库,系统采用web模式,系统主要采用B/S模式开发。开发环境为TOMCAT7.0,Myeclipse8.5开发,数据库为Mysql,使用java语言开发。java体育馆管理系......
  • PySpark JDBC 读写 MySQL 数据库保姆级指南
    目录1.环境准备1.1安装PySpark1.2MySQLJDBC驱动2.PySparkJDBC连接配置2.1JDBCURL......
  • Springboot计算机毕业设计医院门诊小程序【附源码】开题+论文+mysql+程序+部署
    本系统(程序+源码)带文档lw万字以上 文末可获取一份本项目的java源码和数据库参考。系统程序文件列表开题报告内容研究背景随着移动互联网技术的迅猛发展,人们对于医疗服务的便捷性和高效性提出了更高要求。传统医院门诊流程复杂、耗时较长,已无法满足现代患者快速就医的需求......
  • Springboot计算机毕业设计医院排班&预约小程序【附源码】开题+论文+mysql+程序+部署
    本系统(程序+源码)带文档lw万字以上 文末可获取一份本项目的java源码和数据库参考。系统程序文件列表开题报告内容研究背景在现代医疗服务体系中,医生与患者的对接效率直接影响着医院的运营效率和患者的就医体验。传统的排班与预约方式往往存在信息更新不及时、预约流程繁琐......
  • 使用ansible自动化安装MySQL8的mysql-router+mysql-shell+mysql架构InnoDB ReplicaSet
    【说明】当前数据库MySQLCommunityServer8.4.0LTS版本已经发行,使用InnoDBReplicaSet架构自动化搭建 【自动化安装】使用ansible安装mysql-router+mysql-shell+mysqltreemysql8/mysql8/├──mysql_ms.yaml└──roles└──mysql_ms├──tasks......
  • MySql 使用 NOT IN 返回值包含null值,返回数据不全
      mysqlnotin()找不到nullstatusnin('100','200','300','500')换成statusin('400')isnottrue      来源:https://blog.csdn.net/qq_35387940/article/details/127959272?spm=1001.2101.3001.6650.17&......