首页 > 数据库 >SQL事前巡检插件

SQL事前巡检插件

时间:2024-04-11 10:00:18浏览次数:26  
标签:巡检 插件 平台 SQL table 执行

背景:

事故频发

•每年都会看到SQL问题引发的线上问题

不易发觉

•对于SQL性能问题测试在预发环境不易发现 •saas系统隔离字段在SQL条件中遗漏,造成越权风险 •业务初期SQL没问题,业务增长容易出现事故 •DBS慢SQL不支持实时报警,无法及时发现 •靠大家review代码总会出现遗漏

事后处理

•每次都是线上接口性能、数据库报警才意识到问题,再去优化SQL,此刻有可能引发线上的严重事故

 

思考:

通过人为去发现总是不靠谱的,而且更希望问题在测试和预发环境提前暴漏出来,尽量避免带到线上,是否可以通过技术手段提前发现问题?研发新工具来自动检测有问题的SQL?

流程设计:

 

 

 

行动:

通过开发SQL巡检检插件查实现问题SQL自动预警

1.利用SQL拦截器,拦截系统执行的SQL 2.开启异步线程池,不阻碍业务流程的执行,解析SQL,忽略具体入参数据和格式,MD5加密SQL语句,为了防止重复SQL执行,将之前拦截过的MD5值缓存,可以自定义缓存时间,这段时间内容不会解析相同的SQL 3.为了保障业务系统的稳定性,接入插件的时候支持手动数据源的注入,可以选择主或者从,来执行后续的explain/show create table操作 4.通过explain/show create table执行的结果,以及SQL语句通过http/MQ发送给SQL巡检平台 5.SQL巡检平台接受信息进行内容拆分,获取表名和条件; 6.首先通过执行计划分析:如:[possible_keys][key]分析索引是否使用,如未使用会及时预警通知,并记录到巡检平台; 7.其次进行表和查询条件分析,通过读取平台的配置,设置某一个表的查询条件的校验规则(支持正则表达),如:xxx_info表条件必须使用xxx_code,如不符合规则也会及时预警通知,并记录到巡检平台;

SQL风险预警

【描 述】SQL安全检测-table_name(表名)不符合条件规则:.*org_no.* (正则表达式) 【traceId】wewrerew234234242342 (请求ID) 【执行方法】com.XXX.XXX.XX.FINDBYID(mapper方法) 【SQL内容】select * from table_name where xxx=1 and yyy=2 【系统名称】所属系统

SQL风险预警

【描 述】SQL索引检测-table_name(表名)未使用索引; 【traceId】aa6ac6c89bec4f7dfdfdf74719ae583 (请求ID) 【执行方法】XXXXXMapper.selectResult (mapper方法) 【SQL内容】select * from table_name where xxx=1 and yyy=2 【系统名称】所属系统

1.巡检平台提供了一些报警阈值管理、校验规则管理等,来满足不同系统的不同表的不同要求 2.巡检平台同时会把有问题的SQL进行展示,支持一键分析,因为之前咱们已经获取到执行计划结果和建表语句,把这些信息交给chatgpt,通过大模型分析,并返回响应的建议,辅助用户进行治理

 

接入:

引入SQL巡检jar包,在数据源注册拦截器

</property>
        <property name="plugins">
            <list>
                <bean class="com.yzt.plugin.MysqlExplainInterceptor">
                    <property name="sysName" value="yzt-refund"/>
                    <property name="monitorSqlService" ref="monitorSqlServiceImpl"/>
                </bean>
            </list>
        </property>

指定重复SQL拦截时间段

@Override
public boolean warnFLag(String id) {
//缓存实现指定时间重复SQL上报拦截
    return false;
}
............

在我们的巡检平台根据配置的系统名称来自定义报警人和报警规则;

通过自动巡检、及时预警能提前在测试预发环境发现SQL存在的问题,进行修复,避免带到线上,同时可以给出问题SQL的优化建议,帮助研发快速修复;

标签:巡检,插件,平台,SQL,table,执行
From: https://www.cnblogs.com/Jcloud/p/18128166

相关文章

  • 软考数据库---2.SQL语言
    主要记忆:表、索引、视图操作语句;数据操作;通配符、转义符;授权;存储过程;触发器这部分等等整理一下:“”"1、数据定义语言。SQLDDL提供定义关系模式和视图、删除关系和视图、修改关系模式的命令。数据库DDL的全称是DataDefinitionLanguage。2、交互式数据操纵语......
  • Windows安装MySQL
    目录一、下载MySQL安装包1、选择版本以及Windows系统点击下载2、选择Nothanks,juststartmydownload.3、下载到指定目录解压即可二、添加环境变量三、添加配置文件四、初始化MySQL数据库服务器五、安装启动服务六、修改连接登录密码七、停止MySQL服务一、下载MySQL安装包官......
  • 批量修改字段字符集和表表字符集,sql生成
    表字符集修改SELECTCONCAT('ALTERTABLE',TABLE_NAME,'CONVERTTOCHARACTERSETutf8mb4;')FROMinformation_schema.TABLESWHERETABLE_SCHEMA='dataBaseName';表字段字符集修改SELECTCON......
  • Mysql基础
    MysqlMysql的介绍SQL(Structurequerylanguage)结构化查询语言SQL语言分为4个部分:DDL(定义)、DML(操作)、DQL(查询)、DCL(控制)1、DDL语句数据库定义语言:数据库、表、视图、索引、存储过程,例如CREATEDROPALTER2、DCL语句数据库控制语言:例如控制用户的访问权限GRANT、REVO......
  • MySql基础
    文章目录数据库相关概念数据库数据的存储方式优点数据库管理系统常见的关系型数据库管理系统MySQL数据库安装目录结构数据模型关系型数据库描述图E-R图SQL简介通用语法分类DDL--操作数据库--操作表DML--操作表DQL--查询表基础查询条件查询排序查询分组查询分页查询......
  • 解决MySQL安装错误:`The server quit without updating PID file`
    在MySQL安装或启动过程中,你可能会遇到如下错误信息:TheserverquitwithoutupdatingPIDfile(/var/lib/mysql/your_hostname.pid).这个错误通常表明MySQL服务器尝试启动时遇到了问题,导致它异常终止而未能更新PID文件。PID文件用于存储启动的MySQL服务进程的ID。本文旨......
  • SQL SERVER 从入门到精通 第5版 第二篇 第9章 视图的使用 读书笔记
      第9章视图的使用视图是一种常用的数据库对象,它将查询的结果以虚拟表的形式存储在数据中,视图并不在数据库中以存储数据集的形式存在.视图的结构和内容是建立在对表的查询基础之上的,和表一样包括行和列,这些行,列数据都来源于其所引用的表,并且是在引用视图过程中动......
  • 网上图书商城的设计与实现|SpringBoot+ Mysql+Java+ B/S结构(可运行源码+数据库+LW)图
    本项目包含可运行源码+数据库+LW,文末可获取本项目的所有资料。推荐阅读300套最新项目持续更新中.....最新ssm+java项目文档+视频演示+可运行源码分享最新jsp+java项目文档+视频演示+可运行源码分享最新SpringBoot项目文档+视频演示+可运行源码分享2024年56套包含java,ssm......
  • 游戏分享网站的设计与实现|SpringBoot+ Mysql+Java+ B/S结构(可运行源码+数据库+LW)手
    本项目包含可运行源码+数据库+LW,文末可获取本项目的所有资料。推荐阅读300套最新项目持续更新中.....最新ssm+java项目文档+视频演示+可运行源码分享最新jsp+java项目文档+视频演示+可运行源码分享最新SpringBoot项目文档+视频演示+可运行源码分享2024年56套包含java,ssm......
  • 汽车车辆租赁系统的设计与实现|SpringBoot+ Mysql+Java+ B/S结构(可运行源码+数据库+L
    本项目包含可运行源码+数据库+LW,文末可获取本项目的所有资料。推荐阅读300套最新项目持续更新中.....最新ssm+java项目文档+视频演示+可运行源码分享最新jsp+java项目文档+视频演示+可运行源码分享最新SpringBoot项目文档+视频演示+可运行源码分享2024年56套包含java,ssm......