首页 > 数据库 >Mysql-sql优化

Mysql-sql优化

时间:2023-06-24 17:55:45浏览次数:45  
标签:sql 查询 role user Mysql NULL 优化 id select

1.查看SQL执行频率

分析当前数据库是查询频繁的,还是写入频繁的,一般都是查比较多咯。

MySQL 客户端连接成功后,通过show [session|global] status命令可以提供服务器状态信息。

show [session|global] status可以根据需要加上参数session或者global来显示对应级别的统计结果。

如果不写,默认使用参数是session。

  • session:当前连接的统计结果

  • global:自数据库上次启动至今的统计结果

查询结果中的Com_xxx 表示每个xxx语句执行的次数,我们通常比较关心的是以下几个统计参数。

参数 含义
Com_select 执行 select 操作的次数,一次查询只累加 1。
Com_insert 执行 INSERT 操作的次数,对于批量插入的 INSERT 操作,只累加一次。
Com_update 执行 UPDATE 操作的次数。
Com_delete 执行 DELETE 操作的次数。
Innodb_rows_read select 查询返回的行数。
Innodb_rows_inserted 执行 INSERT 操作插入的行数。
Innodb_rows_updated 执行 UPDATE 操作更新的行数。
Innodb_rows_deleted 执行 DELETE 操作删除的行数。
Connections 试图连接 MySQL 服务器的次数。
Uptime 服务器工作时间。
Slow_queries 慢查询的次数。
  • Com_

    这些参数对于所有存储引擎的表操作都会进行累计。

  • Innodb_

    这几个参数只是针对InnoDB 存储引擎的,累加的算法也略有不同。

示例:

-- 7个占位符
show status like 'Com_______';

image-20230624152123989

-- 查询innodb相关的
show GLOBAL status like 'Innodb_rows_%';

image-20230624153005996

2.定位低效率执行SQL

可以通过以下两种方式定位执行效率较低的 SQL 语句。

  • 慢查询日志

    通过慢查询日志定位那些执行效率较低的 SQL 语句,用--log-slow-queries[=file_name]选项启动时,mysqld 写一个包含所有执行时间超过 long_query_time 秒的 SQL 语句的日志文件。

  • show processlist

    慢查询日志在查询结束以后才记录,所以在应用反映执行效率出现问题的时候,慢查询日志也许并不能方便的定位问题。

    可以使用show processlist命令查看当前MySQL正在进行的线程,包括线程的状态、是否锁表等,可以实时地查看 SQL 的执行情况,同时对一些锁表操作进行优化。

1556098544349

  • id列

    用户登录mysql时,系统分配的"connection_id",可以使用函数connection_id()查看

  • user列

    显示当前用户。如果不是root,这个命令就只显示用户权限范围的sql语句

  • host列

    显示这个语句是从哪个ip的哪个端口上发的,可以用来跟踪出现问题语句的用户

  • db列

    显示这个进程目前连接的是哪个数据库

  • command列

    显示当前连接的执行的命令,一般取值为休眠(sleep),查询(query),连接(connect)等

  • time列

    显示这个状态持续的时间,单位是秒

  • state列

    显示使用当前连接的sql语句的状态,很重要的列。

    state描述的是语句执行中的某一个状态。一个sql语句,以查询为例,可能需要经过copying to tmp table、sorting result、sending data等状态才可以完成

  • info列

    显示这个sql语句,是判断问题语句的一个重要依据

3.explain分析执行计划

通过以上步骤查询到效率低的 SQL 语句后,可以通过 EXPLAIN或者 DESC命令获取 MySQL如何执行 SELECT 语句的信息,包括在 SELECT 语句执行过程中表如何连接和连接的顺序。

查询SQL语句的执行计划 :

explain select * from tb_item where id = 1;

1552487489859

explain  select * from tb_item where title = '阿尔卡特 (OT-979) 冰川白 联通3G手机3';

1552487526919

字段 含义
id select查询的序列号,是一组数字,表示的是查询中执行select子句或者是操作表的顺序。
select_type 表示 SELECT 的类型,常见的取值有 SIMPLE(简单表,即不使用表连接或者子查询)、PRIMARY(主查询,即外层的查询)、UNION(UNION 中的第二个或者后面的查询语句)、SUBQUERY(子查询中的第一个 SELECT)等
table 输出结果集的表
type 表示表的连接类型,性能由好到差的连接类型为
system ---> const -----> eq_ref ------> ref -------> ref_or_null----> index_merge ---> index_subquery -----> range -----> index ------> all
possible_keys 表示查询时,可能使用的索引
key 表示实际使用的索引
key_len 索引字段的长度
rows 扫描行的数量
extra 执行情况的说明和描述

3.1 准备工作

新建一个t_user、t_role、user_role表。

-- t_user
CREATE TABLE `t_user` (
  `id` varchar(32) NOT NULL,
  `username` varchar(45) NOT NULL,
  `password` varchar(96) NOT NULL,
  `name` varchar(45) NOT NULL,
  PRIMARY KEY (`id`),
  UNIQUE KEY `unique_user_username` (`username`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

-- t_role
CREATE TABLE `t_role` (
  `id` varchar(32) NOT NULL,
  `role_name` varchar(255) DEFAULT NULL,
  `role_code` varchar(255) DEFAULT NULL,
  `description` varchar(255) DEFAULT NULL,
  PRIMARY KEY (`id`),
  UNIQUE KEY `unique_role_name` (`role_name`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;


-- user_role
CREATE TABLE `user_role` (
  `id` int(11) NOT NULL auto_increment ,
  `user_id` varchar(32) DEFAULT NULL,
  `role_id` varchar(32) DEFAULT NULL,
  PRIMARY KEY (`id`),
  KEY `fk_ur_user_id` (`user_id`),
  KEY `fk_ur_role_id` (`role_id`),
  CONSTRAINT `fk_ur_role_id` FOREIGN KEY (`role_id`) REFERENCES `t_role` (`id`) ON DELETE NO ACTION ON UPDATE NO ACTION,
  CONSTRAINT `fk_ur_user_id` FOREIGN KEY (`user_id`) REFERENCES `t_user` (`id`) ON DELETE NO ACTION ON UPDATE NO ACTION
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

-- t_user
insert into `t_user` (`id`, `username`, `password`, `name`) values('1','super','$2a$10$TJ4TmCdK.X4wv/tCqHW14.w70U3CC33CeVncD3SLmyMXMknstqKRe','超级管理员');
insert into `t_user` (`id`, `username`, `password`, `name`) values('2','admin','$2a$10$TJ4TmCdK.X4wv/tCqHW14.w70U3CC33CeVncD3SLmyMXMknstqKRe','系统管理员');
insert into `t_user` (`id`, `username`, `password`, `name`) values('3','itcast','$2a$10$8qmaHgUFUAmPR5pOuWhYWOr291WJYjHelUlYn07k5ELF8ZCrW0Cui','test02');
insert into `t_user` (`id`, `username`, `password`, `name`) values('4','stu1','$2a$10$pLtt2KDAFpwTWLjNsmTEi.oU1yOZyIn9XkziK/y/spH5rftCpUMZa','学生1');
insert into `t_user` (`id`, `username`, `password`, `name`) values('5','stu2','$2a$10$nxPKkYSez7uz2YQYUnwhR.z57km3yqKn3Hr/p1FR6ZKgc18u.Tvqm','学生2');
insert into `t_user` (`id`, `username`, `password`, `name`) values('6','t1','$2a$10$TJ4TmCdK.X4wv/tCqHW14.w70U3CC33CeVncD3SLmyMXMknstqKRe','老师1');

-- t_role
INSERT INTO `t_role` (`id`, `role_name`, `role_code`, `description`) VALUES('5','学生','student','学生');
INSERT INTO `t_role` (`id`, `role_name`, `role_code`, `description`) VALUES('7','老师','teacher','老师');
INSERT INTO `t_role` (`id`, `role_name`, `role_code`, `description`) VALUES('8','教学管理员','teachmanager','教学管理员');
INSERT INTO `t_role` (`id`, `role_name`, `role_code`, `description`) VALUES('9','管理员','admin','管理员');
INSERT INTO `t_role` (`id`, `role_name`, `role_code`, `description`) VALUES('10','超级管理员','super','超级管理员');

--  user_role
INSERT INTO user_role(id,user_id,role_id) VALUES(NULL, '1', '5'),(NULL, '1', '7'),(NULL, '2', '8'),(NULL, '3', '9'),(NULL, '4', '8'),(NULL, '5', '10') ;

t_user表存储用户信息。

image-20230624165407527

t_role表存储角色信息。

image-20230624165450628

关系表user_role

image-20230624165524214

嗯,比较常见的场景。一个用户可能有多个角色,一个角色也可能对应着多个用户。

1556122799330

3.2 explain 之 id

id 字段是 select查询的序列号,是一组数字,表示的是查询中执行select子句或者是操作表的顺序,id 情况有三种 。

  • id 相同:表示加载表的顺序是从上到下

  • id 不同:id值越大,优先级越高,越先被执行。

  • id 有相同,也有不同,同时存在。

    id相同的可以认为是一组,从上往下顺序执行。

    在所有的组中,id的值越大,优先级越高,越先执行。

3.2.1 id相同

explain select * from t_role r, t_user u, user_role ur where r.id = ur.role_id and u.id = ur.user_id;

image-20230624170030074

3.2.2 id不同

explain select * from t_role where id = (select role_id from user_role where user_id = (select id from t_user where username = 'stu1'));

image-20230624170104831

-- 可以看到,上面的语句里最先被执行的是t_user的这个子查询
select id from t_user where username = 'stu1'

-- 然后走到了这个查询
select role_id from user_role where user_id =

-- 最后才在t_role得出了查询结果

3.2.3 id既有相同也有不同

3.3 explain 之 select_type

表示 SELECT 的类型

常见的取值,如下表所示,从上往下效率越来越低

select_type 含义
SIMPLE 简单的select查询,查询中不包含子查询或者UNION
PRIMARY 查询中若包含任何复杂的子查询,最外层查询标记为该标识
SUBQUERY 在SELECT 或 WHERE 列表中包含了子查询
DERIVED 在FROM 列表中包含的子查询,被标记为 DERIVED(衍生) MYSQL会递归执行这些子查询,把结果放在临时表中
UNION 若第二个SELECT出现在UNION之后,则标记为UNION ; 若UNION包含在FROM子句的子查询中,外层SELECT将被标记为 : DERIVED
UNION RESULT 从UNION表获取结果的SELECT

3.4 explain 之 table

展示这一行的数据是关于哪一张表的

3.5 explain 之 type

type 显示的是访问类型,是较为重要的一个指标,可取值为:

type 含义
NULL MySQL不访问任何表,索引,直接返回结果
system 表只有一行记录(等于系统表),这是const类型的特例,一般不会出现
const 表示通过索引一次就找到了,const 用于比较primary key 或者 unique 索引。因为只匹配一行数据,所以很快。
如将主键置于where中,MySQL 就能将该查询转换为一个常量。
const于将 "主键" 或 "唯一" 索引的所有部分与常量值进行比较。
eq_ref 类似ref,区别在于使用的是唯一索引,使用主键的关联查询,关联查询出的记录只有一条。常见于主键或唯一索引扫描
ref 非唯一性索引扫描,返回匹配某个单独值的所有行。
本质上也是一种索引访问,返回所有匹配某个单独值的所有行(多个)。
range 只检索给定返回的行,使用一个索引来选择行。 where 之后出现 between , < , > , in 等操作。
index index 类型只是遍历了索引树,通常比ALL 快,all 是遍历数据文件(index 与 all 的区别)。
all 将遍历全表以找到匹配的行

结果值从最好到最坏以此是:

NULL > system > const > eq_ref > ref > range > index > ALL

-- ref到range之间可以再细化下
NULL > system > const > eq_ref > ref 
> fulltext > ref_or_null > index_merge > unique_subquery > index_subquery 
> range > index > ALL

一般来说, 我们需要保证查询至少达到 range 级别, 最好达到ref 。

3.6 explain 之 key

possible_keys : 显示可能应用在这张表的索引, 一个或多个。 

key : 实际使用的索引, 如果为NULL, 则没有使用索引。

key_len : 表示索引中使用的字节数, 该值为索引字段最大可能长度,并非实际使用长度,在不损失精确性的前提下, 长度越短越好 。

3.7 explain 之 rows

扫描行的数量。

3.8 explain 之 extra

其他的额外的执行计划信息,在该列展示 。需要优化的前面两个,保持的是后面using index

extra 含义
using filesort 说明mysql会对数据使用一个外部的索引排序,而不是按照表内的索引顺序进行读取, 称为 “文件排序”, 效率低。
using temporary 使用了临时表保存中间结果,MySQL在对查询结果排序时使用临时表。常见于 order by 和 group by; 效率低
using index 表示相应的select操作使用了覆盖索引, 避免访问表的数据行, 效率不错。

4.show profile分析SQL

5.trace分析优化器执行计划

6.索引的使用

7.sql优化实例

标签:sql,查询,role,user,Mysql,NULL,优化,id,select
From: https://www.cnblogs.com/yang37/p/17501417.html

相关文章

  • Postgresql Toast 原理
    Toast在存储大型数据时,会将它存储在单独的表中(称为toast表)。因为postgresql的tuple(行数据)是存在在Page中的,Page的大小默认为8KB。postgresql不允许tuple跨页存储,所以当一行数据的某个列数据过大时,比如text类型的数据,超过了单页的大小,那么postgresql会将它压缩,切......
  • SQL Server 2016 安装教程
    1.数据库的安装:(1)通过微软官网下载,在浏览器访问https://msdn.itellyou.cn/(2)选择合适的版本,下载安装(本次教程使用SqlServer2016)。......
  • day112 - mybatis的查询与特殊sql语句
    mybatis查询与特殊语句查询普通语句/***根据id查询用户信息*@paramid*@return*/UsergetUserById(@Param("id")Integerid);​<!--UsergetUserById(@Param("id")Integerid);--><selectid="getUserById"resultType="com.......
  • 数据库内核:PostgreSQL 存储
    存储管理数据库管理系统的存储管理分级在数据库管理系统中存储管理的目的是:提供页或者元组集合的数据视图将数据库对象(例如表)映射到磁盘文件上管理数据与磁盘存储之间的传输使用缓冲区来减少磁盘/内存之间传输次数将加载的数据还原成为元组是使用访问方法......
  • 缓存优化
    前言:经过前面linux,redis,git的学习介绍,我们至此进入项目优化阶段1. 项目问题  1-1用户数量多,系统访问量大频繁访问数据库,系统性能下降,用户体验差2. 环境搭建  1-2将我们的项目推送远程仓库   1-2在创建一个新的分支,在次分支上进行项目优化将v1.0 分支也推送远程仓库2.1 m......
  • Mysql-概览
    Mysql-基本体系Mysql-索引Mysql-存储引擎......
  • Mysql-存储引擎
    存储引擎1.存储引擎概述和大多数的数据库不同,MySQL中有一个存储引擎的概念,针对不同的存储需求可以选择最优的存储引擎。存储引擎就是存储数据,建立索引,更新查询数据等等技术的实现方式。存储引擎是基于表的,而不是基于库的。所以存储引擎也可被称为表类型。Oracle,SqlServer......
  • Mysql-基本体系
    Mysql的体系结构概览1.1逻辑架构图整个MySQLServer由以下组成ConnectionPool:连接池组件ManagementServices&Utilities:管理服务和工具组件SQLInterface:SQL接口组件Parser:查询分析器组件Optimizer:优化器组件Caches&Buffers:缓冲池组件Pluggab......
  • Mysql-索引
    0.概述索引(index)是帮助MySQL高效获取数据的数据结构(有序)。索引是在数据库表的字段上添加的,是为了提高查询效率存在的一种机制。在数据之外,数据库系统还维护着满足特定查找算法的数据结构,这些数据结构以某种方式引用(指向)数据,这样就可以在这些数据结构上实现高级查找算法,这种数......
  • 使用lightdb-em或Prometheus+grafana监控lightdb/PostgreSQL
    lightdb提供了一体化的运维监控平台lightdb-em,支持集中式的监控所有的lightdb实例以及postgresql,包括单机、高可用、分布式。其架构如下: lightdb-em功能:  详细的使用可以参考官方文档,运维指南。安装包可从lightdb官网下载。如果不想使用lightdb-em......