首页 > 数据库 >MySQL join语句怎么优化?

MySQL join语句怎么优化?

时间:2023-01-10 21:44:51浏览次数:44  
标签:语句 Join MySQL t1 驱动 join Nested Loop

在MySQL的实现中,Nested-Loop Join有3种实现的算法:

1、 Simple Nested-Loop Join:简单嵌套循环连接

2、 Block Nested-Loop Join:缓存块嵌套循环连接

3、 Index Nested-Loop Join:索引嵌套循环连接

MySQL 8.0.18版本推出了hash join的方式以替代BNLJ(缓存块嵌套循环连接)。提高非索引的join操作查询效率,这篇有关hash join并没有整理,以后会整理的!

一、原理篇

1、Simple Nested-Loop Join

比如:

SELECT *
FROM user u
LEFT JOIN class c ON u.id = c.user_id 

我们来看一下当进行 join 操作时,mysql是如何工作的:

当我们进行left join连接操作时,左边的表是驱动表,右边的表是被驱动表

特点

Simple Nested-Loop Join 简单粗暴容易理解,就是通过双层循环比较数据来获得结果,但是这种算法显然太过于粗鲁,如果每个表有1万条数据,那么对数据比较的次数

=1万 * 1万 =1亿次,很显然这种查询效率会非常慢。这个全是磁盘扫描!

因为每次从驱动表取数据比较耗时,所以MySQL即使在没有索引命中的情况下也并没有采用这种算法来进行连接操作,而是下面这种!

2、Block Nested-Loop Join

同样以上面的sql为例,我们看下mysql是如何工作的

SELECT *
FROM user u
LEFT JOIN class c ON u.id = c.user_id  

因为每次从驱动表取一条数据都是磁盘扫描所有比较耗时。

这里就做了优化就是每次从驱动表取一批数据放到内存中,然后对这一批数据进行匹配操作

这批数据匹配完毕,再从驱动表中取一批数据放到内存中,直到驱动表的数据全都匹配完毕。

这块内存在MySQL中有一个专有的名词,叫做 join buffer,我们可以执行如下语句查看 join buffer 的大小

show variables like '%join_buffer%'

思考,Join Buffer缓存的对象是什么,这个问题相当关键和重要。

Join Buffer存储的并不是驱动表的整行记录,具体指所有参与查询的列都会保存到Join Buffer,而不是只有Join的列。

比如下面sql

SELECT a.col3
FROM a JOIN b ON a.col1 = b.col2
WHERE a.col2 > 0 AND b.col2 = 0

上述SQL语句的驱动表是a,被驱动表是b,那么存放在Join Buffer中的列是所有参与查询的列,在这里就是(a.col1,a.col2,a.col3)。

也就是说查询的字段越少,Join Buffer可以存的记录也就越多!

变量join_buffer_size的默认值是256K,显然对于稍复杂的SQL是不够用的。好在这个是会话级别的变量,可以在执行前进行扩展。

建议在会话级别进行设置,而不是全局设置,因为很难给一个通用值去衡量。另外,这个内存是会话级别分配的,如果设置不好容易导致因无法分配内存而导致的宕机问题。

-- 调整到1M
set session join_buffer_size = 1024 * 1024 * 1024;
-- 再执行查询
SELECT a.col3
FROM a JOIN b ON a.col1 = b.col2
WHERE a.col2 > 0 AND b.col2 = 0

3、Index Nested-Loop Join

当我们了解Block Nested-Loop Join 算法,我们发现虽然可以将驱动表的数据放入Join Buffer中,但是缓存中的每条记录都要和被驱动表的所有记录都匹配一遍,

也会非常耗时,所以我们应该如何提高被驱动表匹配的效率呢?其实很简单 就是给被驱动表连接的列加上索引,这样匹配的过程就非常快,如图所示

上面图中就是先匹配索引看有没有命中的数据,有命中数据再回表查询这条记录,获取其它所需要的数据,但列的数据在索引中都能获取那都不需要回表查询,效率更高!


二、SQL示例

1、新增表和填充数据

-- 表1 a字段加索引 b字段没加
CREATE TABLE `t1` (
  `id` int NOT NULL AUTO_INCREMENT COMMENT '主键',
  `a` int DEFAULT NULL COMMENT '字段a',
  `b` int DEFAULT NULL COMMENT '字段b',
  PRIMARY KEY (`id`),
  KEY `idx_a` (`a`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

-- 表2
 create table t2 like t1;
-- t1插入10000条数据 t2插入100条数据
 drop procedure if exists insert_data;
 delimiter ;;
 create procedure insert_data()
 begin
 declare i int;
 set i = 1;
 while ( i <= 10000 ) do
 insert into t1(a,b) values(i,i);
  set i = i + 1;
 end while;
 set i = 1;
 while ( i <= 100) do
 insert into t2(a,b) values(i,i);
  set i = i + 1;
 end while;
 end;;
 delimiter ;
 call insert_data();

2、Block Nested-Loop Join算法示例

-- b字段没有索引
explain select t2.* from t1 inner join t2 on t1.b= t2.b; 
-- 执行结果
+----+-------------+-------+------------+------+---------------+------+---------+------+-------+----------+----------------------------------------------------+
| id | select_type | table | partitions | type | possible_keys | key  | key_len | ref  | rows  | filtered | Extra                                              |
+----+-------------+-------+------------+------+---------------+------+---------+------+-------+----------+----------------------------------------------------+
|  1 | SIMPLE      | t2    | NULL       | ALL  | NULL          | NULL | NULL    | NULL |   100 |   100.00 | NULL                                               |
|  1 | SIMPLE      | t1    | NULL       | ALL  | NULL          | NULL | NULL    | NULL | 10337 |    10.00 | Using where; Using join buffer (Block Nested Loop) |
+----+-------------+-------+------------+------+---------------+------+---------+------+-------+----------+----------------------------------------------------+

从执行计划我们可以得出一些结论:

  • 驱动表是t2,被驱动表是t1。所以使用 inner join 时,排在前面的表并不一定就是驱动表。

  • Extra 中 的 Using join buffer (Block Nested Loop) 说明该关联查询使用的是 BNLJ 算法。

上面的sql大致流程是:

  1. 将 t2 的所有数据放入到 join_buffer
  2. 将 join_buffer 中的每一条数据,跟表t1中所有数据进行比较
  3. 返回满足join 条件的数据

3、Index Nested-Loop Join 算法

-- a字段有索引
EXPLAIN select * from t1 inner join t2 on t1.a= t2.a;   

执行结果

从执行计划我们可以得出一些结论:

  1. 我们可以看出 t1的type不在是all而是ref,说明不在是全表扫描,而是走了idx_a的索引。

  2. 这里并没有出现 Using join buffer (Block Nested Loop) ,说明走的是Index Nested-Loop Join。

上面的sql大致流程是:

  1. 从表 t2 中读取一行数据
  2. 从第 1 步的数据中,取出关联字段 a,到表 t1 idx_a 索引中查找;
  3. 从idx_a 索引上找到满足条件的数据,如果查询数据在索引树都能找到,那就可以直接返回,否则回表查询剩余字段属性再返回。
  4. 返回满足join 条件的数据

发现这里效率最大的提升在于t1表中rows=1,也就是说因为idx_a 索引的存在,不需要把t1每条数据都遍历一遍,而是通过索引1次扫描可以认为最终只扫描 t1 表一行完整数据。


三、join优化总结

根据上面的知识点我们可以总结以下有关join优化经验:

  1. 在关联查询的时候,尽量在被驱动表的关联字段上加索引,让MySQL做join操作时尽量选择INLJ算法

2)小表做驱动表!

当使用left join时,左表是驱动表,右表是被驱动表,当使用right join时,右表是驱动表,左表是被驱动表,当使用join时,mysql会选择数据量比较小的表作为驱动表,

大表作为被驱动表,如果说我们在 join的时候明确知道哪张表是小表的时候,可以用straight_join写法固定连接驱动方式,省去mysql优化器自己判断的时间。

对于小表定义的明确

在决定哪个表做驱动表的时候,应该是两个表按照各自的条件过滤,过滤完成之后,计算参与 join 的各个字段的总数据量,数据量小的那个表,就是“小表”,应该作为驱动表。

3)在适当的情况下增大 join buffer 的大小,当然这个最好是在会话级别的增大,而不是全局级别

4)不要用 * 作为查询列表,只返回需要的列!

这样做的好处可以让在相同大小的join buffer可以存更多的数据,也可以在存在索引的情况下尽可能避免回表查询数据。



声明: 公众号如需转载该篇文章,发表文章的头部一定要 告知是转至公众号: 后端元宇宙。同时也可以问本人要markdown原稿和原图片。其它情况一律禁止转载!

标签:语句,Join,MySQL,t1,驱动,join,Nested,Loop
From: https://www.cnblogs.com/qdhxhz/p/16893154.html

相关文章

  • Mysql中的锁:表、MDL、意向锁、行锁
    元数据锁SHARE_READ/EXCLUSIVE:共享锁:在DQL/DML的时候给表加SHARE_READ/WRITE锁,与排它锁互斥作用:在A事务未提交的情况下,B事务不能修改表结构排他锁:在DDL的时候给......
  • 一条sql语句循环插入N条不同记录
    SETNOCOUNTONIF(OBJECT_ID('TB')ISNOTNULL)DROPTABLETBGOCREATETABLETB(IDINTIDENTITY(1,1),NAMEVARCHAR(40))GOINSERTINTOTB(NAME)......
  • Mysql切割字符串
     我们常常会遇到需要处理字段中字符串的需求,包括切割、拼接以及搜索等等,在这里介绍几个常用的切割字符串的函数,首先我们在表格中加入我们的实验字段值:https://www.cnblogs......
  • mysql 增量备份
    查询binlog日志是否开启showvariableslike'%log_bin%'查询表内容  flushlogs刷新日志  删除数据后测试 ......
  • mysql 入库时间不对,差8个小时
    极大可能是时区导致的mysql入库时间不对1.关注mysql时区2.关注系统时区3.关注jdbc链接时区(就是jdbc链接mysql的url是否设置了时区) 参考:https://guozh.net/mysql-ti......
  • mysql 时间段查询 SQL优化
    转https://blog.csdn.net/qq_34103387/article/details/125781283分析:目的取包含开始时间的1234时间段,排除AB段时间注意<>自行替换1.直接查4个段or连接((start_t......
  • mysql5.7 主从更改 同步位置信息
    更改同步位置,同步主机信息,同步用户信息等,需要先停掉从机,然后操作,进而启动slavemysql>stopslave;mysql>changemastertomaster_host='10.132.100.1';mysql>startsla......
  • 软件测试最常用的 SQL 命令(二) | 高级 Join 多表查询
    INNERJOIN:如果表中有至少一个匹配,则返回行LEFTJOIN:即使右表中没有匹配,也从左表返回所有的行RIGHTJOIN:即使左表中没有匹配,也从右表返回所有的行FULLJOIN:只要其中一个表中......
  • MySql主从复制
    MySql主从复制主从复制实现原理MySql主从复制是指数据可以从一个MySql数据库服务器主节点复制到一个或多个从节点。MySql默认采用异步复制方式,这样从节点不用一直访问主......
  • 快捷键:mysql + idea + 浏览器
    mysql快捷键:ctrl+r运行查询窗口的sql语句ctrl+shift+r只运行选中的sql语句ctrl+q打开一个新的查询窗口ctrl+w关闭一个查询窗口ctrl+/......