首页 > 数据库 >MYSQL因IN的范围太大导致索引失效问题

MYSQL因IN的范围太大导致索引失效问题

时间:2023-05-16 23:32:41浏览次数:47  
标签:阈值 扫描 id 索引 全表 MYSQL 失效 主键

背景

最近发现有个用于统计的门店串码激活数量的SQL特别慢,将其摘出来大致如下

SELECT a.sku_id as skuId,a.store_id as storeId,
count(*) as saleQty
FROM all_imei_info a
where
    a.activated_time >= 1675530000000
    and a.activated_time <= 1675616399999
    and a.store_id in ('1','2',....'23401')
group by a.sku_id,a.store_id

这张表中的activated_time和store_id均有索引,但是先线上explain时却是走的全表扫描。

当初写这个SQL的开发人员,本意是想按天统计当下所有门店的一个销量情况,但是错就错在,他先在外层将所有区域查出来,再放到统计SQL的IN语句里面,这样就会导致索引失效。

 在整个系统中有2w多个门店,而这个定时任务就是要每天把所有的门店都跑一下,所以说sotre_id in 就是把所有的storeId都放进来了。而mysql有个阈值,决定了阈值之下使用索引查询,而超过阈值,网上说当in的条件命中的数量超过30%时,索引失效,走全表扫描。

 后面放弃使用in的方式,直接改为连表查询,即可正常使用索引,速度快的飞起。

SELECT a.sku_id as skuId,a.store_id as storeId,
count(*) as saleQty
FROM all_imei_info a
where
    a.activated_time >= 1675530000000
    and a.activated_time <= 1675616399999
    and a.store_id in (select store_id from store_table where is_del = 0)
group by a.sku_id,a.store_id

MySQL中IN数据范围不同导致索引使用不同

EXPLAIN:explain 命令获取 select 语句的执行计划,通过 explain我们可以知道以下信息:表的读取顺序,数据读取操作的类型,哪些索引可以使用,哪些索引实际使用了,表之间的引用,每张表有多少行被优化器查询等信息

其中explian结果中的type字段很明显提现是否用到索引。

常见的扫描方式:

 

system:系统表,少量数据,往往不需要进行磁盘 IO
const:常量连接(通常情况下,如果将一个主键放置到where后面作为条件查询,mysql优化器就能把这次查询优化转化为一个常量。)
eq_ref:主键索引 (primary key) 或者非空唯一索引 (unique not null) 等值扫描
ref:非主键非唯一索引等值扫描(查找条件列使用了索引而且不为主键和unique。)
range:范围扫描(有范围的索引扫描,相对于index的全表扫描,他有范围限制,因此要优于index)
index:索引树扫描(另一种形式的全表扫描,只不过他的扫描方式是按照索引的顺序)
ALL:全表扫描 (full table scan)
其中:MySQL索引扫描方式由快到慢依次为:

system > const > eq_ref > ref > range > index > ALL

下面展示查询sql及结果

当IN只有一个主键时:

MYSQL因IN的范围太大导致索引失效问题_主键

结果: type:const,走的主键索引。当IN多个主键时:

MYSQL因IN的范围太大导致索引失效问题_SQL_02

结果:type:range,此时仍然走了索引,但是效率降低了。

当IN范围继续扩大时:

MYSQL因IN的范围太大导致索引失效问题_主键_03

结果:type:all,没有走索引了,而是全表扫描。

结论:IN肯定会走索引,但是当IN的取值范围较大时会导致索引失效,走全表扫描。

原因是:mysql有个阈值,决定了阈值之下使用索引查询,而超过阈值则退化,优化器选择索引下潜。

MySQL优化器决定使用某个索引执行查询的仅仅是因为:使用该索引时的成本足够低。


本篇文章如有帮助到您,请给「翎野君」点个赞,感谢您的支持。



MYSQL因IN的范围太大导致索引失效问题_SQL_04

作者:翎野君


如果您喜欢或希望看到更多我的文章,可扫描二维码关注我的微信公众号《翎野君》。


转载文章请务必保留出处和署名,否则保留追究法律责任的权利。



标签:阈值,扫描,id,索引,全表,MYSQL,失效,主键
From: https://blog.51cto.com/lingyejun/6288006

相关文章

  • mysql从5.7升级到8.0的注意事项
    ####################################(1)sql_mode全局变量:在升级MySQL版本到8.0的过程中,需要关注sql_mode参数默认值的变化,8.0版本sql_mode不支持NO_AUTO_CREATE_USER,要避免配置的sql_mode中带有NO_AUTO_CREATE_USER(2)mysql_native_password插件:MySQL8.0.4开始,默认身份认证开始改变......
  • Oracle版面本的MySQL8.0的配置文件 my.cnf
    ##############################创建用户和用户组:groupaddworkuseraddwork  准备目录:mkdir-p/home/work/mysql_3306mkdir-p/home/work/mysql_3306/datamkdir-p/home/work/mysql_3306/etcmkdir-p/home/work/mysql_3306/tmpmkdir-p/home/work/mysql_3306/logmkd......
  • Windows安装、配置、卸载MySQL教程
    MySQL是一个关系型数据库管理系统,目前为Oracle旗下产品,它具有开源、体积小、速度快的优点,许多网站使用的都是MySQL数据库。简单而言,MySQL数据库核心功能就是用来存储数据的。MySQL数据库分为社区版和商业版,这里介绍的是社区版的安装教程一、下载MySQL打开MySQL官网下载链......
  • mysql update语法 竟然不支持limit区间限制
    首先查询可以这样写,没毛病的SELECT*fromaLIMIT1000,2000 1.然后看一个不是区间的limit,更新满足条件的前1000条,没问题updateaseta.imp_date=4wherea.is_sync=0limit10002.这样写是错误的updateaseta.imp_date=4wherea.is_sync=0limit1001,2000......
  • .Net 5 CanalSharp Mysql CDC (增量同步,捕获变更数据)Docker 系列之 Canal (CDC 增量
    CanalSharp阿里云的解决方案,需要两部分Canal 服务端要和Mysql连在一起(目前我是用docker部署的服务)另外一部分就是CanalSharp单独的客户端服务(.Net5服务)CanalSharp文档可以参考:https://canalsharp.azurewebsites.net/zh/安装服务,可以点击下边的连接。Docker系列之Canal......
  • .NET 6 Mysql Canal (CDC 增量同步,捕获变更数据) 案例版
    之前业务需要捕捉到业务数据增量部分,并对其进行宽表处理,这也是其中的一个技术方案,方案主要是用了CDC的技术。CDC全称是ChangeDataCapture,捕获变更数据,是一个比较广泛的概念,只要是能够捕获所有数据的变化,比如数据库捕获完整的变更日志记录增、删、改等,都可以称为CDC。该功能被......
  • MySQL数据基础知识整理—1
     MySQL数据库在学习之前,我们要了解什么是MySQL数据库?MySQL数据库是一个开源的关系型数据库管理系统,我们可以使用SQL(StructuredQueryLanguage)作为开发语言,对数据进行操作,并且,该数据库支持多用户,多线程,多种存储引擎,因此被广泛的应用于Web开发中。    简单来说,MySQL数据库就......
  • 【Azure 应用服务】应用服务连接 Azure MySQL 一直失败,报错 Create connection error
    问题描述AppService上部署的Java应用,连接 AzureDatabaseforMySQL失败。错误信息:Createconnectionerror,url:jdbc:mysql://.......................communicationslinkfailure. 问题解答应用的错误信息提示为:与MySQL数据库建立连接失败。所以需要考虑如下几种......
  • MySQL日期时间加|减法
    日期加法selectdate_add(curdate(),intervalNSECOND);--加N秒selectdate_add(curdate(),intervalNMINUTE);--加N分钟selectdate_add(curdate(),intervalNHOUR);--加N小时selectdate_add(curdate(),intervalNday);--加N天selectdate_add(curdate(......
  • 几大索引失效原因
    1.带头大哥不能死这局经典语句是说创建索引要符合最左侧原则。例如表结构为u_id,u_name,u_age,u_sex,u_phone,u_time创建索引为idx_user_name_age_sex。查询条件必须带上u_name这一列。2.不在索引列上做任何操作不在索引列上做任何计算、函数、自动或者手动的类型转换,否则会进行全表扫......