首页 > 数据库 >sql优化

sql优化

时间:2024-07-27 17:28:26浏览次数:16  
标签:count 索引 插入 sql 排序 优化 主键

目录

插入数据

大批量插入数据

主键优化

数据组织方式

页分裂

页合并

主键设计原则

order by 优化

group by优化

limit优化

count优化

update优化

插入数据
insert 优化
    批量插入    500-1000
    insert into tb_test values(,,),(,,),.....
手动提交事务
    start transaction
    ......................
    commit
主键顺序插入
    主键乱序插入:
    主键顺序插入:
大批量插入数据
如果一次性需要插入大批量数据,使用insert语句插入性能较低,此时可以使用mysql数据库提供的load指令进行插入。

注意:顺序插入性能高于乱序插入

主键优化
数据组织方式
在innoDB存储引擎中,表数据都是根据主键顺序组织存放的,这种存储方式的表称为索引组织表(index organized table IOT)
页分裂
页可以为空,也可以填充一半,也可以填充100%。每个页包含le2-N行数据(如果一行数据多大,会行溢出),根据主键排列。
页合并
当删除一行记录时,实际上记录并没有被物理删除,只是记录被标记(flaged)为删除并且他的空间变得允许被其他记录声明使用。当页中删除的记录达到 merge_threshold(默认为页的50%),innoDB会开始寻找靠近的页(前或后)看看是否可以将两个页合并已优化空间使用。
主键设计原则
满足业务需求的情况下,尽量降低主键的长度。
插入数据时,尽量选择顺序插入,选择使用auto_increment自增主键
尽量不要使用uuid做主键或者是其他自然主键,如身份证号。
业务操作时,避免对主键的修改。
order by 优化
Using filesort :通过表的索引或全表扫描,读取满足条件的数据行,然后在排序缓冲区sort buffer中完成排序操作,所有不是通过索引直接返回排序结果的排序都叫fileSort排序。
​
Using index:通过有序索引顺序扫描直接返回有序数据,这种情况即为using index,不需要额外排序,操作效率高。
根据排序字段建立合适的索引,多字段排序时,也遵循最左前嘴法则。
尽量使用覆盖索引
多字段排序,一个升序一个降序,此时需要注意联合索引在创建时的规则(asc/desc)
如果不可避免的出现filesort,大数据量排序时,可以适当增大排序缓冲区大小sort_buffer_size(默认256k)
group by优化
在分组操作时,可以通过索引来提高效率。
分组操作时,索引的使用也是满足最左前缀法则的。
limit优化
优化思路:一般分页查询时,通过创建 覆盖索引 能够比较好地提高性能,可以通过覆盖索引加子查询形式进行优化。
count优化
Myisam引擎把一个表的总行数存在了磁盘上,因此执行count(*)的时候会直接返回这个数,效率很高;
innoDB引擎就麻烦了,他执行count(*)的时候,需要把数据一行一行地从引擎里面读出来,然后累积计数。
count的几种用法
count()是一个聚合函数,对于返回的结果集,一行行地判断,如果count函数的参数不是null,累计值就加1,否则不加,最后返回累计值。
用法: count(*)、count(主键)、count(字段)、count(1)
count(主键)
innoDB引擎会遍历整张表,把每一行地 主键id值都取出来,返回给服务层。服务层拿到主键后,直接按行进行累加(主键不可能为null)
count(字段)
没有not null 约束: innoDB引擎会遍历整张表把每一行地字段值都取出来,返回给服务层,服务层判断是否为null,不为null,技术累加。有not null 约束:innoDB引擎会遍历整张表把每一行地字段值都取出来,返回给服务层,直接按行进行累加。
count(1)
innoDB引擎遍历整张表,但不取值。服务层对于返回的每一行,放一个数字‘1’进去,直接按行累加。
count(*)
innoDB引擎并不会全部字段取出来,而是专门做了优化,不取值,服务层直接按行进行累加。

按照效率排序的话,count(字段)<count(主键id)<count(1)<count(),所以尽量使用count().

update优化
innoDB行锁石针对索引加的锁,不是针对记录加的锁,并且该索引不能失效,否则会从行锁升级为表锁。

标签:count,索引,插入,sql,排序,优化,主键
From: https://blog.csdn.net/weixin_42376775/article/details/140715381

相关文章

  • MySQL存储过程
    目录介绍特点创建调用查看删除变量查看系统变量设置系统变量注意:用户定义变量赋值使用局部变量声明赋值if参数用法:casewhilerepeatloop游标条件处理程序介绍存储过程是事先经过编译并存储在数据库中的一段sql语句的集合,调用存储过程可以简化应用......
  • 1251 - Client does not support authentication protocol requested by server; cons
    错误记录:1251-Clientdoesnotsupportauthenticationprotocolrequestedbyserver;considerupgradingMySQLclient错误原因:mysql8之前的版本中加密规则是mysql_native_password,而在mysql8之后,加密规则是caching_sha2_password。解决方案:解决:①升级navicat驱动;②......
  • mysql安装以及多实例
    mysql安装启动----------------------------------------1.安装全流程yum源码编译rpm包装和卸载如何处理依赖关系都是要掌握的技能这里是,二进制解压即用#确认时间正确[root@tech-db-51/opt]#crontab-l*****ntpdate-untp.aliyun.com1.准备好包[root@......
  • MySQL索引
    索引的引入在数据库表中,查询某条数据记录通常就是遍历,遍历表中所有的数据,然后一条一条比对,因此注定它是O(N)的时间复杂度。由于数据库的数据是存储在磁盘上的,必然要进行大量IO数据的读取,冯诺依曼体系告诉我们,对磁盘数据的读取效率是远低于与内存中数据的,尽管存在局部性原理,O(N......
  • [RCTF2015]EasySQL 1
    目录题目分析源码分析注入位置正则过滤注入方式注入题目分析这道题目给源码了,但别人貌似都是黑盒做的,不管了,代码审计启动!源码分析注入位置注入的位置在changepwd.php<?phpsession_start();header("Content-Type:text/html;charset=UTF-8");require_on......
  • 从k8s容器丢包事件中掌握内核参数优化技巧
    引言  在k8s的使用场景中,容器不是仅仅能运行就算ok,往往还需要进行容器的内核参数优化和应用程序参数的调优,如在高并发的业务场景下,运行一个java程序,我们不仅需要对其JVM参数进行调优,而且需要对其所在的容器进行内核参数优化,这篇文章主要通过一次容器丢包事件介绍容器中内......
  • 深度解析Memcached:内存分配算法的优化之旅
    ......
  • 登录业务优化
    登录认证如果不进行登录认证(对访问用户的状态进行检查),就会出现越过登录直接访问数据的bug,为了应对这种情况,我们使用JWT令牌进行验证用户登录状态。令牌是一个字符串:承载数据,减少访问数据库次数防篡改JWT令牌:全称:JSONWebToken(https:lwt.iol)定义了一种简洁的、自......
  • 在 FastAPI 中更改来自 MySQL 的数据类型输入
    我的这一行有“serialize_response”错误:@app.get("/get-sensors/",response_model=List[Data])和这个:return{"status":"success","list":data}我该如何解决这个问题!我想获取字典类型的数据为了解决在FastAPI中更改来自MySQL的数据类型输入时遇到的......
  • 常用的NOSQL产品——redis(上)
    一,什么是NOSQLnosql[notonlysql]不仅仅是sql。所有非关系型数据库的统称。除去关系型数据库之外的都是非关系数据库。NOSQL和RDBMS的区别RDBMS--关系型数据库得到通称-高度组织化结构化数据。 -结构化查询语言(SQL)sql语句 -数据和关系都存储在单独的表中。-数据......