首页 > 数据库 >【性能优化】优雅地优化慢查询:缓存+SQL修改组合拳

【性能优化】优雅地优化慢查询:缓存+SQL修改组合拳

时间:2023-04-06 23:01:34浏览次数:34  
标签:缓存 请求 删除 数据库 更新 SQL 优化

问题描述

单例数据库模式中,后端高并发请求多(读多写少),导致数据库压力过大,关键接口响应变慢,严重影响体验。

需求

减少接口的响应时间。

寻找解决方案

由于问题主要处在数据库压力过大的情况,采用两种优化思路优化查询过程:

  1. 使用缓存分担数据库压力
  2. 对查询数据库过程做优化

缓存方案

更新策略

使用Redis,虽然可以很好地减少数据库的压力,但是同时在高并发的情况下,容易出现数据不一致的情况,尤其是在更新数据的时候。

最常见的导致不一致的原因是双写操作,即高并发情况下短时间内对数据库进行两次写操作。为了最小程度地出现这种情况,缓存在更新策略上采用先更新数据库后删除缓存的方式。

对于双写问题,在最坏情况下,写请求A在更新数据库后,被写请求B先一步更新数据库+删除缓存,然后A请求才删除缓存,也不会导致后续请求读取到错误的值。

对于先写后读,在最坏情况下,写请求A在更新数据库后,被读请求C先一步在缓存读取到旧值,然后A请求才删除缓存,也只会影响这段时间的读请求,删除后的读请求不影响。

对比其他方案(先更新缓存后更新数据库、先删除缓存后更新数据库、先更新数据库后更新缓存)在最坏情况下会导致的错误(更新数据库失败导致缓存是未知值、双写后数据库变成旧值、更新缓存失败导致缓存保存旧值)要好得多。

但是先更新数据库后删除缓存也不是完全安全的,除了上文提到的高并发下先写后读可能读到旧值外,若删除缓存失败,也有可能导致读到旧值。处理方法见下文。

缓存架构

添加缓存,势必要修改业务代码,如何配置架构才能把对代码的入侵性讲到最低,这里使用监听数据库binlog的方法,使用中间件监听mysql的日志,当出现操作时,通知专门的模块来修改缓存,做到修改缓存和业务逻辑解耦。

同时为了解决缓存删除失败的问题,当发生失败时,发送消息至消息队列传递给专门的模块进行重试删除。

中间件选择:

  • 缓存使用Redis
  • 监听binlog使用canal
  • 消息队列使用RocketMQ

架构如下所示:
架构示意图

SQL优化

查询优化可以从两个方面进行:

  1. 根据高频的查询case,遵循最左匹配原则,设置对应的索引或联合索引
  2. 通过了解业务场景,看看能否将一些小SQL合并成大SQL

标签:缓存,请求,删除,数据库,更新,SQL,优化
From: https://www.cnblogs.com/robinbin/p/17294552.html

相关文章

  • 缓存式的ViewPager&和其他手势控件冲突的解决办法
    一般来说ViewPager如果有很多页的话,会加载它的上一页,当前页和下一页,当从n页以后再想回到第一页,就会再加载一次,这样第一页很多操作后的数据就会被重置,原因是在PagerAdapter的destroyItem经常会移除View,类似下面这样的代码:@Overridepublicvoiddest......
  • Mybatis-动态SQL案例
    案例根据非id两个字段删除voiddeleteBatchRelation(@Param("entites")List<AttrAttrgroupRelationEntity>entites);<deleteid="deleteBatchRelation">deletefrompms_attr_attrgroup_relationwhere--遍历循环删除itemseparator是......
  • MYSQL基础知识之多表查询
    1、多表关系在数据表中,各个表结构之间存在着各种关系(一对一、一对多、多对多)。一对一关系:示例:学生与学生详情的关系,一个学生对应一个详细情况,一个详细情况对应一个学生。实现:在任意一方加入外键,关联另外一方的主键,并且设置外键为唯一的UNIQUE。一对多关系:示例:学生与班级的关......
  • .net webapi 客户端缓存 服务端缓存
    客户端缓存-ResponseCacheAttribute通过设置HTTP的响应头Cache-Control来完成页面存储到浏览器缓存中,如果请求在缓存有效期间就直接从浏览器缓存中取出数据。只需要在接口上方添加ResponseCacheAttribute特性即可设置客户端缓存。ResponseCacheAttribute可应用于:Razor......
  • Python ORM Pony SQLite数据库 常用操作
    Pony是一个高级的对象关系映射器ORM框架。Pony它能够使用Python生成器表达式和lambdas向数据库编写查询。Pony分析表达式的抽象语法树,并将其转换为SQL查询。支持SQLite,MySQL,PostgreSQL和Oracle等数据库,本文主要介绍PythonORMPony中SQLite数据库常用操作,及数据增加、删除、修......
  • 二。docker安装mysql 并配置
    1.docker安装mysql1.1使用docker拉取mysql的镜像dockerpullmysql:5.71.2通过镜像启动dockerrun-p3306:3306--namemymysql-v$PWD/conf:/etc/mysql/conf.d-v$PWD/logs:/logs-v$PWD/data:/var/lib/mysql-eMYSQL_ROOT_PASSWORD=123456-dmysql:5.7-p3306:3306:......
  • MYSQL数据库误赋权引发的血案
    赋权操作是DB最常规操作,只增加一个赋权,这都有坑吗?帮同事处理mysql赋权引发的故障案例,有代表性,避坑!!! 11:03 接到求助,系统完全打不开了。信息获取。Q1:哪个系统?xxx系统。Q2:什么报错?Access denied by for user ‘pqc_doa_up’@’172.26.154.68’(using password:YES)Q3......
  • Spring Cache使用方式——不用默认,使用redis进行缓存
    在SpringBoot项目中使用SpringCache的操作步骤(使用redis缓存技术)1、导入Maven坐标spring-boot-starter-data-redis、sping-boot-starter-cache2、配置application.ymlspring:cache:redis:time-to-live:1800000#设置缓存......
  • MATLAB代码:考虑灵活性供需不确定性的储能参与电网调峰优化配置
    MATLAB代码:考虑灵活性供需不确定性的储能参与电网调峰优化配置关键词:储能优化配置电网调峰风电场景生成 灵活性供需不确定性参考文档:《考虑灵活性供需不确定性的储能优化配置》复现其上层模型,下层模型未实现仿真平台:MATLAByalmip+cplex主要内容:代码主要做的是应用储能辅......
  • Matlab综合能源系统优化代码 考虑光热电站(CSP电站)和ORC的综合能源系统优化的建模求解
    Matlab综合能源系统优化代码考虑光热电站(CSP电站)和ORC的综合能源系统优化的建模求解程序中包含了新能源发电、ORC循环等,以运行成本、碳排放成本、弃风弃光惩罚成本等为目标函数,基于9节点电网、6节点气网、8节点热网、4节点冷网进行仿真分析。程序中注释详细,数据完整,计算结果可......