首页 > 其他分享 >【查询分离】

【查询分离】

时间:2024-03-10 15:12:33浏览次数:22  
标签:方案 场景 分离 查询 MQ 数据

参考:

软件架构场景实战22讲   查询分离:表数据量大查询缓慢如何优化

背景:

数据量大,且关联多个子表、查询时间长索引优化不明显,冷热数据分离无法解决数据持续更新

  

使用场景:

  

实现思路

1、如何触发查询分离

  方案:修改业务代码:写入常规数据后,同步建立查询数据  

  

  方案:修改业务代码:写入常规数据后,异步建立查询数据

  

   方案:监控数据库日志:如有数据变更,更新查询数据  

  

   方案对比:  

  

   不同触发逻辑的适用场景

  

2、如何实现查询分离

   针对异步建立查询数据场景:业务代码简单,对写操作响应速度有要求;可引入MQ 

  

  MQ 宕机处理:  

  

  MQ作用:  

  

 3、查询数据如何存储

  

 4、查询数据如何使用

  数据查询更新完前,查询数据不一致怎么办?

  

历史数据如何迁移

  

查询分离方案不足点

 

标签:方案,场景,分离,查询,MQ,数据
From: https://www.cnblogs.com/clarino/p/18064205

相关文章

  • 创建前后分离管理后台
    创建前后分离管理后台概述我们利用VUEELEMENTADMIN来快速搭建属于自己的产品后台**备注:使用该后台模板开发需要掌握NodeJS、ES2015+、vue、vuex、vue-router、axios和element-ui等前端技术栈相关知识。克隆模板到本地克隆vue-element-admin完整模板到本地,主要作......
  • MySQL基础篇快速记忆和查询
    查询语法:SELECT标识选择哪些列FROM标识从哪个表中选择去重(Distinct)在SELECT语句中使用关键字DISTINCT去除重复行SELECTDISTINCTdepartment_idFROMemployees;过滤(Where)语法:SELECT字段1,字段2FROM表名WHERE过滤条件使用WHERE子句,将不满足条......
  • 【冷热分离】
    参考:冷热分离--表数据量大读写缓慢优化https://www.bilibili.com/video/BV19j41137Wp?p=2&vd_source=898d5514be58985430a49b46d5500c13  一、什么场景使用冷热分离 表数据量大读写缓慢,需优化,如果满足如下条件1、数据走到终态后,只有读没有写的需求,比如订单完结状态2、......
  • 读写分离 & 分库分表 & 深度分页
    什么是读写分离?见名思意,根据读写分离的名字,我们就可以知道:读写分离主要是为了将对数据库的读写操作分散到不同的数据库节点上。 这样的话,就能够小幅提升写性能,大幅提升读性能。一般情况下,我们都会选择一主多从,也就是一台主数据库负责写,其他的从数据库负责读。主库和从库之间会......
  • abc217E 带排序的查询
    题面:初始时有个空序列A,接下来有Q组操作,每个操作的格式如下:1x,将x追加到A的末尾。2,输出A开头的元素值,并移除。请求时保证A非空。3,对A中元素从小到大排序。范围:Q<=2E5;x<=1E9思路:用一个队列来维护还没有排序的元素,再用一个优先队列来维护已排序的元素。由于每次只能追加到末......
  • Mysql之查询语句
    前言:Mysql中查询语句是日常使用最频繁和复杂的语句,Mysql查询有单表查询和多表连接查询,以下通过案例来熟悉Mysql的查询语句。一、单表查询现有hellodb数据库和students等表mysql>SHOWDATABASES;+--------------------+|Database|+--------------------+|i......
  • MYSQL学习笔记22: 多表查询
    多表查询单表查询查询emp表select*fromemp;查询dept表select*fromdept;笛卡尔积(全组合)#emp表有4条记录,dept表有6条记录#笛卡尔积有4*6=24条记录select*fromemp,dept;消除无效的笛卡尔积(emp和dept通过dept_id连接)select*fromemp,deptw......
  • SQL mother查询语句
    题目教程网址:SQL之母基础查询select*fromstudent;selectxxx,xxxxasname,ddd,xxx*2asdouble_xxxfroma_tablewherexx>10ordd!=1andkk=9;别名,常量和运算,where,运算符(=,!=,>,<),逻辑运算(and,or,not)。模糊查询selectsomethingfroma_t......
  • 使用Tokeniser估算GPT和LLM服务的查询成本
    将LLM集成到项目所花费的成本主要是我们通过API获取LLM返回结果的成本,而这些成本通常是根据处理的令牌数量计算的。我们如何预估我们的令牌数量呢?Tokeniser包可以有效地计算文本输入中的令牌来估算这些成本。本文将介绍如何使用Tokeniser有效地预测和管理费用。大语言模型(如GPT)......
  • MYSQL学习笔记9: DQL排序查询(升降序)
    DQL排序查询select字段列表from表名orderby字段1排序方式1,字段2排序方式2;排序方式ASC升序(默认)DESC降序如果是多字段排序,第一个字段值相同,会根据第二个字段的值进行排序,以此类推按年龄降序排序select*fromworkersorderbyagedesc;......