首页 > 数据库 >【IT老齐074】海量数据大页码MySQL查询

【IT老齐074】海量数据大页码MySQL查询

时间:2024-03-26 16:15:00浏览次数:29  
标签:074 create MySQL 查询 老齐 LIMIT time ORDER SELECT

【IT老齐074】海量数据大页码MySQL查询

场景

1711420849635

分页最后数据查询慢,添加索引,索引失效

SELECT
	* 
FROM
	blog_browse_history 
ORDER BY
	create_time 
	LIMIT 500000,
	10;

1711421000702

查询优化

利用索引覆盖特性查找第50000页的起始时间,基于索引快速定位,向后取10条数据

SELECT
	* 
FROM
	blog_browse_history 
WHERE
	create_time >= ( SELECT create_time FROM blog_browse_history ORDER BY create_time LIMIT 5000, 1 ) 
ORDER BY
	create_time 
	LIMIT 10;

翻页优化

连续翻页,可利用上一页最后一条记录的时间作为下一页的查询起始时间,可以减少一次子查询

1711421704512

SELECT
	* 
FROM
	blog_browse_history 
WHERE
	create_time > '2021-03-20 :4:24' 
ORDER BY
	create_time 
	LIMIT 10;

重复数据处理

连续切换页还需要考虑出现大量重复数据的情况,在后续页查询额外需要增加偏移量处理

考虑使用id作为分页条件

标签:074,create,MySQL,查询,老齐,LIMIT,time,ORDER,SELECT
From: https://www.cnblogs.com/faetbwac/p/18096911

相关文章

  • 【IT老齐072】全文检索执行原理
    【IT老齐072】全文检索执行原理全文检索引擎就是对非结构化文本进行解析、搜索的技术非结构化文本的处理关键在于分词与倒排索引分词分词是指将一段文本中有用的词汇提取出来常见的中文分词算法Ngram穷举n=2语法分析+字典:按中文动名词分析推测外加分词字典维护爬......
  • 【IT老齐075】高可用架构避免单点经典方案Keepalived+VIP
    【IT老齐075】高可用架构避免单点经典方案Keepalived+VIP规避单点是高可用架构设置最基本的考量概念KeepalivedKeepalived是Linux轻量级别的高可用解决方案Keepalived主要是通过虚拟路由几余(VRRP)来实现高可用功能,Keepalived部署和使用非常的简单,所有配置只需要一个配置......
  • MySQL超大分页处理,以及优化思路说明。
    MySQL超大分页处理:MySQL中分页处理的方式:在MySQL中进行分页查询通常会使用LIMIT和OFFSET关键字来实现,下面是一种常见的方法:sqlCopyCodeSELECT*FROMyour_tableLIMIToffset,limit;offset表示起始行数,从0开始计数,即第一行为0。limit表示每页返回的行数。......
  • 【IT老齐057】Raft选举算法
    【IT老齐057】Raft选举算法用途Raft算法是分布式系统开发首选的共识算法主要在分布式集群架构下进行领导者(主节点)的确认。比如现在流行的组件Etcd、Consul、Nacos、RocketMQ、RedisSentinel底层都是采用Raft算法来确认集群中的主节点,再通过主节点向其他节点下发指令......
  • 【IT老齐058】Zookeeper解决分布式系统商品库存超卖问题
    【IT老齐058】Zookeeper解决分布式系统商品库存超卖问题场景解决方案传统的synchronized是无效的,它只针对一个JVM进程内多个线程起到同步作用,对跨进程无效。利用数据库select...forupdate语句对库存进行锁定,依赖数据库自身特性,遇到跨库(分库分表)处理起来比较麻烦。利用......
  • 【IT老齐061】BASE最终一致性
    【IT老齐061】BASE最终一致性CAP理论下,常用的AP方案的补全手段BasicallyAvailable(基本可用)Softstate(软状态)Eventuallyconsistent(最终一致性)基本可用就是快速实现用户的基本价值与诉求,“创建订单”后立即返回就是基本可用的体现软状态代表业务操作,没有最终完成前的中......
  • 【IT老齐062】缓存一致性
    【IT老齐062】缓存一致性CacheAsidePattern禁止先删缓存,后更新数据库推荐先更新数据库,在删除缓存极端情况延迟双删......
  • 【IT老齐063】秒杀场景下解决商品库存超卖问题
    【IT老齐063】秒杀场景下解决商品库存超卖问题超卖问题核心问题秒杀商品库存总量固定先到先得,瞬间并发极大,但写库量有限解决方案利用预减库存方式杜绝超卖利用Nginx+Lua在网关层面将无效请求阻挡利用MQ消息队列的限流特性保证MySQL不会被瞬间击垮APP需要额外设计......
  • MySQL官方使用手册(自译)
    Chatper1OverviewOfMySQLDBMSwhatisMySQLMySQL,themostpopularOpenSourceSQLdatabasemanagementsystem,isdeveloped,distributed,andsupportedbyOracleCorporation.TheMySQLwebsite(http://www.mysql.com/)providesthelatestinformationa......
  • 【IT老齐053】动静分离架构抗住超高并发访问
    【IT老齐053】动静分离架构抗住超高并发访问架构三大分离设计读写分离动静分离前后台分离概念有效区分页面中的动静数据是优化的关键前提静态数据是无个性化数据静态文件:HTML/CSS/JS/图片低频变动数据:字典数据/地区数据/组织架构历史数据动态数据就是个......