首页 > 数据库 >【Redis技术专区】「优化案例」谈谈使用Redis慢查询日志以及Redis慢查询分析指南

【Redis技术专区】「优化案例」谈谈使用Redis慢查询日志以及Redis慢查询分析指南

时间:2023-01-24 15:31:14浏览次数:39  
标签:Redis slowlog len 查询 命令 日志

前提介绍

本篇文章主要介绍了Redis的执行的慢查询的功能的查询和配置功能,从而可以方便我们在实际工作中,进行分析Redis的性能运行状况以及对应的优化Redis性能的佐证和指标因素。

在我们5.0左右的版本中Redis使用单线程架构和I/O多路复用模型来实现高性能的内存数据服务。接下来主要分析Redis单线程命令处理机制,接着分析Redis单线程模型为什么性能如此之高。

单线程命令的处理机制

Redis客户端与服务端的模型主要是下图所示。

【Redis技术专区】「优化案例」谈谈使用Redis慢查询日志以及Redis慢查询分析指南_Redis

每次客户端调用都经历了发送命令、执行命令、返回结果三个过程。

本章内容

本章的文章内容主要是一下几点。

【Redis技术专区】「优化案例」谈谈使用Redis慢查询日志以及Redis慢查询分析指南_慢查询_02

什么是慢查询

慢查询就是当Redis在处理一条指令的时候,当超过了系统配置的执行时间的阈值的时候,就会被系统当作慢查询统计和判定。

慢查询日志

慢查询日志就是系统在命令执行前后计算每条命令的执行时间,当超过预设阈值,就将这条命令的相关信息(例如:发生时间、耗时、命令的详细信息)记录下来。

Redis慢查询日志

Redis慢查询日志功能是用于记录执行时间超过给定时长的命令请求,可以通过查看慢查询日志来监控和优化查询速度。

Redis慢查询的危害

说到了Redis慢查询的危害,就会先说一下Redis的运行机制。

Redis客户端执行一条命令的步骤

Redis是单线程来处理命令,所以一条命令从客户端到达服务端不会立即被执行,所有的命令都会进入一个队列,然后逐个被执行。

【Redis技术专区】「优化案例」谈谈使用Redis慢查询日志以及Redis慢查询分析指南_慢查询_03

因此Redis服务端去执行操作的是可以主要以下几个步骤:

【Redis技术专区】「优化案例」谈谈使用Redis慢查询日志以及Redis慢查询分析指南_慢查询_04

所有的指令都有先后顺序,但是真正意义到达服务端的执行顺序也是不确定的,因为中间有网络传输。但是可以肯定的是,不会有两条命令被同时执行,这样就不会产生并发问题,这就是Redis单线程的基本模型。

慢查询引发的问题
  1. 单线程机制:所有命令放在一个队列中
  2. Redis执行指令主要是在内存中执行、非IO阻塞、避免线程切换和竞态产生的消耗。

因为单线程的问题,一个命令不能执行太长时间,不然会阻塞其他命令的执行。所以慢查询会造成整体的Redis服务的性能的下降以及CPU的耗时和负载变高。

注意:慢查询只会记录执行命令的时间,没有慢查询并不代表客户端没有超时问题

阈值和慢查询的日志的设置

监控Redis指令的慢查询功能,需要明确两件事:

  1. 预设阈值怎么设置?
  2. 慢查询记录存放在哪里?
预设阈值怎么设置?

针对于慢查询的阈值,在Redis提供了​​slowlog-log-slower-than​​和​​slowlog-max-len​​配置来解决这两个问题。

阈值参数设置
慢查询执行时间阈值
  • slowlog-log-slower-than:指定执行时间超过多少微秒的命令会被记录到日志上,默认10000,它的单位是微妙。

例如,该值设为100,执行了一条很慢的命令(例如 keys * ),如果它的执行时间超过了100微秒,则这个命令会被记录到慢查询日志中。(1秒=1000毫秒=1000000微秒)

慢查询数据存储阈值

慢查询日志最多存储多少条,并没有说明存放在那里?主要通过slowlog-max-len进行控制和设置。从底层角度分析,Redis使用了一个列表来存储慢查询日志,slowlog-max-log就是列表的最大长度。

  • slowlog-max-len:指定服务器上最多保存慢查询日志的条数。
  • slowlog-log-slower-than=0,那么系统会记录所有的命令
  • slowlog-log-slower-than<0,那么对任何命令都不会记录。

例如,该值设为5,那么命令执行时间超过slowlog-log-slower-than设置的时间的命令会被记录到慢查询日志上,如果慢查询日志的数量等于5,那么再添加慢查询日志时,需要把最早添加的慢查询日志删除,即慢查询日志删除采用先进先出的方式。

慢查询的配置类型和方式

Redis有两种修改配置的方法:1. 修改配置文件;2. config set命令动态修改。

例如,使用config set命令将slowlog-log-slower-than设置为20000微秒,slowlog-max-len设置为10000:

config set slowlog-log-slower-than 20000
config set slowlog-max-len 10000
config rewrite

如果要Redis将配置持久化到本地配置文件,要执行config rewrite命令,它会重写配置文件。

慢查询日志的操作命令

慢查询日志的的查询和维护主要是通过:slowlog get、slowlog len、slowlog reset这几条命令。

slowlog get [n]

慢查询日志有4个属性组成:日志id、发生时间戳、命令耗时、执行命令和参数。

127.0.0.1:6379> slowlog get
1) 1) (integer) 1
2) (integer) 1513709400
3) (integer) 11
4) 1) "slowlog"
2) "get"
2) 1) (integer) 0
2) (integer) 1513709398
3) (integer) 4
4) 1) "config"
2) "set"
3) "slowlog-log-slower-than"
4) "2"
slowlog len

获取慢查询日志列表当前的长度

127.0.0.1:6379> slowlog len
(integer) 2

上面则说明当前的满查询列表中至于连个慢查询日志。

slowlog reset

实际是对慢查询日志列表做清理操作。

127.0.0.1:6379> slowlog len
(integer) 6
127.0.0.1:6379> slowlog reset
OK
127.0.0.1:6379> slowlog len
(integer) 1

为什么还有1个,因为阈值设的比较小,slowlog reset就属于慢查询。

标签:Redis,slowlog,len,查询,命令,日志
From: https://blog.51cto.com/alex4dream/6022306

相关文章

  • mysql组合查询
    多数SQL查询都只包含从一个或多个表返回数据的单条select语句。MYSQL也允许执行多个查询并将结果作为单个查询结果集返回。两种基本情况,其中需要使用组合查询:①在单个查......
  • redis数据类型以及常用命令
    string类型字符串类型是Redis中最为基础的数据存储类型,它在Redis中是二进制安全的,这便意味着该类型可以接受任何格式的数据,如JPEG图像数据或Json对象描述信息等。在Redi......
  • docker容器日志清理
    最近发现linux(Centos7)虚拟机的空间不够了,想创建新的容器都失败。剩下不到100M。之前还有好几个G。然后每天不定期查看磁盘空间,发现不断被蚕食。今天比昨天就少了100M;然后下......
  • Hive SQL Join关联查询Apache Hadoop概述Hadoop YARN架构、组件及其交互流程Apache Hi
    Hadoop离线是大数据生态圈的核心与基石,是整个大数据开发的入门。本次分享内容让初学者能高效、快捷掌握Hadoop必备知识,大大缩短Hadoop离线阶段学习时间,下面一起开始今天的学......
  • mysql使用子查询
    定义三个表:①order表,包含订单号order_num和客户id(cust_id),此表表示客户的购物记录。CREATETABLE`order`(order_numINT,cust_idINT);SELECT*FROM......
  • (19)go-micro微服务filebeat收集日志
    目录一Filebeat介绍二FileBeat基本组成三FileBeat工作原理四Filebeat如何记录文件状态:五Filebeat如何保证事件至少被输出一次六安装Filebeat七使用Filebeatfilebea......
  • 温习日志-6
    温习日志——2023年1月16日下午b站学习地址学习内容JS高阶总览JS的引擎和运行时间JS知名的引擎有Chrome的V8、火狐的spiderMonkey等等JS的引擎有调用栈和堆JS是......
  • [20230106]测试宽表查询.txt
    [20230106]测试宽表查询.txt--//https://tanelpoder.com/posts/reasons-why-select-star-is-bad-for-sql-performance/,重复测试:1.环境:SCOTT@test01p>@ver1PORT_STRING......
  • 多表查询实现
    多表查询可以分为​ 什么是join​ join具有连接的作用,即当两个以上的表有关系时,需要用join来连接这些相关的表,来处理或分析数据。join的作用:连接这里有两张表,使用join......
  • 多表查询的分类new
    多表查询可以分为​ 什么是join​ join具有连接的作用,即当两个以上的表有关系时,需要用join来连接这些相关的表,来处理或分析数据。join的作用:连接这里有两张表,使用join......