redis管道
redis是一个基于客户-服务器模式以及请求/相响应协议的TCP服务。一个请求会遵循以下步骤:
- 客户端向服务器发送命令分为四步(发送命令->命令排队->命令执行->返回结果),并监听socket返回,通常以阻塞的模式等待服务端响应。
- 服务端处理完命令,并将结果返回给客户端。
如果需要执行大量的命令,那么就要等待上一条命令应答后再执行,这中间不仅仅多了RTT,而且还频繁调用系统IO,发送网络请求,同时需要redis调用多次read()和write()系统方法,系统方法会将数据从用户态转移到内核态,这样就对进程上下文有比较大的影响了,导致性能不太好。
管道(pipeline)可以一次性发送多条命令给服务端,服务端依次处理完毕后,通过一条响应将结果返回,通过减少客户端与redis的通信次数来实现降低往返延迟时间。pipeline实现的原理是队列,FIFO的特性就保证数据的顺序性。
具体操作
-
首先创建一个命令清单cmd.txt
set k100 v100
set k200 v200
hset k300 name lily
hset k300 ahe 24
hset k300 gender male
lpush list 1 2 3 4 5
-
在非redis终端下(linux终端下),执行如下命令:
cat cmd.txt | redis-cli -a passwd --pipe
Pipeline与原生批量命令的对比
- pipeline是非原子性的,而原生命令是原子性的
- 原生命令一次只能执行一条命令,pipeline可以一次性执行多条命令
- 原生命令是服务器端实现的,而pipeline是需要服务器端和客户端共同完成的
Pipeline与事务对比
- 事务具有原子性,管道不具有原子性
- 管道是一次性将多条命令发送到服务器,事务是一条一条的发送,事务只有在接收到exec命令后立刻执行,管道则不会
- 执行事务时会阻塞其他命令。而执行管道的命令时不会阻塞其他命令
使用Pipeline注意事项
- pipeline缓冲区的指令只是会依次执行,不保证原子性,如果执行中指令发生异常,将会继续执行后续的指令
- 使用pipeline组装的命令个数不要太多,不然数据量过大导致客户端阻塞的时间太长,同时服务端也只能被迫回复一个队列答复,占用很多内存