首页 > 数据库 >使用golang实现Redis中间件

使用golang实现Redis中间件

时间:2022-09-01 22:56:37浏览次数:112  
标签:cli err 中间件 RESP cmd Redis golang conn

(一).RESP协议解释

  RESP协议在Redis1.2被引入,直到Redis2.0才成为和Redis服务器通信的标准。这个协议需要在你的Redis客户端实现。RESP 是一个支持多种数据类型的序列化协议:简单字符串(Simple Strings),错误( Errors),整型( Integers), 大容量字符串(Bulk Strings)和数组(Arrays)。该协议的优点如下:(Reids协议详细规范解释
1. 实现起来简单。
2. 解析速度快。
3. 有可读性。

(二).RESP协议规范

  在RESP中,数据的类型依赖于首字节,第一个字符表示数据的类型,紧接着是一个不能包含CR或LF的字符串(不允许换行),最后以"\r\n"(CRLF)表示结束进行分割。

2.1-RESP第一个字节与数据类型的映射关系如下:

类型 响应首字节 备注
单行字符串(Simple Strings) + 第一个字节为+
错误(Errors) - 第一个字节为-
整型(Integers) : 第一个字节为:
多行字符串(Bulk Strings) $ 第一个字节为$
数组(Arrays) * 第一个字节为*

2.2-拆解释义RESP协议:

使用Redis-cli编辑如下指令向Redis服务端发送:

127.0.0.1:6379> set hello world

对发送的指令分析,实际上Redis-cli会遵循RESP协议对命令进行拆解编译后再发送给Redis服务器端。RESP协议编译如下:

*3
$3
set
$5
hello
$5
world

  以上的执行语句意思,*3表示执行的程序数组长度总共有3个数组,第一个数组组成部分:$3代表复杂字符串有长度为3,值为set,第二个数组组成部分: $5代表复杂字符串长度为5,值为hello, 第三个数组组成部分:$5代表复杂字符串长度为5,值为world。

视图展示:
RESP执行解析

2.3-RESP协议验证:

  在Xshell中选择TELNET连接redis服务端。输入以上根据RESP协议编写的指令,获得+OK返回值,说明set指令请求被服务器端成功解析并且响应。

TELNET连接Redis

(三).Go解析RESP协议实现转发

3.1-开启IP/prot监听:

  使用Redis1Conn, _ = net.Dial("tcp", "192.168.0.107:6379")发起TCP连接Redis服务器,listen, err := net.Listen("tcp", "0.0.0.0:12345")监听本地的12345端口。

// TCP server端
func main() {
	Redis1Conn, _ = net.Dial("tcp", "192.168.0.107:6379")

	listen, err := net.Listen("tcp", "0.0.0.0:12345")
	if err != nil {
		fmt.Println("listen failed, err:", err)
		return
	}
	for {
		conn, err := listen.Accept() // 建立连接
		if err != nil {
			fmt.Println("accept failed, err:", err)
			continue
		}
		go process(conn) // 启动一个goroutine处理连接
	}
}

3.2-处理解析Redis-cli的RESP协议:

  实现思路,RESP协议的指令是以"\r\n"(CRLF)表示结束进行分割,则按照"\r\n"(CRLF)分隔符按行读取TCP流消息。实现函数如下:

func read(reader *bufio.Reader) []byte {
	line, err := reader.ReadBytes('\n')
	if err != nil {
		errors.New("读取行错误")
	}
	return bytes.TrimRight(line, "\r\n")
}
  1. 首先读取数据流数据获得前缀*的后面数值cmdArrLen,此值为本次传送指令数组的长度。
  2. 接着循环cmdArrLen次,依次按行解析前缀为$的数据流携带的值cmdLen
  3. 获取指令值cmdData
// 处理redis-cli发送的程序
func handlerCliCmd(conn net.Conn) []string {
	var cmd []string
	reader := bufio.NewReader(conn)

	cmdHead := read(reader)

	cmd = append(cmd, string(cmdHead))

	if string(cmdHead[:1]) == "*" {

		cmdArrByteLen := cmdHead[1:] //发送的命令数组长度

		cmdArrLen := BytesToInt(cmdArrByteLen)

		for i := 0; i < cmdArrLen; i++ {
			cmdLen := read(reader)
			cmd = append(cmd, string(cmdLen))
			if string(cmdLen[:1]) == "$" {
				cmdData := read(reader)
				cmd = append(cmd, string(cmdData))
			}
		}
	}
	return cmd
}

3.3-转发Redis-cli客户端的命令:

  COMMAND为Redis-cli客户端首次连接的标识,连接成功直接识别发送"+OK\r\n"成功响应。for _, cmds := range cmd {}按照RESP协议规则拼接转发指令,_, err := Redis1Conn.Write(toRedis)将拼接后的指令转发给Redis服务器端,Read接收Redis服务端的响应后使用conn.Write(buf[:n2])转发给客户端。

// 处理函数
func process(conn net.Conn) {
	defer func() {
		fmt.Println("连接断开了\n")
		conn.Close() // 关闭连接
	}()

	for {

		cmd := handlerCliCmd(conn) //处理命令
	
		if cmd[2] == "COMMAND" {
			conn.Write([]byte("+OK\r\n"))
		} else {
			var toRedis []byte
			for _, cmds := range cmd {
				t := cmds + "\r\n"
				toRedis = append(toRedis, []byte(t)...)
			}
			
			_, err := Redis1Conn.Write(toRedis)
			if err != nil {
				fmt.Println(err)
			}
			
			buf := make([]byte, 1024)
			_, err2 := Redis1Conn.Read(buf[:])

			if err2 != nil {
				fmt.Println(err)
			}

			conn.Write(buf[:n2])
		}
	}
}

3.4-验证程序效果:

  1. Go中间件启动监听本地12345端口。
  2. 首先Redis-cli发送redis-cli -h 192.168.0.105 -p 12345连接请求。
  3. 中间件接收到连接*1 $7 COMMAND连接请求响应。
  4. Redis-cli发送set指令设置值set test 123
  5. 中间件接收到指令*3 $3 set $4 test $3 123将请求转发给Redis服务器。
  6. Redis服务器成功处理返回+OK结果给Go中间件。
  7. Redis-cli客户端接收到Go中间件转发的响应结果。

标签:cli,err,中间件,RESP,cmd,Redis,golang,conn
From: https://www.cnblogs.com/caiji/p/16646620.html

相关文章

  • GaussDB(for Redis)即将亮相华为云快成长直播间,让成本直降75%!
    “828选华为云,实惠更实用”。当前,华为云828B2B企业节正如火如荼进行中。旨在帮助企业解决数字化转型难题,加速千行百业云上创新的华为云快成长企业科技直播间同步精彩开播,......
  • Spring整合Redis(十八)
    一、Redis简介Redis是一款基于键值对的NoSQL数据库,它的值支持多种数据结构:字符串(strings)、哈希(hashes)、列表(lists)、集合(sets)、有序集合(sortedsets)等。Redi......
  • Redis使用 Redis封装
    封装Redis:一、application.properties:#过期日期:10800秒(3分钟)PitND.expire.pro=10800二、MainEventHERDMRedis.java:importorg.springframework.beans.facto......
  • 【Azure Redis 缓存】Azure Redis 功能性讨论三: 调优参数配置
    问题描述在使用AzureRedis的服务中,遇见了以下系列问题需要澄清:在开源Redis6.0中,多线程默认禁用,只使用主线程。如需开启需要修改redis.config配置文件。Redis的多线......
  • Redis 管理工具 - Redis Desktop Manager
     RedisDesktopManager可以轻松管理Redis桌面。为您提供了一个易于使用的GUI,可以访问您的Redis数据库并执行一些基本操作:将键视为树,CRUD键,通过shell执行命令。RESP.app......
  • springboot整合redis,设置缓存过期时间
    注:redis服务器要先开启!或者连接远程服务器上的Redis,但是依然要开启服务,不然会一直TimeOut!Pom文件添加依赖<dependency><groupId>org.springframework.boot</......
  • 使用 Gin 框架在 GoLang 中构建 API 服务
    使用Gin框架在GoLang中构建API服务今天我将向你展示如何在Go中构建一个简单的API服务。我们的项目演示将是一个简单的作者和他们的图书库项目。第一步:首先,我......
  • Redis面试
    1.什么是Redis?它主要用来什么的?Redis,英文全称是RemoteDictionaryServer(远程字典服务),是一个开源的使用ANSIC语言编写、支持网络、可基于内存亦可持久化的日志型、Ke......
  • 在ubuntu 上安装golang
    https://golang.google.cn/dl/方式一下载安装包wgethttps://golang.google.cn/dl/go1.19.linux-amd64.tar.gz解压到文件夹下sudotar-xvzfgo1.19.linux-amd64.ta......
  • redis的安装与使用
    Redis安装与命令使用安装:@1:下载地址:Download|Redis@2:安装过程先把下载好的redis的安装包放到linux服务器的相关位置https://download.redis.io/releases/redis-6.2......