首页 > 其他分享 >【分布式技术专题】「分布式技术架构」实践见真知,手把手教你如何实现一个属于自己的RPC框架(架构技术引导篇)

【分布式技术专题】「分布式技术架构」实践见真知,手把手教你如何实现一个属于自己的RPC框架(架构技术引导篇)

时间:2023-07-01 18:32:02浏览次数:43  
标签:调用 架构 请求 技术 RPC 拦截器 Java 服务端 分布式

RPC是什么

RPC(Remote Procedure Call,远程过程调用)是一种计算机通信协议,它允许一个程序调用另一个程序所在的远程计算机上的子程序(或函数)而不需要自己的代码去处理远程调用的细节。

RPC的应用

RPC技术应用广泛,特别是在分布式系统中。比如,在Web开发中,有时需要从后端服务器请求数据,此时就可以使用RPC进行通信。RPC还可以用于跨语言调用,例如Java程序调用C++程序,也可以用于跨平台通信,例如Windows系统与Linux系统之间的通信。

RPC的技术要点

在RPC的实现中,有多种技术可以选择,如:

  1. RPC框架:实现RPC的一种基础设施,包括协议解析,网络通信,序列化和反序列化,负载均衡等功能。
  2. 序列化和反序列化:将数据结构或对象转换为可以在网络上传输的格式和从网络接收的格式。
  3. 协议:定义消息格式和通信规则。常见的RPC协议包括HTTP,TCP,UDP等。
  4. 负载均衡:在多个服务提供者之间进行负载均衡,减少单个服务提供者的负荷。

RPC的实现案例

除了上面提到的技术,还有一些其他的RPC相关技术,如:

  1. RESTful API:RESTful是一种设计风格,也可以用于分布式系统中的通信。它包括一组协议和约束条件,可用于提高系统的可伸缩性,可移植性和可靠性。
  2. gRPC:由Google开发的,基于HTTP/2协议的RPC框架,支持多种编程语言和平台。
  3. Thrift:由Facebook开发的,支持多种编程语言和平台的RPC框架,包括Java,Python,C#和Ruby等。
  4. Dubbo:由阿里巴巴开发的,基于Java语言的RPC框架,支持服务治理和容错机制。

自己开发一个RPC框架的实现

通过上面的基本介绍,相信你应该已经大概知道了RPC框架的基本概念和相关的作用了,那么接下来了呢,我们就给予RPC框架的基本原理和功能进行自己开发一个属于我们自己的RPC框架技术,接下来我们就针对于RPC的架构进行一个相关的设计以及实现。


RPC技术方案选择

以下属于RPC技术方案选项的主要整体思维框架图:

【分布式技术专题】「分布式技术架构」实践见真知,手把手教你如何实现一个属于自己的RPC框架(架构技术引导篇)_Java

我们都知道一句名言,“工欲成其事必先利其器”,针对于RPC框架的技术选项是一个最基础以及重要的环节,那么接下来我们会针对于一下几个方面为大家“铺路”。

  • RPC通信技术
  • RPC设计模式
  • 内部工具选项
  • 技术难点分析

RPC通信技术

介绍一下通信技术有哪些方向可以选择:

  • [x] RPC通信技术
  • [ ] RPC设计模式
  • [ ] 内部工具选项
  • [ ] 技术难点分析
RPC通信技术实现方案

RPC通信技术属于整个RPC技术的实现“基石”,主要是由于通过tcp协议进行数据传输,从而实现数据的RPC远程调用,如下图所示。

【分布式技术专题】「分布式技术架构」实践见真知,手把手教你如何实现一个属于自己的RPC框架(架构技术引导篇)_服务端_02

根据上图主要集中于三种IO模式进行实现选择,分别是BIO(同步阻塞)、NIO(同步非阻塞/异步阻塞)以及NIO2,有的时候也称之为AIO(异步阻塞)。

BIO网络通信模型
  • 传统socket-同步阻塞机制
  • Socket:基于TCP协议的网络通信,通过Socket可以实现客户端和服务器之间的数据传输。
  • ServerSocket:用于创建服务器端的Socket对象,监听客户端的连接请求。
NIO网络通信模型
  • 原生 NIO 存在内存循环 bug,并且复杂度过高。
  • Netty 是对 NIO 进行了封装,扩展性和原生性表现最好。
  • Mina 2.0 封装的 NIO 优势体现不出来。
  • Sofa 的相关体系:
  • Sofa-rpc:封装性过于高。
  • Sofa-bolt:扩展性有待加强。
AIO网络通信模型
  • Java API并不成熟
  • 跨平台性不好

在此我们选择的就是就是最稳定并且性能较好的Netty去实现即可。

RPC的设计模式

  • [ ] RPC通信技术
  • [x] RPC设计模式
  • [ ] 内部工具选项
  • [ ] 技术难点分析

针对于RPC的设计模式,主要针对于以下这几个方面进行分析:

【分布式技术专题】「分布式技术架构」实践见真知,手把手教你如何实现一个属于自己的RPC框架(架构技术引导篇)_RPC_03

  • 服务端本地方法调用
  • 服务端服务注册体系
  • 服务端调用拦截体系
  • 解析器调用参数解析

服务端本地方法调用

在RPC(远程过程调用)中,服务端方法调用是指客户端调用远程服务的过程。

下面是简要的服务端方法调用的过程:

  1. 定义服务接口:服务端首先需要定义一个接口,以描述提供的服务的方法,包括方法名称、参数和返回类型等。这个接口将用来定义客户端和服务端之间的通信协议。
  2. 实现服务接口:服务端需要实现定义的服务接口,并提供相应的功能逻辑。
  3. 注册服务:服务端将实现的服务接口注册到RPC框架中,以便客户端能够发现这个服务。
  4. 接收请求:服务端开始监听并接收来自客户端的请求。
  5. 解析请求:服务端接收到请求后,需要解析请求中的方法名称和参数等信息。
  6. 调用本地方法:服务端根据解析得到的方法名称,在本地调用对应的方法,并传递请求中的参数。
  7. 执行业务逻辑:本地方法会执行服务端的业务逻辑,并返回结果。
  8. 序列化结果:服务端将方法执行的结果进行序列化,以便网络传输。
  9. 发送响应:服务端将序列化后的结果作为响应发送给客户端。
  10. 等待下一次请求:服务端继续监听并等待下一次的请求。

通过上述过程,服务端实现了接收客户端请求并调用本地方法处理请求的功能,从而提供远程服务。这种方式使得客户端可以像调用本地方法一样调用远程服务,隐藏了底层的网络通信细节,提高了开发效率。

【分布式技术专题】「分布式技术架构」实践见真知,手把手教你如何实现一个属于自己的RPC框架(架构技术引导篇)_RPC_04

单纯反射机制

Java反射是Java编程语言中的一个特性,它允许程序在运行时动态地获取类的信息、构造对象、调用方法和访问或修改成员变量。通过反射,程序可以以一种通用的方式操作类、对象和方法,而不需要提前了解这些实体的具体细节。

加强版反射技术

ReflectASM是一个基于Java反射的高性能代码生成库,它提供了一种更快速和更直接的方式来访问和操作Java类的字段和方法。ReflectASM通过生成字节码来实现对类的动态访问,避免了反射机制的性能开销和安全性检查。

注意,ReflectASM相对于标准的Java反射机制来说,更加底层和直接,需要开发人员有一定的字节码和底层原理的知识。在使用ReflectASM时,应该注意其使用的上下文和具体的场景,以保证代码的正确性和安全性

方法类型句柄

类型句柄(Type Handle)是一种表示和操作类型信息的机制。Java中的类型句柄可以通过特定的类、接口和反射机制来实现。

  • 类和接口:在Java中,可以通过获取Class对象来获得类型的句柄。例如,可以使用Class.forName("类名")来获取类的类型句柄,或者使用对象.getClass()来获取对象的类型句柄。通过这些类型句柄,可以获取类的名称、父类、接口,以及访问类的成员、方法和构造函数等信息。
  • 反射机制:Java的反射机制提供了一组API来操作类型句柄。通过反射,可以在运行时获取和修改类的结构。例如,可以使用Class.getDeclaredFields()方法来获取类的字段信息,使用Class.getDeclaredMethods()方法来获取类的方法信息,以及使用Class.getDeclaredConstructors()方法来获取类的构造函数信息等。反射机制还提供了动态调用方法、创建对象等功能,可以在运行时动态操作类型。
Java的内省机制

Java中的内省(Introspection)是一种通过分析类的属性、方法和事件等信息来获取和操作类的特性的机制。

Java的内省机制通过Java Bean规范定义,主要是为了支持图形用户界面(GUI)和属性编辑器等工具的开发。内省可以在运行时获取对象的属性、方法和事件等信息,使得程序可以动态地操作对象的特性。

内省机制使用java.beans.Introspector类来分析类的特性,并使用java.beans.PropertyDescriptor类来描述类的属性信息。通过内省机制,可以获取类的属性名、类型、读写方法等信息,从而实现对属性的读写操作。

通过内省机制,我们可以在运行时获取和操作对象的属性信息,实现动态的属性访问和修改。这在Java中广泛应用于图形界面开发、动态配置等场景。但需要注意的是,内省机制会对性能产生一定的影响,因此在性能要求较高的场景下要慎重使用。

服务端服务注册

服务注册远程命名服务的注册中心技术选项,

【分布式技术专题】「分布式技术架构」实践见真知,手把手教你如何实现一个属于自己的RPC框架(架构技术引导篇)_RPC_05

服务调用拦截器

RPC拦截器栈调用链是在RPC(远程过程调用)中用来处理请求和响应的拦截器链条。它允许在执行真正的RPC方法之前或之后对请求和响应进行拦截和处理。

【分布式技术专题】「分布式技术架构」实践见真知,手把手教你如何实现一个属于自己的RPC框架(架构技术引导篇)_服务端_06

在RPC服务中,拦截器栈由多个拦截器组成,每个拦截器都可以在处理请求和响应的不同阶段进行相关的操作。当客户端发起RPC请求时,请求会经过拦截器栈中的每个interceptor,直到到达真正的RPC方法。在RPC方法执行完毕后,响应会按照相同的拦截器顺序逆向经过拦截器栈。

拦截器栈调用链的工作方式如下:

  1. 客户端Interceptor链:当客户端发送RPC请求时,请求会按照拦截器栈的顺序经过每个拦截器。每个拦截器可以在请求发送之前或之后执行特定的操作。例如,可以在发送请求之前添加认证信息、压缩数据等。
  2. 服务端Interceptor链:当服务端接收到RPC请求时,请求会按照拦截器栈的顺序经过每个拦截器。同样地,每个拦截器可以在请求处理之前或之后执行特定的操作。例如,可以在请求处理之前进行权限验证、解密数据等。
  3. 响应Interceptor链:当RPC方法执行完毕并生成响应时,响应会按照相同的拦截器顺序逆向经过拦截器栈。每个拦截器可以在响应发送之前或之后执行特定的操作。例如,可以在发送响应之前对数据进行加密、压缩等操作。

通过拦截器栈调用链,我们可以在RPC过程的不同阶段对请求和响应进行拦截和处理,实现一些通用的功能,如认证、日志记录、异常处理等。这种扩展性和灵活性使得RPC拦截器栈调用链在各种分布式系统中得到了广泛的应用。

解析器模式

服务调用参数解析是指在进行服务调用时,对传递的参数进行解析和处理的过程。参数解析是将传递的参数从原始的格式或表示方式转换为程序可理解和使用的形式。

【分布式技术专题】「分布式技术架构」实践见真知,手把手教你如何实现一个属于自己的RPC框架(架构技术引导篇)_服务端_07

在服务调用中,参数通常以各种不同的形式传递,例如:

  1. URL 参数:参数直接附加在服务的 URL 上,使用特定的名称和值对表示。在接收端,可以通过解析 URL 获取参数值。
  2. 请求体参数:参数作为请求体的一部分发送,可以使用不同的数据格式,如 JSON、XML 或表单数据。在接收端,可以解析请求体获取参数值。
  3. 请求头参数:参数以 HTTP 请求头的形式发送,可以使用自定义的请求头字段来传递参数。在接收端,可以解析请求头获取参数值。
  4. 路径参数:参数直接嵌入在服务 URL 的路径中,允许在 URL 中使用占位符或模板来表示参数。在接收端,可以从路径中提取参数值。

进行参数解析的过程可以包括以下步骤:

  1. 接收请求:服务端接收到请求,并获取请求的原始数据。
  2. 解析参数:根据传递参数的方式和格式,对请求进行相应的解析,提取参数的名称和值。
  3. 参数验证:对解析到的参数进行验证,确保其符合预期的格式和要求。这可以包括验证参数的类型、范围、格式等。
  4. 参数转换:将解析到的参数进行必要的转换,将其转换为程序可理解和使用的形式。例如,将字符串类型的参数转换为数字或日期类型。
  5. 参数处理:根据具体的业务需求,对参数进行相应的处理操作。这可以包括数据的过滤、转换、存储等。

通过参数解析,我们可以将传递的参数转换为程序可以理解和使用的形式,并进行相应的验证和处理。这样可以确保服务调用时参数的正确性和一致性,提高服务的可靠性和稳定性。

内部工具选择

基础工具组件

下面是需要进行支持的RPC技术所需要的基础工具组件:

【分布式技术专题】「分布式技术架构」实践见真知,手把手教你如何实现一个属于自己的RPC框架(架构技术引导篇)_RPC_08

此处我们不进行详细的介绍和分析,后面系列的章节会认真介绍和说明。

整合框架

Java原生模式是指使用纯Java编写和配置RPC客户端和服务端的方式。

【分布式技术专题】「分布式技术架构」实践见真知,手把手教你如何实现一个属于自己的RPC框架(架构技术引导篇)_RPC_09

在Java原生模式中,你可以使用Java标准库或第三方库来进行网络通信,序列化和反序列化数据,以及执行远程方法调用。一些常见的Java原生RPC框架包括Apache Thrift、gRPC、Apache Dubbo等。这些框架提供了对RPC相关功能的封装和支持,让你可以快速构建和部署RPC服务。

Spring开发模式是指在Spring框架的基础上使用RPC框架进行开发。Spring框架提供了丰富的功能和特性,包括依赖注入、AOP等,使得开发更加方便和灵活。在Spring开发模式中,你可以使用Spring提供的注解和配置来集成和配置RPC框架。一些常见的支持Spring的RPC框架包括Spring Cloud、Dubbo-Spring-Boot-Starter等。这些框架可以与Spring框架完美集成,让你可以简化RPC服务的开发和管理。

技术难点分析

【分布式技术专题】「分布式技术架构」实践见真知,手把手教你如何实现一个属于自己的RPC框架(架构技术引导篇)_RPC_10

RPC客户端技术选项方案

【分布式技术专题】「分布式技术架构」实践见真知,手把手教你如何实现一个属于自己的RPC框架(架构技术引导篇)_Java_11

RPC扩展性技术选项方案

【分布式技术专题】「分布式技术架构」实践见真知,手把手教你如何实现一个属于自己的RPC框架(架构技术引导篇)_服务端_12

客户端调用和传输之间是否考虑加入任务队列做二级缓冲,以及解耦,作为调用的速度的控制。

【分布式技术专题】「分布式技术架构」实践见真知,手把手教你如何实现一个属于自己的RPC框架(架构技术引导篇)_服务端_13

【分布式技术专题】「分布式技术架构」实践见真知,手把手教你如何实现一个属于自己的RPC框架(架构技术引导篇)_Java_14


RPC的架构

后面都一一详细的介绍和分析

【分布式技术专题】「分布式技术架构」实践见真知,手把手教你如何实现一个属于自己的RPC框架(架构技术引导篇)_Java_15

总的来说,RPC是一项非常重要的技术,可以在分布式系统中方便地完成远程过程调用。有了RPC,不同平台和不同语言之间的通信就更加容易实现,同时也使得系统具有更好的可伸缩性和可维护性。

标签:调用,架构,请求,技术,RPC,拦截器,Java,服务端,分布式
From: https://blog.51cto.com/alex4dream/6600775

相关文章

  • Redis实现分布式锁的7种方案
    7种方案前言日常开发中,秒杀下单、抢红包等等业务场景,都需要用到分布式锁。而Redis非常适合作为分布式锁使用。本文将分七个方案展开,跟大家探讨Redis分布式锁的正确使用方式。如果有不正确的地方,欢迎大家指出哈,一起学习一起进步。 什么是分布式锁方案一:SETNX+EXPIRE方案二......
  • Xv6 操作系统组织架构
    进程概述64位的RISC-V的VAS是39位的,即VA只有39位,而Xv6则只有38位,最大虚拟地址为#defineMAXVA0x3fffffffff。VAS的顶端,即最高位存放了两个page,一个是用于trampoline,一个用于mappingtheprocess'strapframe。Xv6使用这两个page来切换到内核以及返回。......
  • 分布式文件存储 - FastDFS 工具类
    一、FastDFSClientpackagecom.changgou.file.util;importorg.csource.common.NameValuePair;importorg.csource.fastdfs.*;importorg.slf4j.LoggerFactory;importorg.springframework.core.io.ClassPathResource;importjava.io.ByteArrayInputStream;importjav......
  • 98位企业技术高管入学百度AICA 大模型带来AI人才三大能力要求
    2023年6月30日,由深度学习技术及应用国家工程研究中心与百度联合创办的AICA首席AI架构师培养计划,迎来第7期开学典礼。98位企业CTO、科学家以及技术高管学员从500多位报名者中脱颖而出,将开展为期半年的人工智能前沿技术与应用的学习实践,成为各行业领域大模型产业落地的领军人才。A......
  • 基于物联网、区块链、RSA加密验证技术实现的防伪溯源系统源码
    一物一码防伪溯源系统能准确获取产品生产经营各个环节的真实信息,利用物联网、云计算、区块链、人工智能、5G等先进技术,结合特有的码码关联和RSA加密验证技术,建立区块链的“身份证”,针对产品种植到销售各环节的质量安全数据进行及时采集上传,数据具有不可逆,不可篡改等特点,实现产品溯......
  • 聊一聊非分布式任务调度@Scheduled
    @Scheduled注解是SpringBoot提供的用于定时任务控制的注解,主要用于控制任务在某个指定时间执行,或者每隔一段时间执行,默认是在单线程中执行的1、注解源码@Target({ElementType.METHOD,ElementType.ANNOTATION_TYPE})@Retention(RetentionPolicy.RUNTIME)@Documented@Repeatable......
  • Linux主流架构运维工作简单剖析
    随着IT运维的不断发展,尤其的Linux的飞速发展,越来越多的企业开始使用Linux操作系统平台,例如CentOS、RedHat、Ubuntu、Fedora等等,成千上亿个网站涌现在当今互联网,互联网已经成为必不可少的工具,那今天我们跟大家一起来分享讨论目前用的最多的Linux下主流网站架构。随着IT运维......
  • Flink 核心技术与实战
    你将获得熟练掌握FlinkSQL接口的原理与操作方法;深入理解FlinkDataStreamAPI的实践原理;全面剖析FlinkRuntime的设计与实现机制;完整构建一个实时推荐数据流系统。课程介绍目前大部分公司的大数据处理工作,使用的还是离线处理技术,但未来,流式计算必定会成为分布式计算......
  • 系统架构设计师随笔
    memcached文档下载:http://www.jb51.net/books/42140.htmlgit教程:廖雪峰:https://www.liaoxuefeng.com/wiki/0013739516305929606dd18361248578c67b8067c8c017b000redis中文文档:http://doc.redisfans.com/redis下载网站:https://redis.io/downloadredis安装参考解压的文件夹里面的READ......
  • 开源通用高性能的分布式id序列组件
    原文地址:https://ntopic.cn/p/2023062101/Gitee源代码仓库:https://gitee.com/obullxl/sequence-jdbcGitHub源代码仓库:https://github.com/obullxl/sequence-jdbc分布式id序列说明业务数据的存储,少不了数据记录的id序列。id序列(或称序列)的生成方式有很多种,比如当前时间戳、......