首页 > 其他分享 >滴滴面试:谈谈你对Netty线程模型的理解?

滴滴面试:谈谈你对Netty线程模型的理解?

时间:2024-05-31 15:01:33浏览次数:17  
标签:Netty Reactor 滴滴 连接 线程 new 多线程 模型

Netty 线程模型是指 Netty 框架为了提供高性能、高并发的网络通信,而设计的管理和利用线程的策略和机制。

Netty 线程模型被称为 Reactor(响应式)模型/模式,它是基于 NIO 多路复用模型的一种升级,它的核心思想是将 IO 事件和业务处理进行分离,使用一个或多个线程来执行任务的一种机制。

1.Reactor三大组件

Reactor 包含以下三大组件:
image.png
其中:

  1. Reactor(反应器):Reactor 负责监听和分发事件,它是整个 Reactor 模型的调度中心。Reactor 监视一个或多个输入通道,如监听套接字上的连接请求或读写事件。当检测到事件发生时,Reactor 会将其分发给预先注册的处理器(Handler)进行处理。在 Netty 中,这个角色经常是由 EventLoop 或其相关的 EventLoopGroup 来扮演,它们负责事件的循环处理、任务调度和 I/O 操作。
  2. Acceptor(接收器):用于处理 IO 连接请求。当 Reactor 检测到有新的客户端连接请求时,会通知 Acceptor,后者通过 accept() 方法接受连接请求,并创建一个新的 SocketChannel(在 Netty 中是 Channel)来表示这个连接。随后,Acceptor 通常会将这个新连接的 Channel 注册到 Worker Reactor 或 EventLoop 中,以便进一步处理该连接上的读写事件。
  3. Handlers(处理器):Handlers 负责具体的事件处理逻辑,即执行与事件相关的业务操作。在 Netty 中,Handler 是一个或多个 ChannelHandler 的实例,它们形成一个责任链(ChannelPipeline),每个 Handler 负责处理一种或一类特定的事件(如解码、编码、业务逻辑处理等)。数据或事件在 ChannelPipeline 中从一个 Handler 传递到下一个,直至处理完毕或被消费。Handler 可以分为入站(inbound)和出站(outbound)两种,分别处理流入的数据或流出的数据。

2.Reactor三大模型

Reactor 模式支持以下三大模型:

  1. 单线程模型
  2. 多线程模型
  3. 主从多线程模型

具体内容如下。

2.1 单线程模型

在单线程模型中,所有的事件处理操作都由单个 Reactor 实例在单个线程下完成。Reactor 负责监控事件、分发事件和执行事件处理程序(Handlers),如下图所示:
image.png
单线程模型的实现 Demo 如下:

// 假设有一个单线程的Reactor,负责监听、接收连接、读写操作
class SingleThreadReactor {
    EventLoop eventLoop; // 单个事件循环线程
    
    SingleThreadReactor() {
        eventLoop = new EventLoop(); // 初始化单个事件循环
    }
    
    void start(int port) {
        ServerSocketChannel serverSocket = ServerSocketChannel.open();
        serverSocket.socket().bind(new InetSocketAddress(port)); // 绑定端口
        
        eventLoop.execute(() -> { // 在事件循环中执行
            while (true) {
                SocketChannel clientSocket = serverSocket.accept(); // 接受连接
                if (clientSocket != null) {
                    handleConnection(clientSocket); // 处理连接
                }
            }
        });
        eventLoop.run(); // 启动事件循环
    }
    
    void handleConnection(SocketChannel clientSocket) {
        // 读写操作,这里简化处理
        ByteBuffer buffer = ByteBuffer.allocate(1024);
        while (clientSocket.read(buffer) > 0) {
            // 处理读取的数据
            buffer.flip();
            // 假设处理数据逻辑...
            buffer.clear();
        }
        // 写操作逻辑类似
    }
}

优缺点分析

  • 优点:简单、线程安全性好、适合编写简单的网络应用。
  • 缺点:处理能力受限于单个线程的处理能力,无法充分利用多核 CPU,可能会影响性能。

2.2 多线程模型

在多线程模型中,连接 Acceptor 和业务处理(Handlers)是由不同线程分开执行的,其中 Handlers 是由线程池(多个线程)来执行的,如下图所示:
image.png
多线程模型的实现 Demo 如下:

// 假设有两个线程,一个用于监听连接,一个用于处理连接后的操作
class MultiThreadReactor {
    EventLoop acceptLoop;
    EventLoop workerLoop;
    
    MultiThreadReactor() {
        acceptLoop = new EventLoop(); // 接收连接的线程
        workerLoop = new EventLoop(); // 处理连接的线程
    }
    
    void start(int port) {
        ServerSocketChannel serverSocket = ServerSocketChannel.open();
        serverSocket.socket().bind(new InetSocketAddress(port));
        
        acceptLoop.execute(() -> { // 在接受线程中监听
            while (true) {
                SocketChannel clientSocket = serverSocket.accept();
                if (clientSocket != null) {
                    workerLoop.execute(() -> handleConnection(clientSocket)); // 将新连接交给工作线程处理
                }
            }
        });
        
        acceptLoop.run(); // 启动接受线程
        workerLoop.run(); // 启动工作线程
    }
    
    // handleConnection 方法与单线程模型中的相同
}

优缺点分析

  • 优点:此模式可以提高并发性能,充分利用多核 CPU,并且保持简单的编程模型。
  • 缺点:多线程数据共享和数据同步比较复杂,并且 Reactor 需要处理所有事件监听和响应,在高并发场景依然会出现性能瓶颈。

2.3 主从多线程模型

主从多线程模型是一个主 Reactor 线程加多个子 Reactor 子线程,以及多个工作线程池来处理业务的,如下图所示:

主从多线程模型的实现 Demo 如下:

import io.netty.bootstrap.ServerBootstrap;
import io.netty.channel.ChannelFuture;
import io.netty.channel.ChannelInitializer;
import io.netty.channel.EventLoopGroup;
import io.netty.channel.nio.NioEventLoopGroup;
import io.netty.channel.socket.SocketChannel;
import io.netty.channel.socket.nio.NioServerSocketChannel;

public class MainReactorModel {
    public static void main(String[] args) {
        // 主Reactor,用于接受连接
        EventLoopGroup bossGroup = new NioEventLoopGroup();
        // 从Reactor,用于处理连接后的读写操作
        EventLoopGroup workerGroup = new NioEventLoopGroup();

        try {
            ServerBootstrap bootstrap = new ServerBootstrap();
            bootstrap.group(bossGroup, workerGroup)
                     .channel(NioServerSocketChannel.class)
                     .childHandler(new ChannelInitializer<SocketChannel>() {
                         @Override
                         protected void initChannel(SocketChannel ch) {
                             // 在这里添加业务处理器,如解码器、编码器、业务逻辑处理器
                             ch.pipeline().addLast(new MyBusinessHandler());
                         }
                     });

            ChannelFuture future = bootstrap.bind(8080).sync();
            System.out.println("Server started at port 8080");
            future.channel().closeFuture().sync(); // 等待服务器关闭
        } catch (InterruptedException e) {
            e.printStackTrace();
        } finally {
            bossGroup.shutdownGracefully();
            workerGroup.shutdownGracefully();
        }
    }
}

优缺点分析

  • 优点:可以充分利用多核 CPU 的资源,提高系统的整体性能和并发处理能力。
  • 缺点:模型相对复杂,实现和维护成本较高。

课后思考

NioEventLoop 是如何实现的?它能够保证 Channel 操作的线程安全吗?为什么?

本文已收录到我的面试小站 www.javacn.site,其中包含的内容有:Redis、JVM、并发、并发、MySQL、Spring、Spring MVC、Spring Boot、Spring Cloud、MyBatis、设计模式、消息队列等模块。

标签:Netty,Reactor,滴滴,连接,线程,new,多线程,模型
From: https://www.cnblogs.com/vipstone/p/18224597

相关文章

  • 关于《Java并发编程之线程池十八问》的补充内容
    一、写在开头在上一篇文章我们写《Java并发编程之线程池十八问》的时候,鉴于当时的篇幅已经过长,很多内容就没有扩展了,在这篇文章里对一些关键知识点进行对比补充。二、RunnablevsCallable在创建线程的时候,一般会选用Runnable和Callable两种方式。【源码对比】Runnable接......
  • Linux——线程(线程概念)
    目录一、细粒度划分1.1、堆区细粒度划分1.2、物理内存和可执行程序细粒度划分1.3、虚拟地址到物理地址的转化二、线程概念2.1、基本概念2.2、线程优点2.3、线程的缺点2.4、线程异常 2.5、线程用途三、Linux下的进程和线程一、细粒度划分1.1、堆区细粒度划分 ......
  • Netty常见面试题
    一.基本概念1、什么是Netty?Netty是由JBOSS提供的一个Java开源框架。Netty提供异步的、基于事件驱动的网络应用程序框架,用以快速开发高性能、高可靠性的网络IO程序,是目前最流行的NIO框架,Netty在互联网领域、大数据分布式计算领域、游戏行业、通信行业等获得了广泛......
  • C#管理异步线程
    管理异步线程usingSystem;usingSystem.Collections.Generic;usingSystem.Linq;usingSystem.Threading;usingSystem.Threading.Tasks;namespacePortClient{///<summary>///异步线程///*修改为枚举类型更合理///</summary>publicstati......
  • 面试官:如果不允许线程池丢弃任务,应该选择哪个拒绝策略?
    线程池的拒绝策略有哪些?如果当前同时运行的线程数量达到最大线程数量并且队列也已经被放满了任务时,ThreadPoolExecutor定义一些策略:ThreadPoolExecutor.AbortPolicy:抛出RejectedExecutionException来拒绝新任务的处理。ThreadPoolExecutor.CallerRunsPolicy:调用执行自己的......
  • 面试官:说说Netty的核心组件?
    Netty核心组件是指Netty在执行过程中所涉及到的重要概念,这些核心组件共同组成了Netty框架,使Netty框架能够正常的运行。Netty核心组件包含以下内容:启动器Bootstrap/ServerBootstrap事件循环器EventLoopGroup/EventLoop通道Channel通道处理器ChannelHandler通道......
  • 操作系统复习:进程和线程的理解串记
    进程和线程        我是一个ikun,我坐着不动(静态)就是ikun程序,我开始执行任务唱、跳、rap和打篮球(动态)就是ikun进程。在ikun进程中,我们的孩子就是线程。        为了ikun进程们能公平地抢坤坤哥哥下的蛋(临界资源),坤坤哥哥(CPU)会安排(进程调度)时间片给每个ikun进程......
  • 线程简述:协程、抢占式、sleep、wait、interrupt,优雅中断线程,线程通信等
    思维导图在此:java线程简述-CSDN博客1、线程与协程协程-->线程-->进程,协程最小协程:用户态,go语言线程:用户态、内核态都有。cpu调度的最小单位。是工人,从进程获取资源,多个线程共享进程的资源。进程:内核态。操作系统调度资源的最小单位。是资源管家。2、调度机制协同式。......
  • 在 Rust 多线程应用程序中锁定 Mutex 时发生死锁
    我正在开发一个Rust应用程序,其中有一个与PacketManager交互的BusDevice。在多线程环境中尝试锁定一个Mutex时,我遇到了死锁。应用程序被卡在锁定Mutex的那一行,再也无法继续。详细描述:在我的Rust应用程序中,我有一个使用PacketManager发送确认数据包的BusDevice。BusD......
  • 给师妹写的《Java并发编程之线程池十八问》被表扬啦!
    写在开头  之前给一个大四正在找工作的学妹发了自己总结的关于Java并发中线程池的面试题集,总共18题,将之取名为《Java并发编程之线程池十八问》,今天聊天时受了学妹的夸赞,心里很开心,毕竟自己整理的东西对别人起到了一点帮助,记录一下!Java并发编程之线程池十八问  经过之前......