首页 > 其他分享 >Netty简介

Netty简介

时间：2023-10-13 13:06:45浏览次数：41  
标签：Netty pipeline 简介 线程 new 连接 channel

1.Netty概述

Netty是一个异步事件驱动的网络应用程序框架,用于快速开发可维护的高性能协议服务器和客户端

Netty 的内部实现是很复杂的，但是 Netty 提供了简单易用的API从网络处理代码中解耦业务逻辑。Netty 是完全基于 NIO 实现的，所以整个 Netty 都是异步的。

Netty 是最流行的 NIO 框架，它已经得到成百上千的商业、商用项目验证，许多框架和开源组件的底层 rpc 都是使用的 Netty，如 Dubbo、Elasticsearch 等等。下面是官网给出的一些 Netty 的特性：

设计方面

  • 对各种传输协议提供统一的 API（使用阻塞和非阻塞套接字时候使用的是同一个 API，只是需要设置的参数不一样）。
  • 基于一个灵活、可扩展的事件模型来实现关注点清晰分离。
  • 高度可定制的线程模型——单线程、一个或多个线程池。
  • 真正的无数据报套接字（UDP）的支持（since 3.1）。

易用性

  • 完善的 Javadoc 文档和示例代码。
  • 不需要额外的依赖，JDK 5 (Netty 3.x) 或者 JDK 6 (Netty 4.x) 已经足够。

性能

  • 更好的吞吐量，更低的等待延迟。
  • 更少的资源消耗。
  • 最小化不必要的内存拷贝。

安全性

  • 完整的 SSL/TLS 和 StartTLS 支持

2.为什么使用Netty

从官网上介绍，Netty是一个网络应用程序框架，开发服务器和客户端。也就是用于网络编程的一个框架。既然是网络编程，Socket就不谈了，为什么不用NIO呢？

NIO的缺点

  • NIO的类库和API繁杂，学习成本高，你需要熟练掌握Selector、ServerSocketChannel、SocketChannel、ByteBuffer等。
  • 需要熟悉Java多线程编程。这是因为NIO编程涉及到Reactor模式，你必须对多线程和网络编程非常熟悉，才能写出高质量的NIO程序。
  • 臭名昭著的epoll bug。它会导致Selector空轮询，最终导致CPU 100%。直到JDK1.7版本依然没得到根本性的解决。

Netty的优点

相对的,netty的优点很多:

  • API使用简单，学习成本低。
  • 功能强大，内置了多种解码编码器，支持多种协议。
  • 性能高，对比其他主流的NIO框架，Netty的性能最优。
  • 社区活跃，发现BUG会及时修复，迭代版本周期短，不断加入新的功能。
  • Dubbo、Elasticsearch都采用了Netty，质量得到验证。

3.架构图

Netty简介_客户端

上面这张图就是在官网首页的架构图，我们从上到下分析一下。

绿色的部分Core核心模块，包括零拷贝、API库、可扩展的事件模型。橙色部分Protocol Support协议支持，包括Http协议、webSocket、SSL(安全套接字协议)、谷歌Protobuf协议、zlib/gzip压缩与解压缩、Large File Transfer大文件传输等等。红色的部分Transport Services传输服务，包括Socket、Datagram、Http Tunnel等等。

以上可看出Netty的功能、协议、传输方式都比较全，比较强大。

4.永远的Hello Word

5.Netty的特性与重要组件

taskQueue任务队列

如果Handler处理器有一些长时间的业务处理，可以交给taskQueue异步处理。怎么用呢，请看代码演示：

public class MyServerHandler extends ChannelInboundHandlerAdapter { @Override public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception { //获取到线程池eventLoop，添加线程，执行 ctx.channel().eventLoop().execute(new Runnable() { @Override public void run() { try { //长时间操作，不至于长时间的业务操作导致Handler阻塞 Thread.sleep(1000); System.out.println("长时间的业务处理"); } catch (Exception e) { e.printStackTrace(); } } }); } }

scheduleTaskQueue延时任务队列

延时任务队列和上面介绍的任务队列非常相似，只是多了一个可延迟一定时间再执行的设置，请看代码演示：

ctx.channel().eventLoop().schedule(new Runnable() { @Override public void run() { try { //长时间操作，不至于长时间的业务操作导致Handler阻塞 Thread.sleep(1000); System.out.println("长时间的业务处理"); } catch (Exception e) { e.printStackTrace(); } } },5, TimeUnit.SECONDS);//5秒后执行

依然打开debug进行调试查看，我们可以有一个scheduleTaskQueue任务待执行中

Future异步机制

在搭建helloword工程的时候,我们看到有一行这样的代码

ChannelFuture channelFuture = bootstrap.connect("127.0.0.1", 6666);

很多操作都返回这个ChannelFuture对象，究竟这个ChannelFuture对象是用来做什么的呢？

ChannelFuture提供操作完成时一种异步通知的方式。一般在Socket编程中，等待响应结果都是同步阻塞的，而Netty则不会造成阻塞，因为ChannelFuture是采取类似观察者模式的形式进行获取结果。请看一段代码演示：

//添加监听器channelFuture.addListener(new ChannelFutureListener() { //使用匿名内部类，ChannelFutureListener接口 //重写operationComplete方法 @Override public void operationComplete(ChannelFuture future) throws Exception { //判断是否操作成功 if (future.isSuccess()) { System.out.println("连接成功"); } else { System.out.println("连接失败"); } } });

Bootstrap与ServerBootStrap

Bootstrap和ServerBootStrap是Netty提供的一个创建客户端和服务端启动器的工厂类，使用这个工厂类非常便利地创建启动类，根据上面的一些例子，其实也看得出来能大大地减少了开发的难度。首先看一个类图：

Netty简介_TCP_02

可以看出都是继承于AbstractBootStrap抽象类，所以大致上的配置方法都相同。

一般来说，使用Bootstrap创建启动器的步骤可分为以下几步：

Netty简介_TCP_03

group()

  • bossGroup 用于监听客户端连接，专门负责与客户端创建连接，并把连接注册到workerGroup的Selector中。
  • workerGroup用于处理每一个连接发生的读写事件。

一般创建线程组直接使用以下new就完事了：

EventLoopGroup bossGroup = new NioEventLoopGroup();EventLoopGroup workerGroup = new NioEventLoopGroup();

有点好奇的是，既然是线程组，那线程数默认是多少呢？深入源码：

//使用一个常量保存 private static final int DEFAULT_EVENT_LOOP_THREADS; static { //NettyRuntime.availableProcessors() * 2，cpu核数的两倍赋值给常量 DEFAULT_EVENT_LOOP_THREADS = Math.max(1, SystemPropertyUtil.getInt( "io.netty.eventLoopThreads", NettyRuntime.availableProcessors() * 2)); if (logger.isDebugEnabled()) { logger.debug("-Dio.netty.eventLoopThreads: {}", DEFAULT_EVENT_LOOP_THREADS); } } protected MultithreadEventLoopGroup(int nThreads, Executor executor, Object... args) { //如果不传入，则使用常量的值，也就是cpu核数的两倍 super(nThreads == 0 ? DEFAULT_EVENT_LOOP_THREADS : nThreads, executor, args); }

通过源码可以看到，默认的线程数是cpu核数的两倍。假设想自定义线程数，可以使用有参构造器：

//设置bossGroup线程数为1EventLoopGroup bossGroup = new NioEventLoopGroup(1);//设置workerGroup线程数为16EventLoopGroup workerGroup = new NioEventLoopGroup(16);

channel()

这个方法用于设置通道类型，当建立连接后，会根据这个设置创建对应的Channel实例。

使用debug模式可以看到

通道类型有以下：

NioSocketChannel： 异步非阻塞的客户端 TCP Socket 连接。

NioServerSocketChannel： 异步非阻塞的服务器端 TCP Socket 连接。

常用的就是这两个通道类型，因为是异步非阻塞的。所以是首选。

OioSocketChannel： 同步阻塞的客户端 TCP Socket 连接。

OioServerSocketChannel： 同步阻塞的服务器端 TCP Socket 连接。

稍微在本地调试过，用起来和Nio有一些不同，是阻塞的，所以API调用也不一样。因为是阻塞的IO，几乎没什么人会选择使用Oio，所以也很难找到例子。我稍微琢磨了一下，经过几次报错之后，总算调通了。代码如下：

//server端代码，跟上面几乎一样，只需改三个地方//这个地方使用的是OioEventLoopGroupEventLoopGroup bossGroup = new OioEventLoopGroup();ServerBootstrap bootstrap = new ServerBootstrap(); bootstrap.group(bossGroup)//只需要设置一个线程组boosGroup .channel(OioServerSocketChannel.class)//设置服务端通道实现类型 //client端代码，只需改两个地方 //使用的是OioEventLoopGroup EventLoopGroup eventExecutors = new OioEventLoopGroup(); //通道类型设置为OioSocketChannel bootstrap.group(eventExecutors)//设置线程组 .channel(OioSocketChannel.class)//设置客户端的通道实现类型

NioSctpChannel： 异步的客户端 Sctp（Stream Control Transmission Protocol，流控制传输协议）连接。

NioSctpServerChannel： 异步的 Sctp 服务器端连接。

本地没启动成功，网上看了一些网友的评论，说是只能在linux环境下才可以启动。从报错信息看：SCTP not supported on this platform，不支持这个平台。因为我电脑是window系统，所以网友说的有点道理。

option()与childOption()

option()设置的是服务端用于接收进来的连接,也就是boosGroup线程

childOption()是提供给父管道接收到的连接,也就是workerGroup线程

SocketChannel参数,也就是childOption()常用的参数:

SO_RCVBUF Socket参数，TCP数据接收缓冲区大小。TCP_NODELAY TCP参数，立即发送数据，默认值为Ture。SO_KEEPALIVE Socket参数，连接保活，默认值为False。启用该功能时，TCP会主动探测空闲连接的有效性。

ServerSocketChannel参数,也就是option()参数

SO_BACKLOG Socket参数，服务端接受连接的队列长度，如果队列已满，客户端连接将被拒绝。默认值，Windows为200，其他为128。

设置流水线

ChannelPipeline是Netty处理请求的责任链，ChannelHandler则是具体处理请求的处理器。实际上每一个channel都有一个处理器的流水线。

在Bootstrap中childHandler()方法需要初始化通道，实例化一个ChannelInitializer，这时候需要重写initChannel()初始化通道的方法，装配流水线就是在这个地方进行。代码演示如下：

//使用匿名内部类的形式初始化通道对象bootstrap.childHandler(new ChannelInitializer<SocketChannel>() { @Override protected void initChannel(SocketChannel socketChannel) throws Exception { //给pipeline管道设置自定义的处理器 socketChannel.pipeline().addLast(new MyServerHandler()); } });

处理器handler主要分为两种:

ChannelInboundHandlerAdapter(入站处理器)ChannelOutboundHandler(出站处理器)

入站指的是数据从底层java NioChannel到Netty的Channel。

出站指的是通过Netty的Channel来操作底层的java NiO Channel

ChannelInboundHandlerAdapter处理器常用的事件有：

  1. 注册事件 fireChannelRegistered。
  2. 连接建立事件 fireChannelActive。
  3. 读事件和读完成事件 fireChannelRead、fireChannelReadComplete。
  4. 异常通知事件 fireExceptionCaught。
  5. 用户自定义事件 fireUserEventTriggered。
  6. Channel 可写状态变化事件 fireChannelWritabilityChanged。
  7. 连接关闭事件 fireChannelInactive。

ChannelOutboundHandler处理器常用的事件有：

  1. 端口绑定 bind。
  2. 连接服务端 connect。
  3. 写事件 write。
  4. 刷新时间 flush。
  5. 读事件 read。
  6. 主动断开连接 disconnect。
  7. 关闭 channel 事件 close。

还有一个类似的handler()，主要用于装配parent通道，也就是bossGroup线程。一般情况下，都用不上这个方法。

bind()

提供用于服务端或者客户端绑定服务器地址和端口号，默认是异步启动。如果加上sync()方法则是同步。

有五个同名的重载方法，作用都是用于绑定地址端口号。不一一介绍了。

优雅地关闭EventLoopGroup

//释放掉所有的资源，包括创建的线程bossGroup.shutdownGracefully();workerGroup.shutdownGracefully();

会关闭所有的child Channel。关闭之后，释放掉底层的资源。

Channel

一种连接到网络套接字或能进行读、写、连接和绑定等I/O操作的组件。

如果上面这段说明比较抽象，下面还有一段说明：

channel为用户提供：

  1. 通道当前的状态（例如它是打开？还是已连接？）
  2. channel的配置参数（例如接收缓冲区的大小）
  3. channel支持的IO操作（例如读、写、连接和绑定），以及处理与channel相关联的所有IO事件和请求的ChannelPipeline。

 获取channel的状态

boolean isOpen(); //如果通道打开，则返回trueboolean isRegistered();//如果通道注册到EventLoop，则返回trueboolean isActive();//如果通道处于活动状态并且已连接，则返回trueboolean isWritable();//当且仅当I/O线程将立即执行请求的写入操作时，返回true。

以上就是获取channel的四种状态的方法。

获取channel的配置参数

获取单条配置信息 使用getOption()代码演示:

ChannelConfig config = channel.config();//获取配置参数//获取ChannelOption.SO_BACKLOG参数,Integer soBackLogConfig = config.getOption(ChannelOption.SO_BACKLOG);//因为我启动器配置的是128，所以我这里获取的soBackLogConfig=128

获取多条配置信息,使用getOptions

ChannelConfig config = channel.config();Map<ChannelOption<?>, Object> options = config.getOptions();for (Map.Entry<ChannelOption<?>, Object> entry : options.entrySet()) { System.out.println(entry.getKey() + " : " + entry.getValue()); } /** SO_REUSEADDR : false WRITE_BUFFER_LOW_WATER_MARK : 32768 WRITE_BUFFER_WATER_MARK : WriteBufferWaterMark(low: 32768, high: 65536) SO_BACKLOG : 128 以下省略... */

channel支持的IO操作

写操作，这里演示从服务端写消息发送到客户端：

@Overridepublic void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception { ctx.channel().writeAndFlush(Unpooled.copiedBuffer("这波啊，这波是肉蛋葱鸡~", CharsetUtil.UTF_8));}

客户端控制台：

//收到服务端/127.0.0.1:6666的消息：这波啊，这波是肉蛋葱鸡~

连接操作,代码演示:

ChannelFuture connect = channelFuture.channel().connect(new InetSocketAddress("127.0.0.1", 6666));//一般使用启动器，这种方式不常用

通过channel获取ChannelPipeline,并做相关的处理:

//获取ChannelPipeline对象ChannelPipeline pipeline = ctx.channel().pipeline();//往pipeline中添加ChannelHandler处理器，装配流水线pipeline.addLast(new MyServerHandler());

Selector

在NioEventLoop中，有一个成员变量selector，Netty中的Selector也和NIO的Selector是一样的，就是用于监听事件，管理注册到Selector中的channel，实现多路复用器。

Netty简介_客户端_04

PiPeline与ChannelPipeline

在前面介绍Channel时，我们知道可以在channel中装配ChannelHandler流水线处理器，那一个channel不可能只有一个channelHandler处理器，肯定是有很多的，既然是很多channelHandler在一个流水线工作，肯定是有顺序的。

于是pipeline就出现了，pipeline相当于处理器的容器。初始化channel时，把channelHandler按顺序装在pipeline中，就可以实现按序执行channelHandler了。

Netty简介_服务端_05

在一个Channel中，只有一个ChannelPipeline。该pipeline在Channel被创建的时候创建。ChannelPipeline包含了一个ChannelHander形成的列表，且所有ChannelHandler都会注册到ChannelPipeline中。

ChannelHandlerContext

在Netty中，Handler处理器是有我们定义的，上面讲过通过集成入站处理器或者出站处理器实现。这时如果我们想在Handler中获取pipeline对象，或者channel对象，怎么获取呢。

于是Netty设计了这个ChannelHandlerContext上下文对象，就可以拿到channel、pipeline等对象，就可以进行读写等操作。

Netty简介_TCP_06

通过类图，ChannelHandlerContext是一个接口，下面有三个实现类。

实际上ChannelHandlerContext在pipeline中是一个链表的形式。看一段源码就明白了：

//ChannelPipeline实现类DefaultChannelPipeline的构造器方法protected DefaultChannelPipeline(Channel channel) { this.channel = ObjectUtil.checkNotNull(channel, "channel"); succeededFuture = new SucceededChannelFuture(channel, null); voidPromise = new VoidChannelPromise(channel, true); //设置头结点head，尾结点tail tail = new TailContext(this); head = new HeadContext(this); head.next = tail; tail.prev = head; }

下面我用一张图来表示，会更加清晰一点：

Netty简介_客户端_07

EventLoopGroup

其中包括了常用的实现类NioEventLoopGroup。OioEventLoopGroup在前面的例子中也有使用过。

从Netty的架构图中，可以知道服务器是需要两个线程组进行配合工作的，而这个线程组的接口就是EventLoopGroup。

每个EventLoopGroup里包括一个或多个EventLoop，每个EventLoop中维护一个Selector实例。

轮询机制的实现原理

我们不妨看一段DefaultEventExecutorChooserFactory的源码：

private final AtomicInteger idx = new AtomicInteger();private final EventExecutor[] executors;@Overridepublic EventExecutor next() { //idx.getAndIncrement()相当于idx++，然后对任务长度取模 return executors[idx.getAndIncrement() & executors.length - 1];}

这段代码可以确定执行的方式是轮询机制，接下来debug调试一下：

它这里还有一个判断，如果线程数不是2的N次方，则采用取模算法实现。

@Overridepublic EventExecutor next() { return executors[Math.abs(idx.getAndIncrement() % executors.length)];}

标签：Netty,pipeline,简介,线程,new,连接,channel
From： https://blog.51cto.com/u_16301000/7843274

相关文章

  • 2. Vue简介
    三大问题（是什么，为什么，怎么办）：Vue是帮助前端优化开发的一个工具，是一个框架渐进式框架的概念Vue2-->Vue3......
  • 反汇编工具IDAPro简介
    目录一、前言二、下载三、安装四、简单使用第一步：打开IDAPro32软件第二步：新建一个文件第三步：选择一个exe进行分析第四步：装载PE文件第六步：显示运行结果第七步：查看源代码第八步：关闭IDAPro并保存数据库文件参考一、前言IDAPro（InteractiveDisassemblerProfessional）简称“......
  • 无涯教程-DBUtils - 简介
    ApacheCommonsDbUtils库是一组很小的类，这些类旨在简化JDBC调用处理，而不会造成资源泄漏，并使代码更简洁。由于JDBC资源清理非常繁琐且容易出错，因此DBUtils类有助于抽象出样板代码，以便开发人员仅专注于与数据库相关的操作。DBUtils优点NoReasourceLeakage - DBUtils类确保......
  • Unix domain socket 简介
    原文:https://www.cnblogs.com/sparkdev/p/8359028.html Unixdomainsocket又叫IPC(inter-processcommunication进程间通信)socket，用于实现同一主机上的进程间通信。socket原本是为网络通讯设计的，但后来在socket的框架上发展出一种IPC机制，就是UNIXdomainsocket......
  • 无涯教程-ASP.NET MVC - 简介
    ASP.NETCoreMVC是ASP.NETCore内，提供给Web应用程序开发的框架，它可视为ASP.NETMVC的后继版本，其主要功能均衍生自ASP.NETMVC，但它除了基于ASP.NETCore外，也将ASP.NETMVC与类似平台进行了整合，例如负责View的ASP.NETWebPages以及负责RESTfulAPI的ASP.NETW......
  • Oracle 简介与 Docker Compose部署
    最近，我翻阅了在之前公司工作时的笔记，偶然发现了一些有关数据库的记录。当初，我们的项目一开始采用的是Oracle数据库，但随着项目需求的变化，我们不得不转向使用SQLServer。值得一提的是，公司之前采用的是Docker技术，所有数据库的部署都是通过DockerCompose来完成的。在今天的文......
  • Composite 组合模式简介与 C# 示例【结构型3】【设计模式来了_8】
    〇、简介1、什么是组合设计模式？一句话解释：  针对树形结构的任意节点，都实现了同一接口，他们具有相同的操作，可以通过某一操作来遍历全部节点。组合模式通过使用树形结构来组合对象，用来表示部分以及整体层次。组合模式属于结构型模式，多用于递归。官方意图描述：将对象组合成树形......
  • UML简介6活动（Activity）图
    6活动图活动图侧重于将程序处理建模为系统。它规定了实现活动所需的各个步骤--操作--之间的控制流和数据流。在UML2中，活动图使用面向流程的语言概念，这些概念起源于定义业务流程的语言。活动图也基于用于描述并发通信过程的既定概念，如Petri网的标记概念。活动图的特点是既支持......
  • 绘制系统（绘制系统简介，画笔和画刷，渐变系统，坐标系统，绘制文字和图片，图形视图框架）
    一、绘制系统简介QPainter、QPaintDevice和QPaintEngine这三个类。其中QPainter用来执行绘图操作；QPaintDevice提供绘图设备，它是一个二维空间的抽象，可以使用QPainter在其上进行绘制；QPaintEngine提供了一些接口，可以用于QPainter在不同的设备上进行绘制。在绘图系统中由QPainter来完成......
  • 模型视图简介、QListWidget、QTreeWidget、QTableWidget、QStringListModel、QFileSys
    一、模型视图简介   有时，我们的系统需要显示大量数据，比如从数据库中读取数据，以自己的方式显示在自己的应用程序的界面中。早期的Qt要实现这个功能，需要定义一个组件，在这个组件中保存一个数据对象，比如一个列表。我们对这个列表进行查找、插入等的操作，或者把修改的地方写回，然后......

赞助商

阅读排行

网站主页关于我们联系我们网站地图

本网站内容转载自其他媒体，侵权联系[admin##ips99.com]。

Copyright © 2020-2023 IPS99 版权所有 IPS99