dremio jdbc 客户端简单说明

标签：dremio jdbc java pipe rpc new 客户端

dremio jdbc 客户端实际上包含了基本上两大类，一个是传统jdbc 的，一个是基于apache arrow flight sql jdbc 的
当前主要说明传统jdbc 客户端的，内部上dremio 基于了calcite 的avatica 进行jdbc driver 的包装，实际客户端的
链接处理是基于了dremio 自己包装的java client （通过rpc 服务，直接的是DremioClient，内部实际上调用的是UserClient）
关于avatica 部分就不说明了，主要说明下rpc 关联部分

DremioClient 提供的能力

 

 

UserClient 提供的能力

内部网络部分是基于了netty，从下图可以看出依赖了BasicClient以及RpcBus，jdbc 消息处理以及查询执行，就是基于此提供的包装能力
比如处理查询，连接管理，处理响应

 

 

dremio 对于client rpc 的处理基于netty，自己实现了编码器以及解码器以及消息处理的handler
BasicClient 构造函数部分

 

 b = new Bootstrap()

        .group(eventLoopGroup)

        .channel(TransportCheck.getClientSocketChannel())

        .option(ChannelOption.ALLOCATOR, alloc)

        .option(ChannelOption.CONNECT_TIMEOUT_MILLIS, 30 * 1000)

        .option(ChannelOption.SO_REUSEADDR, true)

        .option(ChannelOption.SO_RCVBUF, SO_BUF_SZ)

        .option(ChannelOption.SO_SNDBUF, SO_BUF_SZ)

        .option(ChannelOption.TCP_NODELAY, true)

        .handler(new ChannelInitializer<SocketChannel>() {

 

          @Override

          protected void initChannel(SocketChannel ch) throws Exception {

            connection = initRemoteConnection(ch);

 

            // each handler in the pipeline is created per connection

 

            ch.closeFuture().addListener(newCloseListener(ch, connection));

 

            final ChannelPipeline pipe = ch.pipeline();

            // rpc 编解码器

            pipe.addLast(PROTOCOL_ENCODER, new RpcEncoder("c-" + rpcConfig.getName()));

            pipe.addLast(PROTOCOL_DECODER, newDecoder(connection.getAllocator()));

            pipe.addLast(HANDSHAKE_HANDLER, new ClientHandshakeHandler());

 

            if (timeoutInMillis != -1) {

              pipe.addLast(IDLE_STATE_HANDLER, new IdlePingHandler(timeoutInMillis));

            }

           // 消息处理handler

            pipe.addLast(MESSAGE_HANDLER, new InboundHandler(connection));

            pipe.addLast(EXCEPTION_HANDLER, new RpcExceptionHandler<>(connection));

          }

        });

当进入rpc服务之后，后续的就是标准的sql 处理了，包含了sql 校验，关系转换，逻辑计划，物理计划，计划执行。。。
参考部分执行调用图

 

 

说明

以上只是一个简单的说明，实际内部还是很复杂的，毕竟需要关联整个dremio 的东西，
jdbc 处理部分基于了protobuf 处理消息 protocol以及services/base-rpc 模块里边关于消息是定义是值得看看的

参考资料

client/jdbc/src/main/java/com/dremio/jdbc/impl/DremioJdbc41Factory.java
client/jdbc/src/main/java/com/dremio/jdbc/impl/DremioConnectionImpl.java
client/base/src/main/java/com/dremio/exec/client/DremioClient.java
services/coordinator/src/main/java/com/dremio/service/coordinator/ClusterCoordinator.java
services/base-rpc/src/main/java/com/dremio/exec/rpc/RpcBus.java

标签：dremio,jdbc,java,pipe,rpc,new,客户端
From： https://www.cnblogs.com/rongfengliang/p/17013319.html