首页 > 其他分享 >dremio jdbc 客户端简单说明

dremio jdbc 客户端简单说明

时间:2022-12-31 10:34:11浏览次数:44  
标签:dremio jdbc java connection rpc new 客户端

dremio jdbc 客户端实际上包含了基本上两大类,一个是传统jdbc 的,一个是基于apache arrow flight sql jdbc 的
当前主要说明传统jdbc 客户端的,内部上dremio 基于了calcite 的avatica 进行jdbc driver 的包装,实际客户端的
链接处理是基于了dremio 自己包装的java client (通过rpc 服务,直接的是DremioClient,内部实际上调用的是UserClient)
关于avatica 部分就不说明了,主要说明下rpc 关联部分

DremioClient 提供的能力

dremio jdbc 客户端简单说明_bc

 

 

UserClient 提供的能力

内部网络部分是基于了netty,从下图可以看出依赖了BasicClient以及RpcBus,jdbc 消息处理以及查询执行,就是基于此提供的包装能力
比如处理查询,连接管理,处理响应

dremio jdbc 客户端简单说明_bc_02

 

 

dremio 对于client rpc 的处理基于netty,自己实现了编码器以及解码器以及消息处理的handler
BasicClient 构造函数部分

 

b = new Bootstrap()
.group(eventLoopGroup)
.channel(TransportCheck.getClientSocketChannel())
.option(ChannelOption.ALLOCATOR, alloc)
.option(ChannelOption.CONNECT_TIMEOUT_MILLIS, 30 * 1000)
.option(ChannelOption.SO_REUSEADDR, true)
.option(ChannelOption.SO_RCVBUF, SO_BUF_SZ)
.option(ChannelOption.SO_SNDBUF, SO_BUF_SZ)
.option(ChannelOption.TCP_NODELAY, true)
.handler(new ChannelInitializer<SocketChannel>() {

 

@Override
protected void initChannel(SocketChannel ch) throws Exception {
connection = initRemoteConnection(ch);

 

// each handler in the pipeline is created per connection

 

ch.closeFuture().addListener(newCloseListener(ch, connection));

 

final ChannelPipeline pipe = ch.pipeline();
// rpc 编解码器
pipe.addLast(PROTOCOL_ENCODER, new RpcEncoder("c-" + rpcConfig.getName()));
pipe.addLast(PROTOCOL_DECODER, newDecoder(connection.getAllocator()));
pipe.addLast(HANDSHAKE_HANDLER, new ClientHandshakeHandler());

 

if (timeoutInMillis != -1) {
pipe.addLast(IDLE_STATE_HANDLER, new IdlePingHandler(timeoutInMillis));
}
// 消息处理handler
pipe.addLast(MESSAGE_HANDLER, new InboundHandler(connection));
pipe.addLast(EXCEPTION_HANDLER, new RpcExceptionHandler<>(connection));
}
});

当进入rpc服务之后,后续的就是标准的sql 处理了,包含了sql 校验,关系转换,逻辑计划,物理计划,计划执行。。。
参考部分执行调用图

dremio jdbc 客户端简单说明_java_03

 

 

说明

以上只是一个简单的说明,实际内部还是很复杂的,毕竟需要关联整个dremio 的东西,
jdbc 处理部分基于了protobuf 处理消息 protocol以及services/base-rpc 模块里边关于消息是定义是值得看看的

参考资料

client/jdbc/src/main/java/com/dremio/jdbc/impl/DremioJdbc41Factory.java
client/jdbc/src/main/java/com/dremio/jdbc/impl/DremioConnectionImpl.java
client/base/src/main/java/com/dremio/exec/client/DremioClient.java
services/coordinator/src/main/java/com/dremio/service/coordinator/ClusterCoordinator.java
services/base-rpc/src/main/java/com/dremio/exec/rpc/RpcBus.java

标签:dremio,jdbc,java,connection,rpc,new,客户端
From: https://blog.51cto.com/rongfengliang/5981999

相关文章

  • dremio ClassCompilerSelector 简单说明
    ClassCompilerSelector核心是基于配置的策略选择不同的类编译器,然后编译为字节数组当前包含了基于jdk的以及janinoClassCompiler实现类图  使用到的类直接使用主要包......
  • dremio UserServer 简单说明
    UserServer目的是对于UserRPCServer进行生命周期管理(基于netty开发的)主要是处理非web请求(实际上就是直接链接的服务)从官方源码上UserServer的创建只能在协调节点(当然......
  • JDBC
    JDBC简介javadatabaseconnectivity就是用java语言操作关系型数据库的一套API。jdbc本质就是sun公司定义的一套操作所有关系型数据库的规则,即接口。各个数据库厂商去......
  • 通过JDBC操作数据库时出现中文乱码的问题,Navicat
    问题的发生昨天我帮我同学做了一个前端加后端的项目,使用的是mysql+jdbc+Servlet+jsp技术。但是通过junit测试向数据库插入数据时,插入中文,在Navicat中是以问号显示的。献上......
  • dremio UserServer 简单说明
    UserServer目的是对于UserRPCServer进行生命周期管理(基于netty开发的)主要是处理非web请求(实际上就是直接链接的服务)从官方源码上UserServer的创建只能在协调节点(当......
  • dremio 参考配置参考
    实际上我以前简单说明过,下边包含一个官方文档完整的,方便参数学习官方提供的参考配置dremio-reference.confincludeclasspath("dremio-reference-ext.conf")......
  • dremio jdbc 客户端简单说明
    dremiojdbc客户端实际上包含了基本上两大类,一个是传统jdbc的,一个是基于apachearrowflightsqljdbc的当前主要说明传统jdbc客户端的,内部上dremio基于了calcite......
  • Termius:一款跨平台免费SSH客户端工具,支持WIN/MAC平台
    Termius官方版是一款相当实用的跨平台SSH工具。Termius官方版软件允许您将主机组织成组。组允许共享设置,但每个主机可以有自己的独立首选项。Termius最新版支持连同连接和......
  • 基于Qt的桌面客户端组件化框架DT 开源啦
    这个是本人在工作中基于QT开发的组件化桌面开发框架,目前打算开源出来提供给大家,节省大家的开发时间和效率,希望对大家的开发有所帮助,也欢迎提出意见和改进建议1.为什么开源D......
  • C# OPC_DA客户端
    安装 MatrikonOPC软件,用来模拟OPC_DA服务器。参考这篇博文:OPCServer:使用MatrikonOPCServerSimulation-ioufev-博客园(cnblogs.com)从网上下载OPCDAAuto.dll参......