DataLight新增可部署服务Kyuubi（1.1.3版本）亲爱的DataLight用户们，DataLight平台的最新版本（1.1.3）发布啦！在此次更新中，我们新增了多个功能和优化，旨在为您带来更加顺畅和高效的平台使用体验。一.更新日志新增：1、新增部署支持KYUUBI；2、新增KYUUBIGrafanaDashboar

目录一、概述二、SparkKyuubi架构三、Hadoop基础环境安装1）hadoop下载部署包2）创建网络3）部署MySQL4）部署HadoopHive四、SparkKyuubi安装1）下载Kyuubi2）下载Spark32）配置Kyuubi（Spark3）3）启动Kyuubi4）测试使用五、ApacheKyuubiHA部署1）部署Zookeeper3）KyuubiHA配置4）启动服务

kyuubi-1.6.1版本对于flinksql的支持不是很好，在提交流式任务时会阻塞进程，为了修复这个缺陷，需要修改源代码并重新编译待编译的kyuubi版本：kyuubi-1.6.1-incubating适配的flink版本：flink-1.14.41、下载kyuubi-1.6.1-incubating版本的源代码，并导入IDEA中gitclone-bv1.6.1-incu

关键信息如下标红，operationHandle字段未设置，这个很容易想到是版本不一致，在DBeaver里修改kyuubi的驱动即可 asdfa2023-06-1208:55:29.756INFOorg.apache.kyuubi.server.KyuubiTBinaryFrontendService:Clientprotocolversion:HIVE_CLI_SERVICE_PROTOCOL_V102023-06-12

背景为满足业务大数据架构使用多种sql引擎：spark，flink，trino(同时查询hive，clickhouse等)，需要部署一个统一的sql入口，该入口满足多引擎多平台运行；本次实践是上述需求的一个

背景CDH最后一个免费版6.3.2发布一年有余，离线计算核心组件版本停在了Hadoop3.0.0，Hive2.1.1，Spark2.4.0。随着Spark3.0的重磅发布，在性能方面又迎来了一次飞跃，本文