DataLight 新增可部署服务 Kyuubi（DataLight 1.1.3 版本）

DataLight 新增可部署服务 Kyuubi（1.1.3 版本）

亲爱的 DataLight 用户们，

DataLight 平台的最新版本（1.1.3）发布啦！在此次更新中，我们新增了多个功能和优化，旨在为您带来更加顺畅和高效的平台使用体验。

一. 更新日志

• 新增：
  1、新增部署支持 KYUUBI；
  2、新增 KYUUBI Grafana Dashboard；
  3、新增 KYUUBI 编译集成文档；

• 优化：
  1、修复 TEZ UI 跨域访问的问题，涉及修改文件：configs.js；
  2、节点与服务组件异步操作过程中，查看日志的标题中，增加任务名称描述，不只是显示任务 ID；
  3、服务组件 UI 超链接中，将 IP 地址改为节点主机名地址；
  4、优化 datalight.sh 脚本，当存在多个版本的 jar 包时，自动寻找并操作最新版本 jar 包；
  5、优化增量动态更新 Master WebUI 时，可能因浏览器缓存导致的首次加载页面失败的问题；
  6、优化 Master、Worker 进程等待超时，缓解部分环境性能较差时，容易发生超时等待脚本提前退出的问题；

二. 更新内容预览

2.1 新增可部署服务 KYUUBI

在本次更新中，DataLight 平台引入了对 KYUUBI 服务的支持。KYUUBI 是一个高性能的大数据查询引擎，能够显著提高大数据处理的效率和性能。通过在 DataLight 平台上部署 KYUUBI，用户可以利用其强大的查询和数据处理能力，进一步优化数据分析和处理流程。同时，我们还提供了 KYUUBI 的 Grafana Dashboard 和编译集成文档，帮助用户更快地上手和使用 KYUUBI 服务。

2.2 TEZ UI

TEZ UI 是一个用于管理和监控 Apache Tez 作业的用户界面。在本次更新中，我们修复了 TEZ UI 的跨域访问问题，使得用户在不同域名或 IP 地址下访问 TEZ UI 时更加顺畅。此外，我们还优化了 TEZ UI 的一些细节，使其在显示和交互上更加友好和高效。用户现在可以更方便地通过 TEZ UI 监控和管理大数据处理作业，提升工作效率。

2.3 组件 UI 入口变动

为了提升用户体验和操作便捷性，本次更新对组件 UI 入口进行了优化调整。具体来说，我们将服务组件的 UI 超链接从 IP 地址改为节点主机名地址，这样可以避免因 IP 地址变动而导致的访问问题。此外，在查看节点与服务组件异步操作日志时，我们在标题中增加了任务名称描述，使得日志信息更加清晰易懂，不再只是显示任务 ID。这些改动旨在使用户在使用平台时能够更加直观和高效地进行操作和管理。

注：这要求用户需要在浏览器所在机器上，配置主机名与内网 IP 的映射关系（如：在 windows 系统中的 C:\Windows\System32\drivers\etc\hosts 文件中进行配置）

三. 什么是 KYUUBI

KYUUBI 是一个开源的大数据查询引擎，旨在提供高性能和高效的大数据处理能力。通过此次更新，DataLight 平台现在支持 KYUUBI 部署，并提供了对应的 Grafana Dashboard 和编译集成文档，方便用户快速上手和使用。

四. 如何使用 KYUUBI

在操作之前，请确保已通过 DataLight 部署了 KYUUBI 服务。

4.1 连接 KyuubiServer

执行如下命令，通过 Kyuubi beeline 连接 HiveServer2

/srv/datalight/KYUUBI/bin/beeline -u 'jdbc:hive2://node01:10000/' -n datalight

4.2 模拟数据

新建表，并插入数据，尝试查询，查询后可通过 YARN 或 TezUI 查询日志信息。

CREATE TABLE IF NOT EXISTS t_sales (
  transaction_id INT,
  product_id INT,
  amount DOUBLE
);

INSERT INTO t_sales VALUES
(1, 101, 50.0),
(2, 102, 30.0),
(3, 101, 70.0);

SELECT product_id, SUM(amount) AS total_sales
FROM t_sales
GROUP BY product_id;

五. 如何增量更新 1.1.3 版本到已有 DataLight 平台

对于已经部署 DataLight 的用户，升级到本次发布的 DataLight-1.1.3 版本，可通过如下操作进行。

注：本次增量更新适用于以往所有版本到当前版本的升级

5.1 停止 Master/Worker进程

进入主节点，在所有服役的节点上，执行以下命令，以停止所有节点上的 Master、Worker 进程：

/opt/datalight/bin/datalight.sh stop master
/opt/datalight/bin/datalight.sh stop worker

注：Master 进程所在节点称之为主节点，下同

5.2 更新平台进程包

前往百度网盘，下载最新的 DataLight-1.1.3 程序包，名称为：services-master-1.1.3.jar、services-worker-1.1.3.jar，或自行通过源码编译，然后删除 /opt/datalight/app 目录下原有的 master、worker 的 jar 包，并上传最新 jar 包到服务器。

5.3 更新 plugins 包

5.3.1 更新 KYUUBI 包

前往百度网盘，下载 KYUUBI 服务包。

下载后，上传至 **Master 所在节点 **的 /opt/datalight/plugins 目录下。

5.3.2 更新 MONITOR 包

前往 **百度网盘 **或 开源仓库，下载 MONITOR 服务包下的 dashboard 目录。

下载后，覆盖上传至 Master 所在节点的 /opt/datalight/plugins/MONITOR 目录下。

5.4 更新服务配置

前往 **百度网盘 **或 开源仓库，下载 conf 目录。

下载后，覆盖上传至 Master 所在节点的 /opt/datalight 目录下。

5.5 更新平台进程脚本

前往 **百度网盘 **或 开源仓库，下载 bin 目录。

下载后，覆盖上传至 Master 所在节点的 /opt/datalight 目录下。

5.6 手动分发到所有节点

通过 scp 或其他同步命令，将上述更新内容由主节点推送至其他从节点。或直接推送完整安装包。

scp -r /opt/datalight node02:/opt

5.7 重新启动 Master 进程

进入主节点，通过以下命令启动 Master 进程：

/opt/datalight/bin/datalight.sh start master 8001

Master 进程重启后，稍等片刻，Master 将自动拉起所有节点上的 Worker 进程。

感谢您一直以来对 DataLight 的支持和信任。DataLight 将为您带来更加智能和高效的数据管理体验。期待您的使用和反馈！

​ ——DataLight 团队

关注我们，获取更多最新资讯：

微信公众号：

QQ 交流群：

微信交流：

一起见证数据世界的无限可能！

开源协议

本项目采用 Apache 2.0 开源协议。有关详细内容，请查看 Apache 2.0 LICENSE。