首页 > 其他分享 >Apache SeaTunnel 2.3.5 Zeta-Server集群环境搭建与使用

Apache SeaTunnel 2.3.5 Zeta-Server集群环境搭建与使用

时间:2024-08-13 15:42:06浏览次数:10  
标签:SeaTunnel License 配置 seatunnel Server cluster 集群 2.3

file

作者 | 月影幽篁

在当前数据驱动的业务环境中,快速且高效的数据处理能力至关重要。Apache SeaTunnel以其卓越的性能和灵活性,成为数据工程师和开发者的首选工具之一。本文将介绍如何在集群环境中搭建Apache SeaTunnel 2.3.5版本的 Zeta-Server,并概述其使用方法。

SeaTunnel二进制包下载

下载地址:https://seatunnel.apache.org/zh-CN/download

SeaTunnel环境变量配置

编辑/etc/profile文件,添加如下配置:

export SEATUNNEL_HOME=${seatunnel install path}
export PATH=$PATH:$SEATUNNEL_HOME/bin

SeaTunnel Zeta Server配置

JVM配置

SeaTunnel Zeta Server的jvm配置文件路径为${SEATUNNEL_HOME}/config/jvm_options,可以在这里调整JVM相关配置。

引擎配置

一定要编辑的几个配置:

  • cluster-name
    SeaTunnel Engine 节点使用 cluster-name 来确定另一个节点是否与自己在同一集群中。如果两个节点之间的集群名称不同,SeaTunnel 引擎将拒绝服务请求。

  • 网络
    基于 Hazelcast, 一个 SeaTunnel Engine 集群是由运行 SeaTunnel Engine 服务器的集群成员组成的网络。 集群成员自动加入一起形成集群。这种自动加入是通过集群成员使用的各种发现机制来相互发现的。

请注意,集群形成后,集群成员之间的通信始终通过 TCP/IP 进行,无论使用的发现机制如何。
示例:

hazelcast:
  cluster-name: seatunnel
  network:
    join:
      tcp-ip:
        enabled: true
        member-list:
          - hostname1
    port:
      auto-increment: false
      port: 5801
  properties:
    hazelcast.logging.type: log4j2
  • 类加载器缓存模式(classloader-cache-mode)
    此配置主要解决不断创建和尝试销毁类加载器所导致的资源泄漏问题。 如果您遇到与元空间溢出相关的异常,您可以尝试启用此配置。 为了减少创建类加载器的频率,在启用此配置后,SeaTunnel 在作业完成时不会尝试释放相应的类加载器,以便它可以被后续作业使用,也就是说,当运行作业中使用的 Source/Sink 连接器类型不是太多时,它更有效。 默认值是 false。示例:
seatunnel:
  engine:
    classloader-cache-mode: true
  • 历史作业过期配置(history-job-expire-minutes)
    每个完成的作业的信息,如状态、计数器和错误日志,都存储在 IMap 对象中。随着运行作业数量的增加,内存会增加,最终内存将溢出。因此,您可以调整 history-job-expire-minutes 参数来解决这个问题。此参数的时间单位是分钟。默认值是 1440 分钟,即一天。示例:
seatunnel:
  engine:
    history-job-expire-minutes: 1440

更多配置可以参考官方文档:https://seatunnel.apache.org/zh-CN/docs/2.3.5/seatunnel-engine/deployment#4-配置-seatunnel-engine

Client配置

JVM配置

SeaTunnel Client的jvm配置文件路径为${SEATUNNEL_HOME}/config/jvm_client_options,可以在这里调整JVM相关配置,在使用bin/seatunnel.sh --config xxx.conf提交任务时会启动一个java进程,可以使用此配置来控制java进程参数。

#
# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements.  See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License.  You may obtain a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
#

# JVM Heap
-Xms1g
-Xmx1g

# JVM Dump
-XX:+HeapDumpOnOutOfMemoryError
-XX:HeapDumpPath=/opt/icarbon_saas/bigdata/seatunnel/dump/zeta-client

引擎客户端配置

引擎客户端配置文件路径为:${SEATUNNEL_HOME}/config/hazelcast-client.yaml

  • cluster-name
    客户端必须与 SeaTunnel Engine 具有相同的 cluster-name。否则,SeaTunnel Engine 将拒绝客户端的请求。

  • cluster-members
    需要将所有 SeaTunnel Engine 服务器节点的地址添加到这里。示例:

hazelcast-client:
  cluster-name: seatunnel
  properties:
      hazelcast.logging.type: log4j2
  network:
    cluster-members:
      - hostname1:5801

启动Seatunnel Engine

${SEATUNNEL_HOME}/bin/seatunnel-cluster.sh -d

本文由 白鲸开源 提供发布支持!

标签:SeaTunnel,License,配置,seatunnel,Server,cluster,集群,2.3
From: https://www.cnblogs.com/seatunnel/p/18357036

相关文章

  • Windows Server 2019 搭建FTP站点制作服务器证书
    制作服务器证书1.在“服务器管理器”中,选择“仪表板>工具>InternetInformationServices(IIS)管理器”。2.在左侧列表单击服务器,然后在服务器主页“IIS”区域,双击“服务器证书”,进入“服务器证书”页面。3.单击“创建自签名证书”  4.输入证书的名称......
  • VS Code Server的离线安装过程
    1.服务器上vscode-server安装取决于你本地使用的vscode版本,版本用commit_id来区别。首先打开vscode,点击帮助-关于(Help->about可以查看),如下这个commitid也就是你本地Vscode版本的commitid:2.vscode-server的下载链接如下:https://update.code.visualstud......
  • ntdsutil.exe 是一个用于管理和维护 Windows Server 中的 Active Directory 数据库的
     ntdsutil.exe是一个用于管理和维护WindowsServer中的ActiveDirectory数据库的命令行工具。它允许管理员执行多种任务,包括: 备份和还原ActiveDirectory数据库:你可以使用ntdsutil来创建数据库的备份、还原数据库以及检查和修复数据库的完整性。维护和修复Act......
  • SeaTunnel 2.3.6 在Ubuntu环境的安装
    SeaTunnel2.3.6在Ubuntu环境的安装目录SeaTunnel2.3.6在Ubuntu环境的安装环境变量下载软件下载连接器连接器下载配置下载连接器插件下载连接器加速测试SeaTunnel示例批任务测试Mysql-CDC到Postgresql创建测试表编辑任务配置文件下载数据库驱动启动集群模式启动任务环境说......
  • 夏日狂欢,游戏新体验,植物大战僵尸杂交版 v2.3.5
    ......
  • 解决:The GPG keys listed for the "MySQL 8.0 Community Server" repository are alre
    安装mysql提示Retrievingkeyfromfile:///etc/pki/rpm-gpg/RPM-GPG-KEY-mysqlTheGPGkeyslistedforthe"MySQL8.0CommunityServer"repositoryarealreadyinstalledbuttheyarenotcorrectforthispackage.CheckthatthecorrectkeyURLsarecon......
  • SQL Server数据库字段类型-日期和时间类型
    SQLServer数据库字段类型-日期和时间类型官方地址:日期和时间类型类型格式示例值日期范围timehh:mm:ss[.nnnnnnn]12:35:29.1234567dateyyyy-MM-dd2022-05-080001-01-01到9999-12-31(对于Informatica,则为1582-10-15到9999-12-31)datetimeyyyy-MM-ddTHH:mm:ss[.mmm]......
  • Mac上的 WindowServer进程是什么?如何解决高CPU使用率
    大多数时候,我们不会关注Mac上运行的后台进程。但是,如果你在罕见的一天检查活动监视器以解决减速问题,你可能会惊讶地看到WindowServer进程位于顶部。想知道Mac上的WindowServer有什么用?它为什么要吃资源?接下来带大家了解关于WIndowServer的一些知识以及它是否安全。Mac......
  • USBServer的应用场景
    USBServer的应用场景:1.虚拟环境,云服务器环境连接不到Ukey。当工作系统或工作环境迁移到虚拟机或服务器上时,原本在物理机上工作的Ukey无处可寻。你会发现哪些加密软件失去了Ukey的阅读能力,根本无法启动,工作难以进步。USBServer适用于当前场景。它可以将虚拟机和服务器连接到UK......
  • 一个好用的消息推送服务【Server 酱】
    今天给大家介绍一个好用的消息推送服务Server酱Server酱简介Server酱是什么「Server酱」,英文名「ServerChan」,是一款「手机」和「服务器」、「智能设备」之间的通信软件。说人话?就是从服务器、路由器等设备上推消息到手机的工具。开通并使用上它,只需要一分钟:微信扫码登......