• 2024-07-04Apache SeaTunnel社区首位学生Committer诞生!
    采访对象|陈炳烨采访人&编辑|DebraChenApacheSeaTunnel社区第一位学生Committer就此诞生!这位来自西安交通大学软件工程专业的同学从较为简单的文档修改工作,逐步深入到代码层面,到最后独立负责开发模块,为ApacheSeaTunnel项目的发展添砖加瓦的同时,他本人也在这份独特的开源
  • 2024-06-18新兴互联网银行搭档Apache SeaTunnel构建数据流通管道!
    当新兴互联网银行乘着数字化改革的风潮搭档数据集成平台ApacheSeaTunnel,成千万上亿的数据就有了快速流通的管道。6月26日14:00,ApacheSeaTunnel社区将带上企业最佳实践与观众见面,与大家面对面交流最新的企业实践部署经验。锁定SeaTunnel视频号,马上预约直播!活动议程报名通道ht
  • 2024-06-04Apache SeaTunnel社区5月月报更新!
    各位热爱SeaTunnel的小伙伴们,社区5月份月报来啦!SeaTunnel正在迅猛发展,积极投入社区项目建设的小伙伴将促进SeaTunnel不断提升数据同步的高可扩展性、高性能及高可靠性。欢迎关注每月月报更新,期待在下个月的MergeStar月度榜单看到你的身影哦~SeaTunnel月度MergeStar感谢
  • 2024-05-28恭喜社区迎来新PMC成员!
    恭喜ApacheSeaTunnel社区又迎来一位PMCMember@liugddx!在社区持续活跃的两年间,大家经常看到这位开源爱好者出现在社区的各种活动中,为项目和社区发展添砖加瓦。如今成为项目PMCMember,意味着在社区中的责任更重了,他有什么感想呢?对于社区未来的发展,他希望从哪些角度来推动社区迈向
  • 2024-05-16首次尝试SeaTunnel同步Doris至Hive?这些坑你不能不避
    笔者使用SeaTunnel2.3.2版本将Doris数据同步到Hive(cdh-6.3.2)首次运行时有如下报错,并附上报错的解决方案:java.lang.NoClassDefFoundError:org/apache/hadoop/hive/metastore/api/MetaExceptionjava.lang.NoClassDefFoundError:org/apache/thrift/TBasejava.lang.NoClassDe
  • 2024-04-30Apache SeaTunnel k8s 集群模式 Zeta 引擎部署指南
    SeaTunnel提供了一种运行Zeta引擎(cluster-mode)的方法,可以让Kubernetes在本地运行Zeta引擎,实现更高效的应用程序部署和管理。在本文中,我们将探索SeaTunnelk8s运行zeta引擎(cluster-mode模式)的更多信息,了解如何更好地利用Zeta引擎的优势。将SeaTunnel上传至服务器上。我之前
  • 2024-04-23手把手教你掌握SeaTunnel k8s运行Zeta引擎本地模式的技巧
    转载自小虾米0.0导读:随着Kubernetes的普及和发展,越来越多的企业和团队开始使用Kubernetes来管理和部署应用程序。然而,Kubernetes的默认工作方式可能不是最佳的选择,尤其是在需要更高效、更可靠的应用程序部署和管理能力时。因此,SeaTunnel提供了一种运行Zeta引擎(local-mode模式)
  • 2024-04-19SeaTunnel JDBC DB2 Sink Connector支持的工作原理,快来学习吧!
    DB2是IBM的一款关系型数据库管理系统,JDBCDB2SourceConnector是一个用于通过JDBC读取外部数据源数据的连接器。ApacheSeaTunnel如何支持JDBCDB2SinkConnector?请参考本文档。支持引擎SparkFlinkSeaTunnelZeta主要功能精确一次性CDC(变更数据捕获)使用Xa事务
  • 2024-04-16【安装部署】Apache SeaTunnel 和 Web快速安装详解
    版本说明由于作者目前接触当前最新版本为2.3.4但是官方提供的web版本未1.0.0,不兼容2.3.4,因此这里仍然使用2.3.3版本。可以自定义兼容处理,官方提供了文档:https://mp.weixin.qq.com/s/Al1VmBoOKu2P02sBOTB6DQ因为大部分用户使用SeaTunnelWeb都是基于SeaTunnel-2.3.3版本做的适
  • 2024-04-02SeaTunnel Web 在 Debian 环境的安装
    SeaTunnelWeb在Debian环境的安装目录SeaTunnelWeb在Debian环境的安装下载软件安装目录下载连接器测试SeaTunnel任务下载数据库驱动启动客户端模式配置web元数据库配置Web应用添加MySQL驱动配置JAVA_HOME配置SEATUNNEL_HOME下载连接器到Web复制连接器映射配置文件启动服
  • 2024-04-02海豚调度任务类型Apache SeaTunnel部署指南
    ApacheDolphinScheduler已支持ApacheSeaTunnel任务类型,本文介绍了SeaTunnel任务类型如何创建,任务参数,以及任务样例。一、ApacheSeaTunnelSeaTunnel任务类型,用于创建并执行SeaTunnel类型任务。worker执行该任务的时候,会通过start-seatunnel-spark.sh、start-seatunnel
  • 2024-04-02SeaTunnel DB2 Source Connector 使用文档(含详细操作步骤)
    DB2是IBM的一款关系型数据库管理系统,JDBCDB2SourceConnector是一个用于通过JDBC读取外部数据源数据的连接器。ApacheSeaTunnel如何支持JDBCDB2SourceConnector?请参考本文档。支持引擎SparkFlinkSeaTunnelZeta引擎主要特性批处理(batch)精确一次(exactly-once)列投
  • 2024-03-12Seatunnel系列之:Apache Iceberg sink connector和往Iceberg同步数据任务示例
    Seatunnel系列之:ApacheIcebergsinkconnector和往Iceberg同步数据任务示例一、支持的Iceberg版本二、支持的引擎三、描述四、支持的数据源信息五、数据库依赖六、数据类型映射七、Sink选项八、往Iceberg同步数据任务示例一、支持的Iceberg版本1.4.2二
  • 2024-02-23SeaTunnel Web 在Ubuntu环境的安装
    SeaTunnelWeb在Ubuntu环境的安装目录SeaTunnelWeb在Ubuntu环境的安装下载软件测试SeaTunnel任务下载连接器启动客户端模式配置web元数据库配置Web应用配置JAVA_HOME配置SEATUNNEL_HOME添加MySQL驱动添加连接器到Web启动服务页面测试下载软件下载SeaTunnel二进制文件下载
  • 2024-01-31seatunnel-2.3.3测试excel入库mysql
    1.背景客户需要excel导入功能,同时支持导入多种数据源,尝试用seatunnel数据集成工具来实现。2.步骤2.1配置文件./config/v2.excel2mysql.configenv{#YoucansetSeaTunnelenvironmentconfigurationhereexecution.parallelism=1job.mode="BATCH"}source
  • 2024-01-30【干货】解决CentOS 7.x上安装与部署SeaTunnel Web时遇到的问题
    1.环境采用的是虚拟机上安装CentOs7.x,安装java15环境,安装mysql8.0.28,这两步骤省略,之前的文章里面有讲,属于基础环境配置,也比较简单,说明我用的是一台CentOs7.x的虚拟机实例,都安装在一台上面,需要开放8081、3306和5801的防火墙,不然会网络访问不到。2.SeaTunnel安装部署2.1下载安装
  • 2024-01-15我成为开源贡献者的原因竟然是做MySql-CDC数据同步
    今年下半年机缘巧合下公司决定搭建自己的数据中台,中台的建设势必少不了数据集成。首先面临的就是数据集成技术选型的问题,按照社区活跃度、数据源适配性、同步效率等要求对市面上几个成熟度较高的开源引擎进行了深度调研。最终经过内部讨论决定用ApacheSeaTunnel作为数据集成的基
  • 2024-01-05Apache SeaTunnel:探索下一代高性能分布式数据集成工具
    大家下午好,我叫刘广东,然后是来自ApacheSeaTunnel社区的一名Committer。今天给大家分享的议题是下一代高性能分布式海量数据集成工具,后面的整个的PPT,主要是基于开发者的视角去看待ApacheSeaTunnel。后续所有的讲解主要是可能会硬核偏技术一点,主要是ApacheSeaTunnel流程当中的一
  • 2024-01-042023年终盘点:Apache SeaTunnel社区年度成就与展望
    随着2023年即将画上圆满的句号,是时候回顾过去一年ApacheSeaTunnel社区的辉煌成就和宝贵经验。在这充满挑战和机遇的一年里,我们的社区不断壮大,技术不断进步,成就斐然。展望2024年展望来年,ApacheSeaTunnel社区将继续致力于打造更加高效稳定的数据集成平台,并着重在DDL自动变更、自
  • 2024-01-042023年终盘点:Apache SeaTunnel社区年度成就与展望
    随着2023年即将画上圆满的句号,是时候回顾过去一年ApacheSeaTunnel社区的辉煌成就和宝贵经验。在这充满挑战和机遇的一年里,我们的社区不断壮大,技术不断进步,成就斐然。展望2024年展望来年,ApacheSeaTunnel社区将继续致力于打造更加高效稳定的数据集成平台,并着重在DDL自动变更、自
  • 2023-11-29SeaTunnel引擎下的SQL Server CDC解决方案:构建高效数据管道
    在快速发展的数据驱动时代,实时数据处理已经成为企业决策和运营的关键因素。特别是在处理来自各种数据源的信息时,如何确保数据的及时、准确和高效同步变得尤为重要。本文着重介绍了如何利用SqlServerCDC源连接器在SeaTunnel框架下实现SQLServer到其他数据系统的实时数据同
  • 2023-11-24seatunnle安装部署
    seatunnle安装部署环境准备安装jdk8或jdk11在线安装下载seatunnleexportversion="2.3.3"wget"https://archive.apache.org/dist/seatunnel/${version}/apache-seatunnel-${version}-bin.tar.gz"tar-xzvf"apache-seatunnel-${version}-bin.tar.gz"
  • 2023-09-26教程 | 使用 Apache SeaTunnel 同步本地文件到阿里云 OSS
    一直以来,大数据量一直是爆炸性增长,每天几十TB的数据增量已经非常常见,但云存储相对来说还是不便宜的。众多云上的大数据用户特别希望可以非常简单快速的将文件移动到更实惠的S3、OSS上进行保存,这篇文章就来介绍如何使用SeaTunnel来进行到OSS的数据同步。首先简要介绍一下
  • 2023-09-02Seatunnel实践及相关报错总结
    写在前面:本人也属于小白,这篇文章只是个人使用和总结,可能有些地方理解片面或者有误,各位大神看到的话,可以留言指正,一定认真学习。同时发出来也只是想自己能做个笔记,便于后期整理。如果能帮刚使用seatunnel的朋友避一些坑,那就最好不过了。1、语法模块(官方文档摘抄)1.1source和sink源
  • 2023-08-28Apache SeaTunnel 2.3.3 版本发布,CDC 支持 Schema Evolution!
    时隔两个月,ApacheSeaTunnel终于迎来大版本更新。此次发布的2.3.3版本在功能和性能上均有较大优化改进,其中大家期待已久的CDCSchemaevolution(DDL变更同步)、主键Split拆分、JDBCSink自动建表功能、SeaTunnelZeta引擎支持作业配置支持变量替换和传参等都是更新的亮