- 2024-11-19【全面解读】Apache SeaTunnel常见问题全攻略
使用SeaTunnel需要安装Spark或者Flink这样的引擎么?不需要,SeaTunnel支持Zeta、Spark和Flink作为同步引擎的选择,您可以选择之一就行,社区尤其推荐使用Zeta这种专为同步场景打造的新一代超高性能同步引擎。Zeta被社区用户亲切的称为“泽塔奥特曼”!社区对Zeta的支持力度
- 2024-11-18高效处理日均5000亿+数据:58集团基于Apache SeaTunnel的数据集成平台架构优化
视频链接:58集团大数据平台基于ApacheSeaTunnel的架构演进https://www.bilibili.com/video/BV19GUPYcEgB/?vd_source=e139ecc995ab936267a7991b9de55f6c引言在数字化时代,数据已成为企业最宝贵的资产之一。58集团作为中国领先的生活服务平台,其大数据部在数据集成平台的建设上不
- 2024-11-1510月回顾 | Apache SeaTunnel社区动态与进展一览
各位热爱ApacheSeaTunnel的小伙伴们,社区10月份月报来啦,请查收!这里将记录ApacheSeaTunne社区每月动态和进展,欢迎关注。月度Merge之星感谢以下小伙伴上个月为ApacheSeaTunnel所做的精彩贡献(排名不分先后):@Hisoka-X,@prclin,@JohnTeslaa,@happyboy1024,@jiamin13579,@luck
- 2024-10-12systemd实现seatunnel自动化启停
在systemd中,您可以通过配置服务单元文件来设置服务在失败或退出后自动重启。这对于确保关键服务在意外退出时能够自动恢复运行非常有用。下面是实现systemd自动重启服务的步骤:通用操作1.创建或编辑服务单元文件假设服务单元文件位于/etc/systemd/system/my-service
- 2024-10-09Apache SeaTunnel 9月份社区发展记录
各位热爱SeaTunnel的小伙伴们,9月份社区月报来啦!这里将定期更新SeaTunnel社区每个月的重大进展,欢迎关注!月度MergeStars感谢以下小伙伴上个月为ApacheSeaTunnel做的精彩贡献(排名不分先后):@ZhangWeike2000,@wuchunfu,@chl-wxp,@hawk9821,@happyboy1024,@jiamin13579,@Cosmos
- 2024-09-27Docker镜像、Spark支持多表...Apache SeaTunnel 2.3.8版本将带来的惊喜
ApacheSeaTunnel2.3.8版本即将于大家见面,近日,ApacheSeaTunnelPMCMember范佳在社区的交流会上为大家提前透露了关于这个新版本即将进行的功能与特性更新概况,详细内容如下:SeaTunnel简介SeaTunnel是一个高性能的开源分布式数据集成系统,支持各种数据源的实时流式和离线批处理
- 2024-09-27Docker镜像、Spark支持多表...Apache SeaTunnel 2.3.8版本将带来的惊喜
ApacheSeaTunnel2.3.8版本即将于大家见面,近日,ApacheSeaTunnelPMCMember范佳在社区的交流会上为大家提前透露了关于这个新版本即将进行的功能与特性更新概况,详细内容如下:SeaTunnel简介SeaTunnel是一个高性能的开源分布式数据集成系统,支持各种数据源的实时流式和离线批处
- 2024-09-13Apache SeaTunnel Committer 进阶指南
ApacheSeaTunnel作为一个开源的数据集成工具,旨在简化和加速海量数据的采集和传输。社区的Committer是指拥有项目存储库的写权限的社区成员,即Committer可以自行修改代码、文档和网站,也可以合并其他成员的贡献。成为ApacheSeaTunnelCommitter没有严格的规则,实际上,新Comm
- 2024-09-13Apache SeaTunnel Committer 进阶指南
ApacheSeaTunnel作为一个开源的数据集成工具,旨在简化和加速海量数据的采集和传输。社区的Committer是指拥有项目存储库的写权限的社区成员,即Committer可以自行修改代码、文档和网站,也可以合并其他成员的贡献。成为ApacheSeaTunnelCommitter没有严格的规则,实际上,新Com
- 2024-09-11Apache SeaTunnel Zeta 引擎源码解析(二) Client端的任务提交流程
作者:刘乃杰编辑整理:曾辉引入本系列文章是基于ApacheSeaTunnel2.3.6版本,围绕Zeta引擎给大家介绍其任务是如何从提交到运行的全流程,希望通过这篇文档,对刚刚上手SeaTunnel的朋友提供一些帮助。我们整体的文章将会分成三篇,从以下方向给大家介绍:SeaTunnelServer端的初始化Cl
- 2024-09-09【开源dcluster】Seatunnel数据同步之MySQL同步到doris
源码Gitee地址:https://gitee.com/zhenglv123456/dcluster在线文档:https://47.121.127.33:8090/在线体验:http://36.155.14.171:12345/dolphinscheduler/ui/login账号密码:test/test123 创建同步任务操作步骤:1.点击创建任务 2.配置同步脚本 3.设置同步时间
- 2024-09-09Apache SeaTunnel 2.3.8 新功能与特性预览
ApacheSeaTunnel最近持续发力,继2.3.6和2.3.7版本之后,2.3.8版本也即将与大家见面。每一个新版本都带来了新的功能和特性,2.3.8版本也不例外,这对于用户而言是一个令人振奋的消息!新的功能意味着SeaTunnel的能力更为强大,性能也会有显著提升。为让社区成员抢先了解2.3.8版本的精彩内
- 2024-09-05信也科技基于 Apache SeaTunnel金融场景的应用实践探索
前言作者:朱俊,信也科技,数据开发专家离线开发一直是数据仓库建设中重要的一个环节。信也科技之前基于Azkaban构建了离线任务调度与开发平台,承载了公司90%以上的离线任务调度需求,以及玄策变量平台的每日变量跑批产出任务。随着时间的积累,任务量级越来越大,Azkaban难以运维与二次
- 2024-09-02Apache SeaTunnel 2.3.7发布:全新支持大型语言模型数据转换
我们欣喜地宣布,ApacheSeaTunnel2.3.7版本现已正式发布!作为一个广受欢迎的下一代开源数据集成工具,ApacheSeaTunnel一直致力于为用户提供更加灵活、高效的数据同步和集成能力。此次版本更新不仅引入了如LLM(大型语言模型)数据转换支持、增强的SQL支持和新连接器支持等多个新
- 2024-08-27Apache SeaTunnel技术架构演进及其在AI领域的应用
随着数据集成需求的增长,ApacheSeaTunnel作为新一代的数据同步引擎,不仅在技术架构上不断演进,也在AI领域展现出其独特的应用价值。在CommunityOverCodeAsia2024大会上,ApacheSeaTunnelPMCChair高俊深入探讨SeaTunnel的技术演进路径,分析其在AI领域的应用案例,并展望未来的发展
- 2024-08-21Apache SeaTunnel数据处理引擎适配的演进和规划
作者|ChaoTian(tyrantlucifer),ApacheSeaTunnelPMCMember摘要ApacheSeaTunnel作为一个高性能数据同步工具,以其高效的数据处理能力,为数据集成领域带来了创新。在引擎上,ApacheSeaTunnel除了支持自身的Zeta引擎外,还支持Spark和Flink。在2024年的CommunityOverCodeAsia,Apa
- 2024-08-13Apache SeaTunnel 2.3.5 Zeta-Server集群环境搭建与使用
作者|月影幽篁在当前数据驱动的业务环境中,快速且高效的数据处理能力至关重要。ApacheSeaTunnel以其卓越的性能和灵活性,成为数据工程师和开发者的首选工具之一。本文将介绍如何在集群环境中搭建ApacheSeaTunnel2.3.5版本的Zeta-Server,并概述其使用方法。SeaTunnel二进制包
- 2024-08-13SeaTunnel 2.3.6 在Ubuntu环境的安装
SeaTunnel2.3.6在Ubuntu环境的安装目录SeaTunnel2.3.6在Ubuntu环境的安装环境变量下载软件下载连接器连接器下载配置下载连接器插件下载连接器加速测试SeaTunnel示例批任务测试Mysql-CDC到Postgresql创建测试表编辑任务配置文件下载数据库驱动启动集群模式启动任务环境说
- 2024-08-07中电信翼康济世数据中台基于Apache SeaTunnel构建数据集成平台经验分享
作者|中电信翼康工程师代来编辑|DebraChen一.引言ApacheSeaTunnel作为一个高性能、易用的数据集成框架,是快速落地数据集成平台的基石。本文将从数据中台战略背景、数据集成平台技术选型、降低ApacheSeaTunnel使用门槛及未来展望几个方面,详细讲解我们是如何基于Apache
- 2024-08-072.3.6版本发布!Apache SeaTunnel Zeta引擎迎来新架构!
ApacheSeaTunnel2.3.6版本于近日正式发布,社区期待的SeaTunnelZetaMaster/Worker新架构、事件通知机制、支持动态编译的transform等新功能和新能力在这次版本中都有了全面的更新,并添加了首个向量数据库Milvus。此外,本版本还进行了一些基础性的Bug修复和文档修复等,欢迎尝
- 2024-07-30成为Apache SeaTunnel贡献者的N种方式
如何参与开源贡献参与开源贡献的常见方法有多种:1)参与解答在社区中,帮助使用过程中遇到困难的人,帮他们解释框架的用法也算是一种贡献。2)文档贡献帮助框架来完善文档,比如说将英文文档翻译为中文,纠正文档里面的错误单词,这是很多人参与开源贡献的第一步。3)代码贡献经过阅读
- 2024-07-23简化数据流:Apache SeaTunnel实现多表同步的高效指南
ApacheSeaTunnel除了单表之间的数据同步之外,也支持单表同步到多表,多表同步到单表,以及多表同步到多表,下面简单举例说明如何实现这些功能。单表to单表一个source,一个sink。从mysql同步到mysql,中间不做区分env{#Youcansetflinkconfigurationhereexecution.parall
- 2024-07-10讲师招募 | Apache SeaTunnel Meetup等你来秀!
2024年第三季度已经悄然开启,猛回头才发现今年的时日竟然已经过半!这半年又是在忙忙碌碌中度过,好在看着社区发展年中汇总的一串串数字,似乎都在预示着社区将在一条正确的轨道上,朝着好的方向继续发展。但又隐隐约约觉得还缺点什么。想了半天,幡然醒悟,原来社区还缺一个你啊!( ̄▽ ̄)"下半