• 2024-09-27Docker镜像、Spark支持多表...Apache SeaTunnel 2.3.8版本将带来的惊喜
    ApacheSeaTunnel2.3.8版本即将于大家见面,近日,ApacheSeaTunnelPMCMember范佳在社区的交流会上为大家提前透露了关于这个新版本即将进行的功能与特性更新概况,详细内容如下:SeaTunnel简介SeaTunnel是一个高性能的开源分布式数据集成系统,支持各种数据源的实时流式和离线批处理
  • 2024-09-27Docker镜像、Spark支持多表...Apache SeaTunnel 2.3.8版本将带来的惊喜
    ApacheSeaTunnel2.3.8版本即将于大家见面,近日,ApacheSeaTunnelPMCMember范佳在社区的交流会上为大家提前透露了关于这个新版本即将进行的功能与特性更新概况,详细内容如下:SeaTunnel简介SeaTunnel是一个高性能的开源分布式数据集成系统,支持各种数据源的实时流式和离线批处
  • 2024-09-13Apache SeaTunnel Committer 进阶指南
    ApacheSeaTunnel作为一个开源的数据集成工具,旨在简化和加速海量数据的采集和传输。社区的Committer是指拥有项目存储库的写权限的社区成员,即Committer可以自行修改代码、文档和网站,也可以合并其他成员的贡献。成为ApacheSeaTunnelCommitter没有严格的规则,实际上,新Comm
  • 2024-09-13Apache SeaTunnel Committer 进阶指南
    ApacheSeaTunnel作为一个开源的数据集成工具,旨在简化和加速海量数据的采集和传输。社区的Committer是指拥有项目存储库的写权限的社区成员,即Committer可以自行修改代码、文档和网站,也可以合并其他成员的贡献。成为ApacheSeaTunnelCommitter没有严格的规则,实际上,新Com
  • 2024-09-11Apache SeaTunnel Zeta 引擎源码解析(二) Client端的任务提交流程
    作者:刘乃杰编辑整理:曾辉引入本系列文章是基于ApacheSeaTunnel2.3.6版本,围绕Zeta引擎给大家介绍其任务是如何从提交到运行的全流程,希望通过这篇文档,对刚刚上手SeaTunnel的朋友提供一些帮助。我们整体的文章将会分成三篇,从以下方向给大家介绍:SeaTunnelServer端的初始化Cl
  • 2024-09-09【开源dcluster】Seatunnel数据同步之MySQL同步到doris
    源码Gitee地址:https://gitee.com/zhenglv123456/dcluster在线文档:https://47.121.127.33:8090/在线体验:http://36.155.14.171:12345/dolphinscheduler/ui/login账号密码:test/test123 创建同步任务操作步骤:1.点击创建任务 2.配置同步脚本 3.设置同步时间
  • 2024-09-09Apache SeaTunnel 2.3.8 新功能与特性预览
    ApacheSeaTunnel最近持续发力,继2.3.6和2.3.7版本之后,2.3.8版本也即将与大家见面。每一个新版本都带来了新的功能和特性,2.3.8版本也不例外,这对于用户而言是一个令人振奋的消息!新的功能意味着SeaTunnel的能力更为强大,性能也会有显著提升。为让社区成员抢先了解2.3.8版本的精彩内
  • 2024-09-05信也科技基于 Apache SeaTunnel金融场景的应用实践探索
    前言作者:朱俊,信也科技,数据开发专家离线开发一直是数据仓库建设中重要的一个环节。信也科技之前基于Azkaban构建了离线任务调度与开发平台,承载了公司90%以上的离线任务调度需求,以及玄策变量平台的每日变量跑批产出任务。随着时间的积累,任务量级越来越大,Azkaban难以运维与二次
  • 2024-09-02Apache SeaTunnel 2.3.7发布:全新支持大型语言模型数据转换
    我们欣喜地宣布,ApacheSeaTunnel2.3.7版本现已正式发布!作为一个广受欢迎的下一代开源数据集成工具,ApacheSeaTunnel一直致力于为用户提供更加灵活、高效的数据同步和集成能力。此次版本更新不仅引入了如LLM(大型语言模型)数据转换支持、增强的SQL支持和新连接器支持等多个新
  • 2024-08-27Apache SeaTunnel技术架构演进及其在AI领域的应用
    随着数据集成需求的增长,ApacheSeaTunnel作为新一代的数据同步引擎,不仅在技术架构上不断演进,也在AI领域展现出其独特的应用价值。在CommunityOverCodeAsia2024大会上,ApacheSeaTunnelPMCChair高俊深入探讨SeaTunnel的技术演进路径,分析其在AI领域的应用案例,并展望未来的发展
  • 2024-08-21Apache SeaTunnel数据处理引擎适配的演进和规划
    作者|ChaoTian(tyrantlucifer),ApacheSeaTunnelPMCMember摘要ApacheSeaTunnel作为一个高性能数据同步工具,以其高效的数据处理能力,为数据集成领域带来了创新。在引擎上,ApacheSeaTunnel除了支持自身的Zeta引擎外,还支持Spark和Flink。在2024年的CommunityOverCodeAsia,Apa
  • 2024-08-13Apache SeaTunnel 2.3.5 Zeta-Server集群环境搭建与使用
    作者|月影幽篁在当前数据驱动的业务环境中,快速且高效的数据处理能力至关重要。ApacheSeaTunnel以其卓越的性能和灵活性,成为数据工程师和开发者的首选工具之一。本文将介绍如何在集群环境中搭建ApacheSeaTunnel2.3.5版本的Zeta-Server,并概述其使用方法。SeaTunnel二进制包
  • 2024-08-13SeaTunnel 2.3.6 在Ubuntu环境的安装
    SeaTunnel2.3.6在Ubuntu环境的安装目录SeaTunnel2.3.6在Ubuntu环境的安装环境变量下载软件下载连接器连接器下载配置下载连接器插件下载连接器加速测试SeaTunnel示例批任务测试Mysql-CDC到Postgresql创建测试表编辑任务配置文件下载数据库驱动启动集群模式启动任务环境说
  • 2024-08-07中电信翼康济世数据中台基于Apache SeaTunnel构建数据集成平台经验分享
    作者|中电信翼康工程师代来编辑|DebraChen一.引言ApacheSeaTunnel作为一个高性能、易用的数据集成框架,是快速落地数据集成平台的基石。本文将从数据中台战略背景、数据集成平台技术选型、降低ApacheSeaTunnel使用门槛及未来展望几个方面,详细讲解我们是如何基于Apache
  • 2024-08-072.3.6版本发布!Apache SeaTunnel Zeta引擎迎来新架构!
    ApacheSeaTunnel2.3.6版本于近日正式发布,社区期待的SeaTunnelZetaMaster/Worker新架构、事件通知机制、支持动态编译的transform等新功能和新能力在这次版本中都有了全面的更新,并添加了首个向量数据库Milvus。此外,本版本还进行了一些基础性的Bug修复和文档修复等,欢迎尝
  • 2024-07-30成为Apache SeaTunnel贡献者的N种方式
    如何参与开源贡献参与开源贡献的常见方法有多种:1)参与解答在社区中,帮助使用过程中遇到困难的人,帮他们解释框架的用法也算是一种贡献。2)文档贡献帮助框架来完善文档,比如说将英文文档翻译为中文,纠正文档里面的错误单词,这是很多人参与开源贡献的第一步。3)代码贡献经过阅读
  • 2024-07-23简化数据流:Apache SeaTunnel实现多表同步的高效指南
    ApacheSeaTunnel除了单表之间的数据同步之外,也支持单表同步到多表,多表同步到单表,以及多表同步到多表,下面简单举例说明如何实现这些功能。单表to单表一个source,一个sink。从mysql同步到mysql,中间不做区分env{#Youcansetflinkconfigurationhereexecution.parall
  • 2024-07-10讲师招募 | Apache SeaTunnel Meetup等你来秀!
    2024年第三季度已经悄然开启,猛回头才发现今年的时日竟然已经过半!这半年又是在忙忙碌碌中度过,好在看着社区发展年中汇总的一串串数字,似乎都在预示着社区将在一条正确的轨道上,朝着好的方向继续发展。但又隐隐约约觉得还缺点什么。想了半天,幡然醒悟,原来社区还缺一个你啊!( ̄▽ ̄)"下半
  • 2024-07-08从数据到洞察:DataOps加速AI模型开发的秘密实践大公开!
    作者|代立冬,白鲸开源科技联合创始人&CTO引言在AI驱动的商业世界中,DataOps作为连接数据与洞察的桥梁,正迅速成为企业数据战略的核心。在WOT全球技术创新大会2024·北京站,白鲸开源联合创始人&CTO代立冬在「大数据技术与基础设施」专场深入分析DataOps的核心理念、AI大模型开
  • 2024-07-08社区6月月报 | Apache SeaTunnel重要更新与优化记录
    各位热爱ApacheSeaTunnel的小伙伴们,社区6月份月报来啦!这里将记录ApacheSeaTunnel社区每月的重要更新,欢迎关注。月度MergeStars感谢以下小伙伴上个月为ApacheSeaTunnel所做的精彩贡献(排名不分先后):@baicie,@TaoZex,@loustler,@15810785091,@4chicat,@raboof,@Hisoka-X,@rtyu
  • 2024-07-04Apache SeaTunnel社区首位学生Committer诞生!
    采访对象|陈炳烨采访人&编辑|DebraChenApacheSeaTunnel社区第一位学生Committer就此诞生!这位来自西安交通大学软件工程专业的同学从较为简单的文档修改工作,逐步深入到代码层面,到最后独立负责开发模块,为ApacheSeaTunnel项目的发展添砖加瓦的同时,他本人也在这份独特的开源
  • 2024-06-18新兴互联网银行搭档Apache SeaTunnel构建数据流通管道!
    当新兴互联网银行乘着数字化改革的风潮搭档数据集成平台ApacheSeaTunnel,成千万上亿的数据就有了快速流通的管道。6月26日14:00,ApacheSeaTunnel社区将带上企业最佳实践与观众见面,与大家面对面交流最新的企业实践部署经验。锁定SeaTunnel视频号,马上预约直播!活动议程报名通道ht
  • 2024-06-04Apache SeaTunnel社区5月月报更新!
    各位热爱SeaTunnel的小伙伴们,社区5月份月报来啦!SeaTunnel正在迅猛发展,积极投入社区项目建设的小伙伴将促进SeaTunnel不断提升数据同步的高可扩展性、高性能及高可靠性。欢迎关注每月月报更新,期待在下个月的MergeStar月度榜单看到你的身影哦~SeaTunnel月度MergeStar感谢
  • 2024-05-28恭喜社区迎来新PMC成员!
    恭喜ApacheSeaTunnel社区又迎来一位PMCMember@liugddx!在社区持续活跃的两年间,大家经常看到这位开源爱好者出现在社区的各种活动中,为项目和社区发展添砖加瓦。如今成为项目PMCMember,意味着在社区中的责任更重了,他有什么感想呢?对于社区未来的发展,他希望从哪些角度来推动社区迈向
  • 2024-05-16首次尝试SeaTunnel同步Doris至Hive?这些坑你不能不避
    笔者使用SeaTunnel2.3.2版本将Doris数据同步到Hive(cdh-6.3.2)首次运行时有如下报错,并附上报错的解决方案:java.lang.NoClassDefFoundError:org/apache/hadoop/hive/metastore/api/MetaExceptionjava.lang.NoClassDefFoundError:org/apache/thrift/TBasejava.lang.NoClassDe