首页 > 其他分享 >干货|三个维度详解 Taier 本地调试原理和实践

干货|三个维度详解 Taier 本地调试原理和实践

时间:2023-06-30 14:14:01浏览次数:63  
标签:WorkerPlugins Taier 配置 编译 任务 干货 DataSourcePlugin 维度

在平时和开发者们交流的过程中,发现许多开发朋友尤其是新入门 Taier 的开发者,对于本地调试都有着诸多的不理解和问题。本文就大家平时问的最多的三个问题,服务编译,配置&本地运行,如何在 Taier 运行 Flink-standalone,进行简单的介绍,希望和大家共同交流学习。

服务编译

在本章将介绍服务编译中的两大插件 WorkerPluginsDataSourcePlugin,以及 Taier 的前后端 UI & datadevelop 的作用。

WorkerPlugins 的作用

平台通过在 Taier-UI 运行任务之后,在 Taier-data-develop 中通过集群绑定到租户,再通过当前租户绑定集群中的组件类型以及版本号获取到不同的 WorkerPlugin,通过不同组件类型以及版本号进行提交任务。下图为整体的运行架构图:

file

WorkerPlugins 的编译

运行任务时这是一个必要的选项,当我们需要本地调试或者部署运行时,WorkerPlugins 的编译是必须进行的,在编译之后会获取到一个 WorkerPlugins 的目录,具体的编译过程请看文末视频链接中的演示讲解。

file

DataSourcePlugin 的作用

介绍完 WorkerPlugins 这个插件之后,来介绍一下另一个插件 DataSourcePlugin

在 Taier-UI 中我们可以配置诸多不同类型的数据源,如 MySQL,Doris,Oracle 等,这些功能都是依赖着强大的 DataSourcePlugin 来进行实现。同时在使用离线同步中的 GUI 任务配置相关功能时,获取数据库信息也都是依赖 DataSourcePlugin 来完成的。

file

DataSourcePlugin 的编译

运行任务时这是一个必要的选项,当我们需要本地调试或者部署运行时,DataSourcePlugin 的编译是必须进行的,在编译之后会获取到一个 DataSourcePlugin 的目录,具体的编译过程请看文末视频链接中的演示讲解。

file

Taier-UI 的作用

在 Taier-UI 中我们可以进行配置不同类型的数据源、创建任务、任务运维、提交调度、集群配置、集群绑定等各种操作。

TaierDataDevelop 的作用

在 Taier- UI 中进行操作的所有后端服务 API 的支持都是来自于 TaierDataDevelop 的支持,该服务主要是与前后端交互。

file

配置&本地运行

该节内容主要介绍 TaierDataDevelop 的配置,在此进行后端服务的端口 ZK、WorkerPlugins、DataSourcePlugin 数据库等相关配置,前后端的启动,以及集群配置(Flink-standalone)和绑定。

具体的代码流程请看文末视频链接中的演示讲解。

file

运行 Flink-Standalone 实践

配置集群

在任务运行时,通过配置的 CDH 集群,使用配置 YARN 组装任务,通过 ChunJun 或直接提交任务至 Flink、Doris、Spark 等计算引擎中。

配置&运行任务

通过任务 GUI 组装任务配置,包括数据来源和去向,通过字段映射、任务自定义参数等相关配置从而进行任务配置。

file

视频课程&PPT获取

视频课程:

https://www.bilibili.com/video/BV19M411L7f2/?spm_id_from=333.999.0.0

课件获取:

https://www.dtstack.com/resources/1031

《数栈产品白皮书》:https://www.dtstack.com/resources/1004?src=szsm

《数据治理行业实践白皮书》下载地址:https://www.dtstack.com/resources/1001?src=szsm

想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=szbky

同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术qun」,交流最新开源技术信息,qun号码:30537511,项目地址:https://github.com/DTStack

标签:WorkerPlugins,Taier,配置,编译,任务,干货,DataSourcePlugin,维度
From: https://www.cnblogs.com/DTinsight/p/17516635.html

相关文章

  • PACM Team (牛客多校) (DP 01背包, 维度较多)
    题目大意:给出n个物品,物品有4个空间值,然后有一个权值问在不超过最大的空间值时,最大的权值  思路:一开始想了很多其他思路没有想出来开始广搜算法,发现dp可以解决(注意看数据范围,是满足的)遇到奇怪的题,就试试dp,特别在数据范围很小的时候 ......
  • #yyds干货盘点#线上MySQL的自增id用尽处理
    MySQL的自增id都定义了初始值,然后不断加步长。虽然自然数没有上限,但定义了表示这个数的字节长度,计算机存储就有上限。比如,无符号整型(unsignedint)是4个字节,上限就是2^32-1。那自增id用完,会怎么样?表定义自增值id表定义的自增值达到上限后的逻辑是:再申请下一个id时,得到的值保持不......
  • #yyds干货盘点# LeetCode程序员面试金典:重排链表
    题目:给定一个单链表L的头节点head,单链表L表示为:L0→L1→…→Ln-1→Ln请将其重新排列后变为:L0→Ln→L1→Ln-1→L2→Ln-2→…不能只是单纯的改变节点内部的值,而是需要实际的进行节点交换。 示例1:输入:head=[1,2,3,4]输出:[1,4,2,3]示例2:输入:head......
  • 武汉星起航:亚马逊运营干货之卖家运营小技巧分享
    作为亚马逊卖家,了解并掌握一些运营小技巧是提升业务效果和销售表现的关键。武汉星起航将分享一些亚马逊卖家必备的运营小技巧,帮助卖家提升产品的曝光度、增加销量和提高客户满意度。优化产品标题和关键词:在亚马逊上,产品标题和关键词对搜索排名和曝光度至关重要。确保产品标题简洁......
  • 好选客干货分享:矿物燃料找外贸客户
    矿物燃料概述矿物燃料,也称化石燃料,是由数百万年来的动植物遗骸形成的自然资源,也是人类社会中重要的能源来源之一,主要包括煤炭、石油和天然气。ImagebyPublicDomainPicturesviaPixabay在商品类章27章中,矿物燃料、矿物油及其蒸馏产品;沥青物质;矿物蜡的子目有:编码商品名称2701煤;煤......
  • 干货分享|DevExpress v23.1帮助文档下载大全
    获取DevExpressv23.1版本下载好消息!DevExpress v23.1帮助文档下载列表大全来啦,小编已经为大家悉心整理好了!包含.NET系列所有重要控件的帮助文档,目前仅提供CHM版本。文章底部扫描关注微信公众号,回复关键字获取帮助文档下载提取码哦!!.NET:版本CHM格式WinFormsControls......
  • #yyds干货盘点# LeetCode程序员面试金典:各位相加
    1.简述:给定一个非负整数num,反复将各个位上的数字相加,直到结果为一位数。返回这个结果。 示例1:输入:num=38输出:2解释:各位相加的过程为:38-->3+8-->1111-->1+1-->2由于 2是一位数,所以返回2。示例2:输入:num=0输出:02.代码实现:classSolution{pu......
  • # yyds干货盘点 # 盘点Pandas中数据删除drop函数的一个细节用法
    大家好,我是皮皮。一、前言前几天在Python最强王者群有个叫【Chloe】的粉丝问了一个关于Pandas中的drop函数的问题,这里拿出来给大家分享下,一起学习。二、解决过程下图是粉丝写的代码。index是索引的意思,我感觉这块写在一起了,看上去不太好理解,在里边还多了一层筛选。这里给出【月神】......
  • #yyds干货盘点# LeetCode程序员面试金典:单词拆分 II
    题目:给定一个字符串s和一个字符串字典 wordDict ,在字符串 s 中增加空格来构建一个句子,使得句子中所有的单词都在词典中。以任意顺序返回所有这些可能的句子。注意:词典中的同一个单词可能在分段中被重复使用多次。 示例1:输入:s="catsanddog",wordDict=["cat","cats","......
  • 绝对干货推荐-人工智能本科学位的完整4年课程规划
       对于想要入坑人工智能和机器学习领域的本科生而言,应该如何规划自己的四年大学生活,为你将来的职业做好准备呢?本文给出了一个四年制人工智能本科学位设计完整的课程规划,需要的朋友可以仔细看看。    这些课程旨在为人工智能和计算机科学领域的新手,提供广度和深度的知识......