首页 > 其他分享 >火山引擎 DataLeap:在数据研发中,如何提升效率?

火山引擎 DataLeap:在数据研发中,如何提升效率?

时间:2023-04-25 15:13:59浏览次数:55  
标签:代码 火山 研发 任务 引擎 DataLeap 模板

更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群

在数仓及中台研发过程中,研发人员经常需要在不同任务中维护相同或类似代码,不仅费时费力,并且代码迭代后也面临不同业务单元逻辑性不一致的问题,对运维管理形成挑战。

 

一般来说,研发人员往往通过代码模板来解决这一问题。具体而言,在核心数据处理逻辑相同的情况下,研发人员通过代码模版传入不同的任务参数,解决核心数据处理逻辑复用的问题,使得后续任务可以批量化,满足实时调用需求。

 

目前,任务模板已是火山引擎 DataLeap 研发治理能力之一,主要用于管理常用的任务逻辑,以此降低常用代码的运维成本。在产品功能上,DataLeap 任务模板支持丰富的引擎能力,包括 LAS/EMR HSQL 、LAS/EMR Java Flink、LAS/EMR Flink SQL、shell 任务,满足离线实时任务的不同需求。

 

此外,DataLeap 还支持历史版本管理,即保存或更新模板后,记录各个版本更新情况,方便查看代码设置及参数。

 

在使用层面上,研发人员只需要三步骤即可完成任务模板创建,便捷复用核心数据处理逻辑。

第一步:选中支持的任务类型

  • 在模板列表右侧的“+”(更多)按钮中,新建子目录或新建任务模板。

  • 在新建任务模板窗口中,输入以下参数,并新建模板。

第二步:代码编写参数设置

  • 在任务模板的代码开发编辑界面,通过 DDL 和 DML 编写通用 SQL。

  • 表名、字段名分别可以用参数表示,以下以 LAS Flink SQL 的逻辑处理,保存为 test02 模板。

第三步:在任务开发中引用

研发人员可以通过以下 2 种方式引用 test02 模板:

  • 方法 1:在模板列表中,选择模板并点击后即可快速引用。

  • 方法 2:在代码编辑界面右上角选择任务模板,选择模板后,按需选择是否最新版本的模板,在对参数设置之后,预览代码最终生成效果(如图)。

火山引擎 DataLeap 任务模板能力可应用于以下场景:

  • 场景 1:将预先设计好的离线、实时任务模板保存后,即可在多个任务中引用此类型模板,快速实现代码复用。

  • 场景 2:将 shell 任务代码制作为前置判断条件,在数据分析前的触发检测运行条件是否满足。

 

除了任务模板之外,作为大数据研发治理套件,DataLeap 还可以提供数据集成、开发、运维、治理、资产、安全等能力,帮助用户提升数据研发效率、降低管理成本,加速推动企业的数字化转型。

 

点击跳转 火山引擎大数据研发治理DataLeap 了解更多

标签:代码,火山,研发,任务,引擎,DataLeap,模板
From: https://www.cnblogs.com/bytedata/p/17352638.html

相关文章

  • edge如何设置搜索栏默认搜索引擎
    首先,找到“隐私、搜索和服务”下的“地址栏和搜索”: 点击“地址栏中使用的搜索引擎”右侧的多选框选择引擎: ......
  • 规则引擎系列---【常用规则引擎对比】
    常用规则引擎对比URule:URule的优势在于易用性和灵活性。它提供了一个直观的界面,可以让用户以拖拽和点击的方式轻松创建规则。此外,URule支持多种规则执行模式,如客户端模式、服务器模式和批处理模式,以及与Spring等其他平台的集成。LiteFlow:LiteFlow的优势在于轻量级和可扩展性......
  • 一个简单的 rust 项目 使用 bevy 引擎 复刻 Flappy Bird 小游戏
    Rust+Bevy实现的FlappyBird游戏简介一个使用bevy引擎复刻的FlappyBird经典小游戏。通过该项目我们可以学到:bevy的自定义组件,自定义插件,自定义资源,sprite的旋转,sprite的移动,spritesheet动画的定义使用,状态管理,等内容…简单介绍一下包含的内容:游戏状态管理Me......
  • 最全的磁力链搜索引擎,国内外最受欢迎的BT-磁力网站(整理分享,每日不断更新...)
    磁力搜索网站bttorrentsearchengine推荐每日更新1、thepiratebay.se海盗湾亚洲节点资源不少2、磁力湾:www.okeyl.com (值得收藏,国内资源多,下载速度可以,建议用手机访问有惊喜)。3、KickAssTorrents4、Torrentz5、zooqle6、SumoTorrent7、TorrentDownloads8、Rarbg9......
  • 直播预告 | 字节跳动云原生大数据分析引擎 ByConity 与 ClickHouse 有何差异?
    ByContiy是字节跳动开源的一款云原生的大数据分析引擎,擅长交互式查询和即席查询,具有支持多表关联复杂查询、集群扩容无感、离线批数据和实时数据流统一汇总等特点。ByConity从1月份发布开源beta版本之后,陆续收到社区询问ByConity和ClickHouse差异的反馈:“ByConity有没......
  • 从应用看火山引擎 AB 测试 (DataTester) 的最佳实践
     更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群本文将从外部用户的角度介绍A/B测试平台的最佳实践。分享分为四部分,首先整体介绍A/B测试的应用场景,接下来结合字节内部和外部的一些应用来介绍各行业的最佳实践,最后分享在实际工作过程中,为......
  • 一文读懂火山引擎数智平台 VeDI 新品——管理驾驶舱 Plus
     更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群4月18日,2023春季火山引擎FORCE原动力大会在上海举行,火山引擎发布数智平台(VeDI)新品——“管理驾驶舱Plus”。企业管理者在决策时往往需要各方面的数据作为依据,火山引擎VeDI此次发布的......
  • 一文读懂火山引擎数智平台 VeDI 新品——管理驾驶舱 Plus
    更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群 4月18日,2023春季火山引擎FORCE原动力大会在上海举行,火山引擎发布数智平台(VeDI)新品——“管理驾驶舱Plus”。 企业管理者在决策时往往需要各方面的数据作为依据,火山引擎VeDI此次......
  • 从应用看火山引擎 AB 测试 (DataTester) 的最佳实践
    更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群本文将从外部用户的角度介绍A/B测试平台的最佳实践。分享分为四部分,首先整体介绍A/B测试的应用场景,接下来结合字节内部和外部的一些应用来介绍各行业的最佳实践,最后分享在实际工作过程中,......
  • 手把手教你使用Flask搭建ES搜索引擎(预备篇)
    今日鸡汤我死国生,我死犹荣,身虽死精神长生,成功成仁,实现大同。--赵博生/1前言/    Elasticsearch是一个开源的搜索引擎,建立在一个全文搜索引擎库ApacheLucene™基础之上。    那么如何实现 Elasticsearch和Python 的对接成为我们所关心的问题了(怎么什么都要和Pyt......