首页 > 其他分享 >火山引擎 DataLeap 一招教你避坑“数据开发”中的资源隔离问题

火山引擎 DataLeap 一招教你避坑“数据开发”中的资源隔离问题

时间:2023-03-28 13:33:29浏览次数:47  
标签:代码 环境 避坑 开发 参数 DataLeap 一招 参数值

更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群

在离线数仓开发过程中,研发人员需要根据业务变化,在开发/生产环境中不断切换、解析、调试。以往,企业一般通过人工方式核验,但由于数据量大且类型不同,导致研发人员资源、精力投入大。

如何使同构代码在不同环境正确运行,避免因调试过程中的误操作,对生产环境直接造成数据负面风险,成为很多企业数仓研发团队的痛点之一。

近期,火山引擎 DataLeap 推出“项目参数管理”能力,即通过自定义项目参数分别设置开发、生产环境参数值,参数支持配置多种类型,包括 Region、DB、shecma、table、date 以及自定义等,且支持任务级别引用,快速帮助研发团队实现资源隔离。

火山引擎 DataLeap“项目参数管理”能力

以湖仓一体分析服务(LAS)引擎为例,介绍如何利用“项目参数管理”区分不同环境库和时间格式的查询。

在使用之前,由于 1 个业务需求常常涉及 10+任务、30+参数,且不同环境 DB 中、table 基本一致,需要管理 2 套代码。数仓研发人员难以避免出现测试代码在生产环境执行、表误删、数据误删等问题。

在使用之后,只需要 3 个步骤即可解决生产、测试环境数据隔离问题:

  • 步骤一: LAS 有 2 套环境,包括测试环境库 test_dev、生产环境库 test_prod 。2 套环境都有相同表名 LAS_table01、分区字段名 datetimes。开发环境分区字段为 yyyymmdd,生产环境分区格式为 YYYY-MM-DD。在 DataLeap 中设置日期参数 arg,开发环境参数值=${date}、生产环境参数值=${DATE}。设置库参数 env,开发环境=test_dev、生产环境=test_prod。

  • 步骤二:对于离线数据开发任务,研发人员可以直接在代码中使用项目参数,点击“解析”“调试”,系统会自动替换为相应的开发环境参数值,并进行语法解析、权限检查等。

  • 步骤三:点击“提交上线”、“任务例行执行”时,对于项目参数,系统会自动替换为相应的生产环境参数值,然后进行相应的语法解析以及权限检查。从而有效提升环境代码管理效率。

 据介绍,企业可以在以下场景使用火山引擎 DataLeap“项目参数管理”能力:

【场景 1】开发生产环境隔离

  • 以 HSQL 任务为例,为避免在开发测试阶段,因误操作影响生产库表的数据,研发人员可以在 HSQL 代码中使用项目参数。调试时,系统会自动替换为开发环境参数值;上线后的任务例行执行,系统将自动替换为生产环境参数值。同时,DataLeap 也支持代码一致,无需在上线前批量将开发环境的库表名称替换为生产环境的库表名称。

【场景 2】跨区域/项目代码同构

  • 一般来说,不同 Region 下的库、表名不同。为了实现不同 Region、项目下代码同构,研发人员可以在 HSQL 代码中使用项目参数,来实现不同环境下,同一个任务的代码同构,有效提升环境代码管理效率。

火山引擎 DataLeap 让研发人员不再需要通过”调度设置-任务输入参数”的方式添加项目参数,只需定义一次参数即可轻松构建,并且实现生产、测试环境下的数据自动隔离,代码同构。除此之外,DataLeap 还具备数据集成、开发、运维、治理、资产、安全等数据中台建设能力,助力企业提升数据研发效率、降低管理成本,为数字化转型提供支撑。

 

点击跳转 大数据研发治理DataLeap 了解更多

标签:代码,环境,避坑,开发,参数,DataLeap,一招,参数值
From: https://www.cnblogs.com/bytedata/p/17264819.html

相关文章

  • ubantu 避坑
    1、无法安装ssh下列软件包有为满足的依赖关系:openssh-server:依赖:openssh-client(=1:7.6p1-4)依赖:openssh-sftp-server但是它将不会被安装推荐:ssh-import-id但是它将不会被安......
  • 一招永久解决github上不去问题,秒开
    步骤进入C:\Windows\System32\drivers\etc路径,把hosts复制到桌面 在桌面将hosts以记事本方式打开,复制下面内容,退出保存20.205.243.166github.com......
  • 物流成本总是超标?一招教你降本增效!
    先来看一个数据,中国仓储物流管理指标与世界标杆数据对比第三方物流比例:中国是19%,世界标杆国家日本是80%;物流成本占GDP比例:中国为14.6%,标杆国家美国是7.2%。而且一般来说物流......
  • 关于树莓派pico W 初探避坑
    1、上传UF2文件,win11系统不出现RPI-RP2的新卷    picow导入固件时,需要按住BOOTSEL按钮,然后插上USB。按照该方法操作,win11资源管理器应该出现一个RPI-RP2的新卷,但是......
  • PCB设计怎么避坑
        前文介绍了PCB电路板设计生产指南 、PCB板孔壁分离的影响原因 、PCB板设计注意事项等等PCB设计注意事项。本文就重点讲解PCB设计避坑指南,99%的PCB工程师容易......
  • PCB设计怎么避坑
        前文介绍了PCB电路板设计生产指南 、PCB板孔壁分离的影响原因 、PCB板设计注意事项等等PCB设计注意事项。本文就重点讲解PCB设计避坑指南,99%的PCB工程师容易......
  • 听说火山引擎推出的 DataLeap,已经可以支持万级表的数据血缘图谱了!
    更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群数据来源广、量级大、场景多,导致数据之间关系变得异常复杂。经过读取、清洗、存储、计......
  • 一招教你 Notion 文章导出到公众号
    Notion是一个功能强大的笔记应用程序,有许多优点,包括:用户友好的界面跨平台支持可以结构化组织笔记多人协作可以添加多种类型的媒体文件可以添加评论和任务这些优点......
  • 常见SQL避坑方案
    1.对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 orderby 涉及的列上建立索引。2.应尽量避免在 where 子句中使用 !=或 <> 操作符,否则将引擎放弃使......
  • 【转载】一招完美解决vscode安装go插件失败问题
    前置从https://studygolang.com/dl下载go1.14.6.windows-amd64.msi安装即可,安装路径选择默认,安装完成后会自动帮你配置环境变量不用自己配置了打开cmd,查看是否安装完成......