首页 > 其他分享 >火山引擎 DataLeap:如何构建一套完整、易用的数据标准体系

火山引擎 DataLeap:如何构建一套完整、易用的数据标准体系

时间:2023-05-31 12:35:24浏览次数:42  
标签:映射 管理 标准 引擎 DataLeap 易用 数据

数据标准是数据治理体系中的核心要素之一。

一方面,统一的数据标准可以在复杂的业务场景下,帮助团队对齐数据口径,提升数据在分析、诊断等场景的质量与效率;另一方面,数仓团队与分析师团队也需要沉淀一套敏捷、可控的数据标准指标管理流程,以便后续在指标口径的增加、修改、下线等方向更标准、高效。

但数据标准建设并不是一个简单的过程。在同一个企业内部,也存在对标准认知不一致的问题。以银行业举例,对于“客户”的定义,客户部认为“办了银行的卡的人即为客户”,而网银部则认为“银行网站注册过、或者通过银行转账的人都属于客户”,这即是对同一个概念存在认知偏差。

另外,在实际数据开发过程中,也存在开发人员对同一个字段采用不同的命名,或者存在同义不同名的元数据字段,导致沟通成本增加,甚至最终影响数据质量。

近期,火山引擎大数据治理研发套件DataLeap上线的「数据标准」模块瞄准这一问题,希望为数据从业提供一套数据标准的管理能力。

据介绍,该模块已提供数据标准、标准代码、命名词典管理的功能,还支持对各类数据源的库表进行扫描,并进行智能推荐对标。对于企业整体的数据标准情况,DataLeap则提供可视化的统计大盘,帮助数据团队快速了解标准的新建情况和使用情况。

火山引擎 DataLeap:如何构建一套完整、易用的数据标准体系_字段

火山引擎DataLeap数据标准产品页面

用户仅仅只需要操作3个关键步骤,即可完成数据标准统一:

  1. 标准建立:通过在标准域管理预先定义好字段类型配置,实现版本资产映射管理,支持批量导入,实现数据标准代码统一、命名词典批量导出。
  2. 标准管理: 查看版本历史,帮助用户订阅标准并查看变更日志记录。
  3. 标准映射:可将数据标准与多种数据源字段建议映射,可查看数据标准评估结果,或根据映射通过情况纠正。

火山引擎 DataLeap:如何构建一套完整、易用的数据标准体系_数据_02


在使用场景上,用户基于DataLeap完成统一数据标准建设,消除数据不一致性,推动数仓规范数据建设,还可以与指标服务打通,对接数据地图资产,进一步达到数据治理的目的。

除了数据标准管理之外,火山引擎DataLeap还提供数据集成、开发、运维、治理、资产、安全等能力,帮助用户提升数据研发效率、降低管理成本,加速推动企业的数字化转型,目前已经应用于泛互联网、制造、新零售、汽车等领域。

立即跳转火山引擎 DataLeap 官网了解更多

标签:映射,管理,标准,引擎,DataLeap,易用,数据
From: https://blog.51cto.com/bytedata/6386007

相关文章

  • yulong-hids 规则引擎,目前看到就是正则表达式和count技术
    规则项目提供的默认规则太简单和宽泛了,甚至包含一些错误,比如:有些不太精确,比如:另外规则引擎的匹配算法没有做优化,规则或者事件一旦多起来,server的负载会很高有些太宽泛导致误报非常高:agent在测试机才装2天就有近6w条告警,这是无法运营的,当然,规则支持细粒度控制(开关)还是很不错的3、功......
  • wukong引擎源码分析之索引——part 1 倒排列表本质是有序数组存储
    searcher.IndexDocument(0,types.DocumentIndexData{Content:"此次百度收购将成中国互联网最大并购"})engine.go中的源码实现://将文档加入索引////输入参数://docId标识文档编号,必须唯一//data见DocumentIndexData注释////注意://1.这个函数是线程安全......
  • UE4 源码解析----引擎初始化流程
      在研究UE4的源码过程中着实不理解的地方有很多,今天给大家分享一下UE4引擎的初始化流程。一、引擎的函数入口C++的函数入口都是Main()函数入口,UE4也是一样,Engine\Source\Runtime\Launch\PrivateWindows函数入口 引擎入口函数为:GuardedMain 二、引擎初始化的三个阶......
  • Velocity模板引擎
    一、什么是VelocityVelocity是一个基于Java的模板引擎,其提供了一个Context容器,在java代码里面我们可以往容器中存值,然后在vm文件中使用特定的语法获取。通过Context数据容器+模板内容进行合并,可以输出html、java、sql、xml等一切需要的文本类文件。作为一个模块引擎,除了......
  • 火山引擎DataLeap的Catalog系统搜索实践(一):背景与功能需求
    火山引擎DataLeap的DataCatalog系统通过汇总和组织各种元数据,解决了数据生产者梳理数据、数据消费者找数和理解数的业务场景,其中搜索是DataCatalog的主要功能之一。本文详细介绍了火山引擎DataLeap的Catalog系统搜索实践:功能的设计与实现。 DataCatalog能够帮助大公司更好......
  • 3D轻量化引擎工具助力Canvas GFX开发插图新产品,可视化视图更精准!
    增材制造和3D打印不乏创新技术,无论是硬件变得更加高效和准确,还是材料科学的巨大进步,都拓宽了3D打印部件的使用范围。然而,Techsoft3D作为软件组件供应商,关注点更多的是在将这两个元素结合在一起的效果,即驱动现代打印机发展并支持使用先进材料的软件平台。凭借超过26年开发工程专......
  • ByConity与主流开源OLAP引擎(Clickhouse、Doris、Presto)性能对比分析
    引言:随着数据量和数据复杂性的不断增加,越来越多的企业开始使用OLAP(联机分析处理)引擎来处理大规模数据并提供即时分析结果。在选择OLAP引擎时,性能是一个非常重要的因素。因此,本文将使用TPC-DS基准测试的99个查询语句来对比开源的ClickHouse、Doris、Presto以及ByConity这4个OLAP......
  • 莉莉丝游戏与火山引擎 ByteHouse 达成合作,为实时数仓建设提速
    中国头部游戏公司莉莉丝游戏(Lilith)和火山引擎ByteHouse达成合作,共同致力于加速莉莉丝游戏的实时数仓建设。此次合作将利用ByteHouse的创新技术和功能,为广告运营分析业务提效提供全面支持和帮助。莉莉丝游戏是中国中生代游戏公司代表,在中国游戏市场保持领先地位。为了支持其日......
  • pongo2 类似django 语法的golang 模版引擎
    pongo2类似django语法的golang模版引擎,当前兼容django1.7同时还包含了强大的三方生态支持(比如beego,gin,echo框架。。。)参考使用main.gopackagemain import("fmt""log" "github.com/flosch/pongo2/v6") funcmain(){tpl,e......
  • 绘制RUL预测中的测试引擎预测表现
    下图为C-MAPSS的4个数据子集测试集的所有发动机引擎的真实RUL与估计的RUL表现,并按照真实RUL值的大小从小到大排列。#导出预测rul和真实rul,pred为预测函数,model为训练后的NN模型pred_rul,real_rul=pred(model,test_iter)#将pred_rul和real_rul拼接,以方便进行排序rul......