首页 > 其他分享 >主动元数据和 DataOps 体系建设有什么关系?

主动元数据和 DataOps 体系建设有什么关系?

时间:2024-08-29 19:24:08浏览次数:13  
标签:体系 DataOps 数据管理 血缘 主动 数据

首先,主动元数据是相对静态元数据而言,它是一种动态、智能化的元数据管理技术,能够将传统静态元数据的被动等待变为实时在线、主动触发,推动数据探查、开发、测试、部署、运维和监控等数据治理工作高效运转,为数据的治理开发决策提供智能化支持。

Gartner 将主动元数据定义为“是对所有可用的用户、数据管理、系统/基础设施和数据治理实践报告的持续分析,以确定数据设计与实际情况是否对齐或出现异常情况”。

在 Aloudata 看来,主动元数据强调更深度更持续的数据理解,不只理解数据的 Schema、产出时间等基础信息,更多是要理解数据背后的加工口径、业务主体、汇总粒度及如何正确使用等;强调更主动的元数据服务,不再在遇到数据使用及管理问题时,被动等待用户去数据目录检索信息,而是主动提供设计建议,抑或是可被系统执行的指令;强调与数据工具主动集成,贯穿数据生产、消费和协作的各个环节,为用户提供智能化建议,以实施更主动的数据治理策略。

其次,提到 DataOps,从 2018 年 Gartner 将 DataOps 纳入到数据管理技术成熟度曲线中,便标志着 DataOps 正式被业界所接纳并推广起来。Gartner 认为,DataOps 是“一种协作式数据管理实践,专注于改善整个组织内数据管理者和数据使用者之间数据流的沟通、集成和自动化”,其目标是“通过对数据、数据模型和相关工序创建可预测的交付和变更管理,更快地交付价值。” 

异曲同工,在 2024 年中国信通院发布 2.0 版本的《DataOps 实践指南》中,将 DataOps 定义为“数据研发运营 体化”,是一种数据开发的新范式,将敏捷、精益等理念融入数据开发过程,通过对数据相关人员、工具和流程的重新组织,打破协作壁垒,构建集开发、治理、运营于一体的自动化数据流水线,不断提高数据产品交付效率与质量,实现高质量数字化发展。

从上述定义中,不难发现,无论是 Gartner还是信通院,都认为 DataOps 的价值主张在于通过“端到端打通数据流水线,打破“点对点”的低效数据协作流程,实现“手递手”的数据价值释放。

具体来看的话,DataOps 体系建设要解决的是当下企业数据开发和消费中广泛存在的“数据协同难、数据管理难、数据交付难”的挑战,更多的是站在数据交付的视角,思考如何赋能 ETL 工程师、数据架构师、数据管理员和相关上下游角色,快速高效完成工作,提升整体数据交付效率和交付质量。DataOps 体系不仅需要考虑现有各个数据开发、运维和管理平台如何实现一站式、一体化建设,还需要找到通往自动化、智能化的方向发展路径,保障整个数据平台的高可用性和连续性,最终达到“效率”和“管理”的兼顾与平衡。

再深一层看,要落地 DataOps 体系,需要构建“工作流、数据流和控制流”三层架构。工作流涵盖数据探查、开发、测试、部署、运维和监控等各个活动,数据流涵盖数据从入湖仓、加工、流转到出湖仓进入各个应用场景的完整链路,控制流作为 DataOps 体系的感知决策中心,驱动工作流、数据流敏捷流转和持续迭代。

构建 DataOps 控制流,需要实时采集、解析和分析 DataOps 体系中各项元数据信息,因此需要元数据从“被动”切换为“主动”,主动元数据便成为企业构建 DataOps 体系的新支点,而主动元数据平台是企业建设 DataOps 体系的基础能力和必备平台。

针对于此,Aloudata 推出的自主研发的主动元数据平台——Aloudata BIG,具有全球独创的算子级血缘解析技术,能够自动构建精细、准确、全面、实时的数据血缘图谱,彻底改变过往元数据不准确、不连通、不精细、不保鲜的顽疾,“让元数据能用起来”,可作为企业内统一的元数据中心和 DataOps 体系的控制中心,驱动企业 DataOps 体系实现主动数据管理和敏捷数据协同

主动元数据和 DataOps 体系建设有什么关系?_数据治理

 

  • 极致精准:独创算子级血缘技术,实现数据血缘解析准确率 99% 以上,看清一切细节
  • 全域联通:自动采集解析包括库、表、列、报表、模型、标签、脚本等一切元数据信息,形成相互关联的元数据图谱,让数据处理和流转的每一个环节都能被精准追溯和刻画
  • 行级裁剪:常用公共表或指标表等 Hub 表会导致血缘繁华,行级裁剪可依据上下游的表列元数据信息动态精准过滤无关血缘
  • 主动智能:强大的元数据策略服务引擎,实时捕获各类事件,系统主动分析预警,让“人盯人”变为“事盯人”
  • 统一服务:丰富的元数据采集器和反向元数据 API,实现 DataOps 体系元数据的“一次采集,处处服务”

在高度复杂的数据开发和消费环境中,Aloudata BIG 已帮助招商银行逐步推进 DataOps 体系建设不仅将现有血缘图谱升级为算子级血缘图谱,实现 99% 的血缘解析准确率,更实现了元数据应用智能化、链路保障自动化和架构治理长效化,推动数仓快速实现资产数量下降 40%、平均链路缩短 50%。如您对主动元数据和 DataOps 体系建设感兴趣,欢迎访问 Aloudata 官网,了解更多。


标签:体系,DataOps,数据管理,血缘,主动,数据
From: https://blog.51cto.com/u_15879876/11869451

相关文章

  • 简化登录流程,助力应用建立用户体系
    随着智能手机和移动应用的普及,用户需要在不同的应用中注册和登录账号,传统的账号注册和登录流程需要用户输入用户名和密码,这不仅繁琐而且容易造成用户流失。华为账号服务(AccountKit)提供简单、快速、安全的登录功能,让用户快捷地使用华为账号登录应用。用户授权后,华为账号可提供头......
  • AI产品经理知识体系:驾驭未来的核心技能
    随着人工智能(AI)的快速发展,AI产品经理的角色变得至关重要。他们不仅需要具备传统产品经理的技能,还必须深入理解AI技术的各个方面,才能推动AI技术在实际产品中的落地和应用。从最基础的技术知识,到跨领域的创新思维,AI产品经理的知识体系需要非常全面。本文将基于AI产品经理知识......
  • ARM体系结构和接口技术(十一)定时器中断实验
    文章目录一、实验分析二、RCC章节:找到外设基地址并使能外设控制器时钟源1.RCC2.GICC和GICD3.TIM3三、TIM3章节(一)CR1寄存器(二)DIER寄存器(三)SR寄存器(四)PSC寄存器(五)ARR寄存器四、GIC章节(一)查看TIM3中断的中断号(二)GICD1.GICD_CTLR2.GICD_ISENABLERx3.GICD_ICPENDRx4.......
  • AI创新,DataOps聚能 | 白鲸开源DTCC共话DataOps新篇章
    近日,由IT168联合旗下ITPUB、ChinaUnix两大技术社区主办的第15届中国数据库技术大会(DTCC2024)隆重召开。大会以“自研创新数智未来”为主题,吸引了数百位行业专家和广大数据领域从业者共聚这场年度数据库技术交流盛宴,共同探讨新时代下数据库的技术动态和应用实践。作为全球领先......
  • GPT多模态大模型与AI Agent智能体系列一》大模型企业应用落地》基于大模型的对话式推
    注:此文章内容均节选自充电了么创始人,CEO兼CTO陈敬雷老师的新书《自然语言处理原理与实战》(人工智能科学与技术丛书)【陈敬雷编著】【清华大学出版社】文章目录GPT多模态大模型与AIAgent智能体系列一基于大模型的对话式推荐系统》对话式推荐系统技术架构设计基于大模型的......
  • 【MySQL数据库管理问答题】第3章 理解MySQL体系
    目录1.MySQL服务器进程mysqld由哪三层组成,从各自所实现的功能角度分别加以说明。2.MySQL支持的通讯协议都有哪些?其连接方式和所支持的操作系统有何不同。3.请说明SQL层的组件名称和各自的作用。4.MySQL8.0除了默认的存储引擎InnoDB之外,还有哪些常用的存储引......
  • 代码实现WordPress主动推送及自动推送至百度搜索收录
    站长们辛辛苦苦写的文章,无非就是让百度收录,也可以帮助人,也可以给自己站或者帮人优化的站带来流量,今天就来发一篇关于wordprss主动推送给百度的方法;使用方法,U8格式放在wp当前模板functions.php里即可12345678910111213141516171819202122232425262......
  • 六西格玛与5S管理体系并行落地,实现生产事件精益管理
    在现代制造业中,六西格玛管理和5S管理体系是提升生产效率和质量控制的重要工具。六西格玛以其严格的数据分析方法帮助企业减少过程中的变异和缺陷,而5S管理则通过优化工作环境和流程,确保生产线的整洁、有序和高效。如何将这两大管理体系成功落地,成为许多制造企业面临的挑战。构建一......
  • 【AI+应用】一文了解知识图谱技术体系
    一、知识表示二、知识建模三、知识抽取四、知识挖掘五、知识存储六、知识融合七、知识检索八、知识推理原创虞大胆的叽叽喳喳《从零构建知识图谱:技术、方法与案例》这本书初读的时候,感觉有点理论,不过结合陈华钧教授知识图谱课件学习后,感觉阐述比较完整,尤其前......
  • 从海量信息中脱颖而出:Workflow智能分析解决方案,大语言模型为AI科技文章打造精准摘要评
    从海量信息中脱颖而出:Workflow智能分析解决方案,大语言模型为AI科技文章打造精准摘要评分体系(总篇章)1.简介该项目整合了编程、AI、产品设计、商业科技及个人成长等多领域的精华内容,源自顶尖技术企业和社群。借助先进语言模型技术,对精选文章进行高效摘要、专业评分及多语种翻译,......