首页 > 其他分享 >什么是DataOp?DataOps当前的最大挑战是什么?

什么是DataOp?DataOps当前的最大挑战是什么?

时间:2022-11-08 15:05:59浏览次数:36  
标签:DataOp AI 什么 DevOps 团队 KPI DataOps 数据

对于希望将准确数据有效地分发给用户的公司而言,DataOps 是一种不断发展的工具。DataOps 的必要性在需要为分析引擎和机器学习提供数据的企业中不断上升。与DevOps 一样,DataOps是关于将某些东西投入生产:DevOps所指的是代码,DataOps则是数据。

2022年,公司对“什么是 DataOps”提问的越来越少了,因为它的一般定义已被广泛理解。但是,DataOps所提供的商业价值可能仍然不是非常显著,尤其是在将 DataOps 作为另一种实施技术的情况下。 麦聪公众号背景无字 - 副本.png

重要的是,DataOps 不仅有助于确保必要的数据可用,还确保及时交付该数据,并确保数据得到适当的管理。

全球咨询公司 Protiviti 技术咨询高级总监 Dan Sutherland 表示:“DataOps 团队应该专注于简化和优化当前的数据管道,并将他们的人员、架构、最佳实践、设计和模式插入到所有新的数据开发工作中。”

全球技术研究和咨询公司 ISG 解决方案负责人 Sush Apshankar 说:“有很多可用的工具、系统和技术,但挑战在于找到符合您公司需求的工具、系统和技术。” “其次,你需要建立数据优先的心态,然后在团队中找到合适的人。”

什么是从数据裂缝中掉下来的

一些 DataOps 团队正在构建强大的数据管道以提供切实的业务价值。众所周知,数据和AI项目从构思到实现进展缓慢。除了将数据加载到现有数据湖中并弄清楚如何查找、过滤、清理和利用这些数据之外,企业通常没有一致的路径或模式可以遵循。

同时,IT 部门通常得到高优先级运营请求的支持,因此企业可能会利用自己的员工来完成工作,而没有明确的完成路径。

一些公司不了解DataOps 的价值,因此缺乏所需的预算和人员。大多数公司面临的常见问题包括缺乏对关键数据元素的分类、可用数据资产的单一可信清单以及最少或不一致的数据定义。

对于数据和 AI 资产的开发、部署和操作,没有明确的标准、纪律、方法论或一致性。Sutherland 说,“DataOps 原则上需要确保所有数据和AI相关资产及流程的准确、及时更新,任何新项目都必须遵守标准并相应地更新库存”。

当然,构建数据管道的数据工程师需要其他角色的支持来交付业务价值,这通常包括首席分析官 (CAO)、首席数据官、首席数字官、数据科学家、数据分析师和数据架构师。

“第一是它如何与您现有的系统集成,以及如何将技术 KPI 与业务 KPI 结合起来?” Apshankar说,技术 KPI 的一些示例,包括系统停机时间、提出的工单数量以及引入系统的速度。业务 KPI 包括人们是否实际使用它以及它如何减少时间和成本。

简而言之,DataOps 必须首先弥合使数据可用和如何利用它推动业务价值之间的差距。

未来的DataOps趋势

DataOps必须弥合使数据可用和利用它积极推动业务价值之间的差距。

最成熟的DataOps 团队采用持续改进的 DevOps 思维方式,这可能涉及许多流程和实践。尽管数据管道加快了数据访问速度并使数据处理更加可靠,但它们并不是“一劳永逸”的资产,即使它们可能会自动执行某些任务。如果系统连接性比较脆弱、数据未及时交付或必要的资源更改,则管道性能可能会下降。

“大多数据、分析和AI项目都失败了,因为操作化是事后才解决的,”Sutherland说。“团队应该向公司宣传 DataOps 的商业价值,并监控所有新的和增强项目,以确保 DataOps 是每个计划的开发和部署的一个组成部分。”

Sutherland 认为公司必须培养的一些技能包括:

1,了解云原生技术和平台。

2,及时了解新产品和产品改进。

3,在数据和AI相关的敏捷软件开发生命周期方法、开发、单元测试和集成框架方面培养技能。

4,培养重用和自动化技能。

利用协作数据开发工具,让他们更有效地与数据架构师、数据工程师和数据科学家合作。

DataOps 团队需要拥有 DevOps 团队已经拥有的许多技能,这就是为什么将开发人员视为主要数据工程师候选人的原因之一。

标签:DataOp,AI,什么,DevOps,团队,KPI,DataOps,数据
From: https://blog.51cto.com/u_12208051/5833124

相关文章

  • 64位版本为什么叫amd64,而不是intel64
    64位版本为什么叫amd64,而不是intel64?首先了解下常见的几个架构:X86是一个指令集,是刚有个人电脑时候的什么8086,286,386的那个兼容的指令集。 “x86-64”,有时会简......
  • 写过vue自定义指令吗,原理是什么?.m
    背景看了一些自定义指令的文章,但是探究其原理的文章却不多见,所以我决定水一篇。如何自定义指令?其实关于这个问题官方文档上已经有了很好的示例的,我们先来温故一下。除......
  • HTTP代理为什么说很安全
    随着时代的进步,网络的发达,依靠网络工作的人员也越来越多,HTTP代理的存在帮助了很多网络工作人员达到了高效率的工作。HTTP代理不仅网络工作人员可以常用到,个人也可以使......
  • 什么是BARR-C?
    BARR-C是Barr集团的编码标准,旨在减少嵌入式软件中的错误,并引入风格指南以提高可维护性和可移植性。 在这里,我们解释了什么是Barr-C,开发人员如何使用BARR-C:1018检测用C......
  • 什么是ERPS?ERPS有什么作用?
        ERPS(EthernetRingProtectionSwitching,以太环保护切换协议)为ITU开发的一种环网保护协议,也称G.8032。它是一个专门应用于以太环网的链路层协议。它在以太环网......
  • 什么是渗透测试?渗透测试培训班如何选择?
    渗透测试是网络安全体系中细分的就业方向之一,该岗位对实操经验、技术水平要求较高,必须通过专业的培训才可以满足企业用人需求。因此为了快速成为一名专业的渗透测试工程......
  • 缓存击穿和缓存穿透的区别是什么
    区别:缓存穿透是访问一个不存在的key,缓存不起作用,请求会穿透到DB,流量大时DB会挂掉。缓存击穿是访问一个存在的key,在缓存过期的一刻,同时有大量的请求,这些请求都会击穿到DB,造......
  • 【JDBC】JDBC是什么
    1.数据持久化把内存中的数据存储在数据库、文件中,这样断电之后还可以继续使用。2.数据存储技术JDBC:直接访问数据库JDO:JavaDataObject技术第三方O/R工具:如Hibernate......
  • 商铺选址应该履行什么行为?三个行为让商铺有加无已
     如果要问怎么做好商铺选址进行开店,那么就需要我们履行一些行为,这样才能为店铺的经营发展打下良好地基础。那么商铺选址应该履行什么行为?下面铺先生为大家介绍三个行为让......
  • 什么是虚拟DOM?
    虚拟DOM就是用JS来模拟DOM结构的,它并不是真正的DOM。为什么使用虚拟DOM?用传统的方式去操作DOM的时候,浏览器会从构建DOM树开始,从头到尾执行一遍流程。简单来说,就是会触发......