首页 > 其他分享 >嗨,别着急做度量,平台工程需要先从“数据治理”开始做起

嗨,别着急做度量,平台工程需要先从“数据治理”开始做起

时间:2023-11-10 23:23:39浏览次数:33  
标签:需要 别着急 平台 DevOps 工具 做起 数据 度量

最近一直想写一篇关于“数据治理”和“度量相关”的话题,一直太忙,今天静下心来写点自己的体会

先从平台工程说起

DevOps的兴起源于企业有意弥合运维与开发之间的裂隙,但在实施过程中有部分企业简单粗暴地将其理解为“让开发人员去负责运维的工作”,甚至让高级开发人员接管了运维角色,导致了开发渐渐不堪重负。
这一现实引出了DevOps停滞背后的核心矛盾:开发者不想跟基础设施打交道,但企业在发展过程中又需要专人管控自己的基础设施。在此背景下,平台工程应运而生。
image.png

平台工程定义为“设计和构建工具链和工作流的学科,为云原生时代的软件工程组织提供自助服务功能。平台工程师提供的集成产品通常被称为‘内部开发人员平台(IDP)’,涵盖了应用程序整个生命周期的运营需求。”
平台和应用程序之间的界限在哪里?
“如果你可以把服务拿给另一个产品团队,甚至给另一个公司,他们可以马上使用,那么它就属于平台。”

本质依然是“新瓶装旧酒”,是对“DevOps实践”提供“相对可参考性”的学科体系,除了技术以外,提供了如何建设,运营平台,以及建立企业内部开发者关系的新思路。
事实上,DevOps和平台工程并非这种“你死我活”的关系,在某种程度上,平台工程有可能为DevOps带来新生。

内部平台建设最终需要产出数据

“市面上任何一种工具,都不可能与平台一样能够满足企业的全部需求。企业必须花费充足的时间和精力,定制符合自身需求的平台。” 这是Gartner对于企业进行平台工程建设的建议

市面上其实已经涌现了很多类似的平台,比如阿里云效,腾讯Coding之类的,对于中小型团队,在没有资源投入基础设施建设的前提下,且对期望结果不是那么高的情况下,这些平台是合适的。
不过依然有“相当规模”(研发人员300人以上)的企业依然可能会选择建设内部的”研发效能平台“或者是”DevOps一体化平台“,来解决个性化的问题。
企业建设平台最终的目的就是收集到数据,对研发过程数据进行分析,也就是很火的一个名词“效能度量”。

收集数据简单,治理规划数据不易

如下图所示,由于研发效能度量涉及各个阶段,来自不同的工具。
image.png
本文的目的不是谈如何进行定义效能度量(PS:这又是另外一个很大的话题),而是聊聊数据怎么收,如何正确合理的收集“有价值”的数据?
单纯从工具层面,排除指标定义和计算外,收集数据本身只是个技术问题。不管是对接api,还是对接数据库,BI工具很多。
image.png
可是单纯的工具数据,本身很少带“业务属性”,这个其实对于企业最后的决策是没有多大价值的。
如果把工具数据,再叠加如下图左边这些因素,才可能让数据变的“有价值”,变得有“说服力”,不是吗?
image.png
可是,左边的问题,真的容易说清楚吗?很多建设内部平台的企业,左边的问题一开始就是说不清楚的,如果能说清楚,就不会大费周折的搞这个事情了。似乎陷入了“鸡生蛋,还是蛋生鸡”的怪圈里,无法自拔。

不要过分度量,而来度量而度量

其实一开始,企业也在努力的建设设计流程,可是流程是需要经过“真实考验的”,是不是业务流程是否真的能运转落地,或者切实得到认同?

“没关系,度量下看看?不是说,通过度量来改进吗?“

好像猛地一看,很合理,度量就是为了改进,管理大师都说了没有度量,就没有改进。
可是改进什么呢?哪里有问题呢?为什么要改进?

没关系,有了数据,自然就知道了

看似合理,其实隐藏一个致命的逻辑缺陷, 度量需要成本的,收入产出比如何?
度量指标的设定,需要具有“牵引改进”的重大意义,如果一个指标不能做到“牵引”作用,那么就是个“假”指标。
image.png
这里给出几点建议

  • 对于问题很明显的,不要一开始就去设计指标去度量它,需要立马去改进,而不是度量它
  • 不要一开始搞很多指标,看都看不完,有几个懂的?甚至多了,设计者本身都懵逼了
  • 不要上了就设计开发复杂系统去做度量,通过简单的查数据库,生成excel ,或者其他快捷手段(工具内置的能力),先捞一把数据看看再说,数据都是不对的,度量就是扯淡的
  • 不要一开始,就想的过于完美,最终你会发现会推倒重来

数据治理过程逐步建模

度量的前提一定是“数据治理”和“流程执行”,前者是保证规范性,后者是保证有效性。
企业在一开始建设之初,一定是有些已经使用的系统,这些系统里都会有数据,需要从总体上考虑未来系统的目标和愿景。

  • 对于已有数据,需要进行甄别,什么是没有价值的数据,是否一定要保留?意义何在?卸下包袱,也许重新开始呢?
  • 不同的工具产生的数据差异很大,想清楚最终业务视角需要看“什么纬度”的数据,什么是“带头大哥”,什么是“牵引点”,谁是主谁是辅
  • 排除干扰,对于数据字段,学会做减法
  • 流程领域是死的,工具是活的,从领域中去抽象实体

image.png
数据治理的过程,伴随着规则的制定,流程的执行,没有谁先谁后之说,根据“已有数据”去分析用户行为和使用习惯,制定“被大部分人接受”的规则和流程,否定掉“少数人的个性化操作”。
最后,收集单纯的数据很简单,但是想得到“对业务有价值的数据”,需要漫长的【收集-整理-调研-分析-设计定义-运行-优化-调整-反馈-再调整】过程。
没有人能一开始全部想清楚,按照“敏捷的思维”,不要过度设计,自己瞎YY, 让用户用实际行动产生数据,引导用户行为,修正数据,这是作为“平台工程”的实践者需要去思考和琢磨的。

标签:需要,别着急,平台,DevOps,工具,做起,数据,度量
From: https://www.cnblogs.com/FLY_DREAM/p/17825316.html

相关文章

  • 聊一聊质量度量之bug收敛
    之前有个做测试的同事给我吐槽,他们开发问他,为什么提测了,刚开始bug不多,到后面bug越来越多,bug到后期改都改不完了。她解释道,是因为刚开始拿到系统还有个熟悉的过程,慢慢测这才深入了,当然后面才多了。我相信很多测试或者开发同事都遇到过这种问题,开发说测试怎么回事,bug怎么越来越多,测......
  • 10.23 拒绝摆烂,从你他做起!
    JS函数介绍:函数(方法)是被设计为执行特定任务的代码块定义:JavaScript函数通过function关键字进行定义,语法为:function函数名(参数1,参数2,……){代码块}eg:functionadd(a,b){returna+b;}法二:varadd=function(a,b){returna+b;注:......
  • 伪代码+白盒测试+McCabe度量法
              ......
  • 白盒测试+McCabe度量法
          ......
  • R语言用CPV模型的房地产信贷信用风险的度量和预测|附代码数据
    全文链接:http://tecdat.cn/?p=30401最近我们被客户要求撰写关于CPV模型的研究报告,包括一些图形和统计输出。本文基于CPV模型,对房地产信贷风险进行了度量与预测。我们被客户要求撰写关于CPV模型的研究报告结果表明,该模型在度量和预测房地产信贷违约率方面具有较好的效果。......
  • McCabe度量法
               ......
  • 常用的相似度度量总结:余弦相似度,点积,L1,L2
    前言 相似性度量在机器学习中起着至关重要的作用。这些度量以数学方式量化对象、数据点或向量之间的相似性。理解向量空间中的相似性概念并采用适当的度量是解决广泛的现实世界问题的基础。本文将介绍几种常用的用来计算两个向量在嵌入空间中的接近程度的相似性度量。本文转载自......
  • 交叉验证 cross_val_score 获得多个度量值
    默认的,cross_val_score只能计算一个类型的分数,要想获得多个度量值,可用函数cross_validate >>>fromsklearn.model_selectionimportcross_validate>>>fromsklearn.metricsimportrecall_score>>>scoring=['precision_macro','recall_macro�......
  • Python中图像相似性度量方法汇总
    1.引言在当前到处充满着图像的世界里,测量和量化图像之间的相似性已经成为一项关键的任务。无论是图像检索、内容推荐还是视觉搜索,图像相似性方法在现代计算机视觉的应用中都发挥着关键的作用。幸运的是,Python提供了大量的工具和库,使开发人员和研究人员都可以快速探索和实现这些功......
  • 最高评级!华为云CodeArts Board获信通院软件研发效能度量平台先进级认证
    9月26日,华为云CodeArtsBoard获得了中国信通院《云上软件研发效能度量分级模型》的先进级最高级评估,达到了软件研发效能度量平台评估的通用效能度量能力、组织效能模型、项目效能模型、资源效能模型、个人效能模型、研发效能评价模型、项目管理域、开发域、测试域、运维/运营域的先......