首页 > 其他分享 >自研的数据产品迭代了一年多,为什么不买第三方商业数据平台产品呢?

自研的数据产品迭代了一年多,为什么不买第三方商业数据平台产品呢?

时间:2022-12-27 12:03:32浏览次数:59  
标签:迭代 自研 平台 业务 产品 数据 第三方

话题中自研的数据产品迭代了一年多,为什么不买第三方商业数据平台产品呢?_数据


今天随便聊一个话题,自研的数据产品迭代了一年多,为什么不买第三方商业数据平台产品呢?(整篇是边想边码字流水文,欠缺点逻辑组织)



大数据产品研发现状


多企业在大数据建设中会遇到一个问题, 投入产研经过一年多迭代,做出了一些数据产品,大数据团队在建设中会结合市面上的工具和业务的需求,迭代了一段时间是能够满足企业自身业务发展对数据诉求。


随着时间公司发展中经常会受到企业组织结构变动、细分,团队工作交叉以及重复工作等,或者是资源的被调用,企业大数据产品在长时间迭代中受到了数据产品团队的能力、技术的大数据能力(比如前段资源、后端资源、服务器资源)等影响,在数据产品跌得带中越来越缓慢。在数据平台的某些功能随着时间流失欠缺更大。此时在盘点中发现投入那么多人力物力为什么这些平台业务要什么没有什么的程度(先不谈业务要的是否合理)。此时大家都开始聊要不要采买外部的产品。



外部数据产品的对比之路


这几年外部有一些专业的大数据工具平台公司在研发自己的数据平台工具,比如元数据工具、报表工具、APP 日志分析工具等。


这些工具会更加专业、通用性更好,但是缺点也会很明显在切合某些企业业务堵上就欠缺蛮多。


比如在第三方的BI功能非常全面完整,图表库丰富,展现非常漂亮,一些特色权限很难与公司的组织结构吻合,还有一些业务链条特别长,但是只买了日志分析工具,流量数据与交易数据会交叉分析等一些场景,这些第三方工具就会偏差一些。


还有比如业务的精细化各类交叉分析要构建大量的中间层, 一些工具虽说支持数据导入功能,但是也是很难用。


自助研发数据产品的数据产品呢,缺点是在数据仪表盘功能、报表功能、UI美观功能以及图标丰富度都比第三方要差 ,在资源紧张情况下可能报表中的一个行转列表格功能要排期到几个Q 以后,业务团队使用中经常吐槽这个功能差、那个功能有bug。优点是吻合业务个性化诉求。


自研与采买的ROI 


一个第三方数据产品平台算下来才几十万, 企业要养做这个事情的人可能一年要几百万 ,此时是要持续自研呢?还是采买第三方呢?


从本质上来讲,这是个自研与采购的冲突问题,算是决策需要考虑的事情,决策点是短、中期、长期的ROI 对比情况。


从企业规模来讲

  • 一般中小型企业是建议采买的(悄悄话:有蛮多的第三方平台都有一个共性问题, 续签率都很低, 客户的流失率很高,咱们不探讨这个问题)。


  • 中大型企业要看,企业是否在自研上投入成本去做了, 一般的来讲组织结构ReOrg,整合资源后会优先去做商业价值更大的事情,一般的数据产品团队在这个工具上拿不到壁垒式的产出会优先做出调整。如果在资源过剩情况下,大数据团队是可以做一些价值类的数据产品。


这个是需要从实施的短、中期、长期的ROI综合来判断


  • 自身自研  :优势 贴近业务,技术实施大部分可空, 兼容好,业务吻合度100%。  内部重要不紧急工具建设,建设周期长,受到前端资源、后端资源的影响。投入产出比中等。
  • 采买 :优势,周期短,见效快。功能丰富且很快可以使用起来,满足业务快速发展需要, 业务支撑吻合度达顶到50%-70%。


实施第三方一些潜在可能性

引入新系统会导致整体系统变复杂一段时间(比如自研系统A,采买系统B 会并存,这个对团队、系统层面都不是好事)。 实施中短期(1-3个月较为痛苦 工作大),中期优势明显。长期存在个性化功能定制麻烦,极有可能要做二次开发。

一般的短期内(3个Q内),自研成本大于采买实施成本 :需要数据团队做好在一定阶段内拿出自研的Plan 多久只能能够在人力成本投入下构建好可代替方案。

中长期(12个月以上),业务发展非常迅速所带来对数据的需求也会多变,对数据的采集、数据中间层的诉求就是要求快速实施来支撑对业务的诉求,第三方平台的半封闭性以及自身的存储格式导致在中间层的扩展上会变得跟不上业务需求节奏,久了矛盾会爆发出来的。需要有相应的方案跟上。


数据产品一些优势的建立

数据产品以及技术在对业务的支撑与实施中是否建立起了对第三方平台的一个壁垒,当然在内容建设上的壁垒优势会大于在工具功能优势。

互联网企业在大数据建设一般都是遵循短平快的方式, 甚至都是把业务系统的表整合到数仓,很少做设计或者是按照需求的方式做一下简单整合, 就export 宽表或汇总数据提供给业务使用。 

在互联网行业的企业很少有发布一些针对行业有沉淀的数据模型。我知道这些年在大数据领域只有阿里巴巴在去年发布了一套电商交易标准数据模型。

数据中台的建设,可以说互联网企业数据中台如果想在数字化转型进入到不同领域, 需要沉淀大量的行业模型才能进入一些业务很重的行业的数据整合上, 否则很难产出很好的数据模型导航图。  比如数据治理现在提的很重要,但是落地有点勉强,数据治理很重要但是很多东西有点本末倒置。

有对文章感兴趣的话题,可以私信、留言以及其它方式继续展开讨论。

备注:照片是我拍的一个认识的妹子,使用上已经征得当事人同意。

关于作者:松子(李博源),BI& 数据产品领域老司机一枚,漂过几个大厂。个人公众号:松子聊数据

--------------------------------------------------




个人工作经验总结系列

​我的养成的工作习惯与给老板的汇报​

​大数据方向问题的一点整理​

​干货分享-作为Lead 接手一个新的数据团队一 问题盘点 与Insights的发现​

企业数字化转型及数据中台系列

​透过数字化转型再谈数据中台(四)数据中台不是买来的,是干出来的​

​透过数字化转型再谈数据中台(三):一文遍历大数据架构变迁史​

​透过数字化转型再谈数据中台(二):唯一性定理中的数据中台​

​透过数字化转型再谈数据中台(一):关于数字化转型的几个见解​

​我所经历的大数据平台发展史-上篇 非互联网时代 1​

​我所经历的大数据平台发展史-上篇 非互联网时代 2​

​我所经历的大数据平台发展史-下篇 互联网时代​

​我所经历的大数据平台发展史-下篇 2 互联网数据模型​

​数仓:分层设计的必要性 ODS-DWD-DWS-ADS​

​数据仓库与多维模型设计​

​个人实战经验:数据建模 “账户数据是属于维度还是账户域 ”​

​随笔文,关于”中台“的一些小偏论​

​我的数据是怎样炼成的 一​

​我的数据是怎样练成的 二​

​我的数据是怎样练成的 三​

​我的数据是怎样练成的 四​

​浅谈数据仓库建设中的数据建模方法​

​数据仓库分层之辩​

​鬼话连篇数据中台 一​

​鬼话连篇数据中台(二)-透过中台看一个业务中台​

数据产品系列

​关于数据产品经理的三个小的知识点​

​一个数据人对领域模型理解与深入​

​企业架构中如何进行平台化-银行案例​

​理性做产品:用数据+漏斗、地图和路径来指引​

​深入数据可视化Dashboard​

​产品经理数据分析入门指南​

​对柱状图的进一步挖掘​

​数据产品经理的圣经,送你一份珍贵的礼物~~2019年度数据产品经理们的回顾​

​数据产品经理的深度思考之一​

​数据产品经理的具象化​

​深入浅出数据产品三部曲系列之一  前世之旅​

BI数据分析

​数据体系实战之-数据指标设计的奥妙​

​滴滴数据科学家分享:数据如何驱动业务增长​

​数据可视化怎样才有灵魂​

​数据分析师成长体系漫谈-- 数据埋点​

​数据分析师成长体系漫谈- 数仓模型设计​

​数据分析师 ”痛“ 谁能了解​

​分析师的进阶与升华:努力把自己做“没”​

数据价值思考与通过BI&数据产品的泛化

​流量中的价值套路上 -解析产品生命周期的用户价值​

​流量中的价值套路下 -从流失到挽救的体系化之路​

用户运营系列

​关于用户成长体系,一份不能错过的笔记​

会员体系:从「ULC、RFM和CLV」理解「增长、忠诚和流失」

​《精益数据分析》笔记梳理(5)​

​《精益数据分析》笔记梳理(4)​

​《精益数据分析》笔记梳理(3)​

​《精益数据分析》笔记梳理(2)​

​《精益数据分析》笔记梳理(1)​

标签:迭代,自研,平台,业务,产品,数据,第三方
From: https://blog.51cto.com/u_15923336/5971895

相关文章

  • 不要把信息图和数据可视化混淆
    数据可视化dataVisualization和信息图inforgraphics两个是非常相近的词语,信息与数据的可视化都是通过可视化的手段给读者传递信息、数据等,而且把枯燥无味复杂定性信息......
  • 松子聊数据 公众号文章合集链接
    公众号的历史文章包含六个系列。个人工作经验总结系列企业数字化转型及数据中台系列数据产品系列BI数据分析数据价值思考与通过BI&数据产品的泛化用户运营系列个人工作经验......
  • SAP数据迁移规划:准备、工具和合作伙伴是关键
    如果您希望在未来12个月内快速切换到​​S4/HANA​​​,那么您必须迁移您的数据。就像搬到新房子并把家具搬进去一样,​​数据迁移​​过程可能是困难和有压力的。但是,在搬......
  • 第二章 数据是用二进制表示的
    本章的重点是掌握使用二进制数来表示信息的方法及其运算机制。用二进制表示计算机信息的原因是由于计算机内部是由于IC这种电子部件构成的,他的两侧有数个乃至数百个引脚,所......
  • Mysql到TiDB迁移,双写数据库兜底方案
    作者:京东零售石磊TiDB作为开源NewSQL数据库的典型代表之一,同样支持SQL,支持事务ACID特性。在通讯协议上,TiDB选择与MySQL完全兼容,并尽可能兼容MySQL的语法。因......
  • 数据产品经理那点事儿 七
    这个小系列更新到第七篇,还剩一篇就结束。继续利用吃饭前这会儿码字,另外不敢写多了,洗稿的太可怕了,都是给他们添砖加瓦了。 另外有读者朋友留言问了些问题,我抽出时间写成小......
  • 万万没想到,go的数据库操作,也能像php一样溜了
    Hi,各位go的小伙伴。很多人都是从php转过来的吧,不知道你们有没有发现,go界的orm并没有像php的orm一样好用。这篇文章里,我们认真的讨论下这个问题,并且会在后面提出解决方案。p......
  • Python数据科学:方差分析
    本次介绍:方差分析:一个多分类分类变量与一个连续变量间的关系。其中分类个数大于两个,分类变量也可以有多个。当分类变量为多个时,对分类个数不做要求,即可以为二分分类变量。之......
  • beego阅读源码走通数据库的初始化
    一般初始化数据库会在main的运行的时候第一步进行,常用的方式dbhost:=beego.AppConfig.String("dbhost")dbport:=beego.AppConfig.String("dbport")dbu......
  • 大数据知识挖宝行动,总结与归类公众号的历史文章
    虽说一些稿子、挖掘的优秀知识内容文章存了不少,但是决定今天利用中午吃饭一个小时做一个归类与盘点,同时也为了朋友们方便阅读与查找。公众号的历史文章包含六个系列,原创文章......