话题中
今天随便聊一个话题,自研的数据产品迭代了一年多,为什么不买第三方商业数据平台产品呢?(整篇是边想边码字流水文,欠缺点逻辑组织)
大数据产品研发现状
多企业在大数据建设中会遇到一个问题, 投入产研经过一年多迭代,做出了一些数据产品,大数据团队在建设中会结合市面上的工具和业务的需求,迭代了一段时间是能够满足企业自身业务发展对数据诉求。
随着时间公司发展中经常会受到企业组织结构变动、细分,团队工作交叉以及重复工作等,或者是资源的被调用,企业大数据产品在长时间迭代中受到了数据产品团队的能力、技术的大数据能力(比如前段资源、后端资源、服务器资源)等影响,在数据产品跌得带中越来越缓慢。在数据平台的某些功能随着时间流失欠缺更大。此时在盘点中发现投入那么多人力物力为什么这些平台业务要什么没有什么的程度(先不谈业务要的是否合理)。此时大家都开始聊要不要采买外部的产品。
外部数据产品的对比之路
这几年外部有一些专业的大数据工具平台公司在研发自己的数据平台工具,比如元数据工具、报表工具、APP 日志分析工具等。
这些工具会更加专业、通用性更好,但是缺点也会很明显在切合某些企业业务堵上就欠缺蛮多。
比如在第三方的BI功能非常全面完整,图表库丰富,展现非常漂亮,一些特色权限很难与公司的组织结构吻合,还有一些业务链条特别长,但是只买了日志分析工具,流量数据与交易数据会交叉分析等一些场景,这些第三方工具就会偏差一些。
还有比如业务的精细化各类交叉分析要构建大量的中间层, 一些工具虽说支持数据导入功能,但是也是很难用。
自助研发数据产品的数据产品呢,缺点是在数据仪表盘功能、报表功能、UI美观功能以及图标丰富度都比第三方要差 ,在资源紧张情况下可能报表中的一个行转列表格功能要排期到几个Q 以后,业务团队使用中经常吐槽这个功能差、那个功能有bug。优点是吻合业务个性化诉求。
自研与采买的ROI
一个第三方数据产品平台算下来才几十万, 企业要养做这个事情的人可能一年要几百万 ,此时是要持续自研呢?还是采买第三方呢?
从本质上来讲,这是个自研与采购的冲突问题,算是决策需要考虑的事情,决策点是短、中期、长期的ROI 对比情况。
从企业规模来讲
- 一般中小型企业是建议采买的(悄悄话:有蛮多的第三方平台都有一个共性问题, 续签率都很低, 客户的流失率很高,咱们不探讨这个问题)。
- 中大型企业要看,企业是否在自研上投入成本去做了, 一般的来讲组织结构ReOrg,整合资源后会优先去做商业价值更大的事情,一般的数据产品团队在这个工具上拿不到壁垒式的产出会优先做出调整。如果在资源过剩情况下,大数据团队是可以做一些价值类的数据产品。
这个是需要从实施的短、中期、长期的ROI综合来判断
- 自身自研 :优势 贴近业务,技术实施大部分可空, 兼容好,业务吻合度100%。 内部重要不紧急工具建设,建设周期长,受到前端资源、后端资源的影响。投入产出比中等。
- 采买 :优势,周期短,见效快。功能丰富且很快可以使用起来,满足业务快速发展需要, 业务支撑吻合度达顶到50%-70%。
实施第三方一些潜在可能性
引入新系统会导致整体系统变复杂一段时间(比如自研系统A,采买系统B 会并存,这个对团队、系统层面都不是好事)。 实施中短期(1-3个月较为痛苦 工作大),中期优势明显。长期存在个性化功能定制麻烦,极有可能要做二次开发。
一般的短期内(3个Q内),自研成本大于采买实施成本 :需要数据团队做好在一定阶段内拿出自研的Plan 多久只能能够在人力成本投入下构建好可代替方案。
中长期(12个月以上),业务发展非常迅速所带来对数据的需求也会多变,对数据的采集、数据中间层的诉求就是要求快速实施来支撑对业务的诉求,第三方平台的半封闭性以及自身的存储格式导致在中间层的扩展上会变得跟不上业务需求节奏,久了矛盾会爆发出来的。需要有相应的方案跟上。
数据产品一些优势的建立
数据产品以及技术在对业务的支撑与实施中是否建立起了对第三方平台的一个壁垒,当然在内容建设上的壁垒优势会大于在工具功能优势。
互联网企业在大数据建设一般都是遵循短平快的方式, 甚至都是把业务系统的表整合到数仓,很少做设计或者是按照需求的方式做一下简单整合, 就export 宽表或汇总数据提供给业务使用。
在互联网行业的企业很少有发布一些针对行业有沉淀的数据模型。我知道这些年在大数据领域只有阿里巴巴在去年发布了一套电商交易标准数据模型。
数据中台的建设,可以说互联网企业数据中台如果想在数字化转型进入到不同领域, 需要沉淀大量的行业模型才能进入一些业务很重的行业的数据整合上, 否则很难产出很好的数据模型导航图。 比如数据治理现在提的很重要,但是落地有点勉强,数据治理很重要但是很多东西有点本末倒置。
有对文章感兴趣的话题,可以私信、留言以及其它方式继续展开讨论。
备注:照片是我拍的一个认识的妹子,使用上已经征得当事人同意。
关于作者:松子(李博源),BI& 数据产品领域老司机一枚,漂过几个大厂。个人公众号:松子聊数据
--------------------------------------------------
个人工作经验总结系列
干货分享-作为Lead 接手一个新的数据团队一 问题盘点 与Insights的发现
企业数字化转型及数据中台系列
透过数字化转型再谈数据中台(四)数据中台不是买来的,是干出来的
透过数字化转型再谈数据中台(三):一文遍历大数据架构变迁史
透过数字化转型再谈数据中台(二):唯一性定理中的数据中台
透过数字化转型再谈数据中台(一):关于数字化转型的几个见解
我所经历的大数据平台发展史-下篇 2 互联网数据模型
数仓:分层设计的必要性 ODS-DWD-DWS-ADS
个人实战经验:数据建模 “账户数据是属于维度还是账户域 ”
数据产品系列
数据产品经理的圣经,送你一份珍贵的礼物~~2019年度数据产品经理们的回顾
BI数据分析
数据价值思考与通过BI&数据产品的泛化
用户运营系列