首页 > 其他分享 >一、中国数据中台行业白皮书(2021年)

一、中国数据中台行业白皮书(2021年)

时间:2022-11-17 09:12:59浏览次数:88  
标签:业务 白皮书 建设 能力 2021 企业 数据 中台

数据中台不是简单的一套软件系统或者标准化产品,更多的是一种强调资源整合、集中配置、能力沉淀、分步执行的运作机制,是一系列数据组件模块的集合,为企业数据治理效率的提升、业务流程与组织架构的升级、运营与决策的精细化赋能

数据中台的内涵:是技术的概念,更是企业管理的概念


数据中台居于前台和后台之间,是企业级的数据共享、能力复用平台,是数字化转型的基础和中枢系统。将企业全域海量、多源、异构的数据整合资产化,为业务前台提供数据资源和能力的支撑,以实现数据驱动的精细化运营
数据中台不是简单的一套软件系统或者一个标准化产品,更多的是一种强调资源整合、集中配置、能力沉淀、分步执行的运作机制,是一系列数据组件或模块的集合,指向企业的业务场景。

企业基于自身的信息化建设基础和业务特点对数据中台的能力进行定义,基于能力定义选择和利用数据组件搭建中台。各类数据技术是构建数据中台的基础,能够高效对数据进行统一收集、处理、储存、计算、分析可视化呈现,使数据最终与业务链条结合,真正转化为企业核心资产。

而从广义上,数据中台更是一种企业组织管理模式和理念,集公司战略决策、组织架构、技术架构于一体,企业从战略上构建统一的协同基座即中台化组织,以协调和支持各业务部门,用技术拓展商业边界,为新业务、新部门提供成长空间。

 

数据产品的发展阶段:

  • 数据库:存储持久化,简单的关联查询,简单的OLTP系统,基本、日常的事务处理;不适用数据的多维度分析。
  • 数据仓库:位于多个数据库上的存储库。实现数据生命周期管理、主题域开发,提供直观易懂的查询结果,支持复杂的动态数据分析。数据处理能力较弱,在数据和业务预测方面应用有限。
  • 数据平台: 基于分布式的实时或者离线计算框架,建立计算集群以运行各种计算任务,提供完善的大数据分析基础运行环境,提供统一二次开发接口等能力。支持多数据集实时同步、支持数据资产管理、实现多源异构数据的整合管控。
  • 数据中台:数据迈向EB级别。具有全域级、可复用的数据资产中心与数据能力中心,在底层通过技术手段统一数据标准和口径,能够对接OLTP和OLAP的需求,结合算法,把前台业务的分析需求和交易需求直接对接到中台来,通过数据中台处理和逻辑运算。

数据中台的架构:呈现统一基础层、公共中间层、多元应用层的分层架构模式


 数据中台首先采集与引入全业务、多终端、多形态的数据,经过数据计算与处理,通过数据指标结构化、规范化的方式实现指标口径的统一,存储到各类数据库、数据仓库或数据湖中,以实现数据资产化管理。向上提供各类数据服务,面向业务构建统一的数据服务接口数据查询逻辑,提供数据的分析与展示,形成以业务核心对象为中心的连接和标签体系,深度萃取数据价值。

数据中台vs业务中台:各司其职,相辅相成


相比数据中台抽象数据能力的共性形成通用数据服务能力,业务中台则是抽象企业各业务流程的共性形成通用业务服务能力,更多偏向于业务流程的管控。将企业的业务规则、流程、逻辑与业务进行隔离,整合封装成微服务、组件等前台友好的可复用共享的能力;将一切业务数据化,实现后台资源到前台敏捷复用能力的转化,提升面向终端用户的前台的速度和效率,提高整体业务的灵活性和响应速度。
企业一般根据自身的实际情况需要进行数据中台和业务中台的规划和部署,当企业同时拥有数据中台和业务中台时,两套中台起到相辅相成、相互支撑的作用。业务中台中沉淀的业务数据进入到数据中台进行体系化的加工,再以服务化的方式支撑业务中台上的应用,形成循环不息的数据闭环。但业务中台只是数据中台的数据源之一,而数据中台的数据服务也并非必须经过业务中台才能作用于业务。

 

数据中台的建设路径:需要经历长期、分阶段的逐级建设过程


数据中台的建设不是一蹴而就的,其建设路径及难度跟企业数字化变革驱动力、行业背景直接相关,与企业原有机制的融合是一个长期的过程,其建设成本在百万元以上,建设周期更是以年为单位计算。整个数据中台的建设没有一个通用的企业级模型套用,一般需要从顶层设计出发,自上而下贯彻。根据企业自身的业务目标逐级建设,优先从小场景领域内开始试点,逐步纳入更多的业务模块,以达到企业数字能力的逐级进化和价值的持续叠加。此外,在数据中台的建设过程中,企业需要培养自身的数据管理团队,甚至重构整个IT团队,以提高数据服务和企业数字化运营的能力。

数据中台的能力保障:系统落地需要供求双方多维度的能力


 数据中台的搭建涉及技术诸多,在整个技术构架上需要考虑可拓展性、敏捷性、轻量化,并注重与前台的交互,灵活地通过服务编排实现应用功能,以满足前台需求。当前数据中台遵循“高内聚、松耦合”的设计原则,融合分布式、微服务、容器云、DevOps、大数据处理及高可用高性能高并发架构,已形成了一套较为成熟的方法论。

因此现阶段,数据中台的建设难点更多的聚焦在如何将成熟的技术方案与行业及企业的实际情况和特征结合,基于真实应用场景,规划设计数据中台建设的可行性方案。企业自身的资源配置能力、管理经验、组织架构、业务梳理能力,以及数据中台服务商在企业中台搭建过程中为企业数据治理提供的咨询规划服务,逐渐成为数据中台建设过程中的关键性要素。

数据中台的核心价值(1/3):降低数据建设成本,提高数据治理效率


数据中台的建设天然会帮助企业打通数据孤岛,并建设统一的数据标准,包括数据建设规范和数据消费规范。此外,数据中台基于原有的数据关系及SOA架构等企业数据管理的经验,能解决企业信息管理中“数据烟囱”的问题,从全生命周期的角度管理数据。随着数据中台的建设,数据二义性逐渐消除,透明度和利用率大大提高,有效发挥数据及分析技术对前台业务的复用价值,降低数据计算与数据存储成本,减少因数据体系建设不一致或重复建设导致的人力成本浪费等。
由于系统和能力容易复用,当业务量增加或数据连接点、流程发生改变时,打通的数据中台可以避免系统的重复建设,支撑新业务形态的产生和快速发展;由于数据中台整合了业务与技术两大职能,业务产生的数据省去了跨部门传递的步骤,而基于技术产生的数据分析结果也可直接转化为业务优化方案。数据实时共享,直接赋能业务,使企业数据治理全链条的时效性与灵敏度得到提升,同时避免了技术与业务两部门因信息不对称而导致的认知偏差。

数据中台的核心价值(2/3):激活数据商业价值,赋能企业运营与决策


 提升对数据的管理利用能力是企业数字化转型的重要目标。数据中台与过去的数据工具相比,最大的优势在于基于企业组织、战略及业务框架设计,对企业全域的数据资产进行高效的开发、应用及质量管理。通过将数据资产化,将不同系统、不同类型的数据纳入一个可对比、可计算的范围,使其更易于企业日常经营活动中进行搜索、过滤和管理,充分激活数据的商业价值。

此外,数据中台匹配和衔接了当前业务与数据间协作的需求,形成价值链闭环。在实现数据接口标准化和在线交互实时化的基础上,集成可快速复用的数据生产力工具或模块,使数据具备敏捷地对外服务的能力,智能服务全流程的部门及人员,使每个层级的员工都能快速制定适合自己的数据决策服务,有效赋能业务决策。

数据中台的核心价值(3/3)改造企业业务流程,升级企业组织架构


传统的作业方式通常呈现“流水线”的特点,往往由业务人员基于行业经验进行流程设计,结合商业套件建立和操作业务系统。数据仅仅是用于监测业务进展和洞察规律的副产物,最终的决策由业务人员进行,因此决策不确定性较强,整个业务流程的迭代速度极慢,很难与当前快速变化的前端应用匹配。而随着数据中台在整个业务链条中的部署和应用,大数据进入决策阶段,企业的业务流程也逐渐快速、扁平化,由原先依赖业务人员经验的流程驱动逐步转向数据驱动
另外,传统企业数据孤岛、业务割裂、资源分配等问题,其根源往往来自于组织架构的分割,尤其当业务需要涉及跨部门协同时,“部门墙”的现象十分严重,甚至出现冲突和制衡。因此数据中台的部署应用既是打通了数据的壁垒,更是打通了部门、事业群间的壁垒,使企业组织灵敏性得到提升。

数据中台的玩家类型:行业集中度较低,市场竞争格局尚未成型


 数据中台行业的主要参与者指帮助下游企业搭建数据中台并提供服务的供应厂商。整体而言,数据中台行业尚处于发展成型的早期阶段,参与者众多但行业集中度较低,尚未形成鲜明的市场竞争格局。

数据中台供应商主要由五类厂商构成:头部互联网企业、数字化解决方案提供商、大数据公司、独立中台开发商及人工智能厂商。市场不断有新玩家进入,各类型的厂商都具有不同的竞争优势,处在占领市场份额、凭借优势领域构建进入壁垒的扩张阶段,与此同时也带来了一些产品区分度低、边界不明、业务混杂等行业乱象。

数据中台的客户画像:有数据基础、多元化经营的各行业头部企业为主要客户


事实上,并非所有企业都需要或适合部署数据中台。是否进行数据中台的建设,与企业所处行业、发展阶段以及自身的数据成熟度和数字化程度等因素相关。对于初创公司以及一些业务较为单一的企业,现阶段实际不存在数据互联互通的问题,则并不适合也并非必须搭建中台,因为数据中台的建设模式较重,建设周期较长,需要投入较高的资金和人力成本,短期内反而不利于这一类企业的快速发展。
我们认为,满足以下至少三种情况的公司适合进行数据中台的部署:

  • 业务场景具备不确定性,迭代速度快,所处市场环境变化快,需要具备快速试错和敏捷反应的能力;
  • ②生态和流程系统复杂,有多条产品线或横跨多种业态,各业务单元间存在功能模块低水平重复建设的问题
  • ③由于事业部等的组织架构,导致数据和信息系统存在互联互通问题,需要打通壁垒进行统一管理
  • ④营收具有一定规模,信息化建设达到一定水平,但信息技术仍对企业发展存在制约,需要进行整体的技术升级、业务重构
  • ⑤对外需要多业态扩张,多消费渠道触达,希望协调整个产业链上下游合作伙伴之间资源

企业案例_阿里云: 推进数智化转型,提供全域营销和分析架构


 基于阿里云的云资源基础设施,在智能数据构建及管理Dataphin平台、智能商业分析套件QuickBI、 QuickAudience产品、智能用户增长、品牌数据银行的支撑下,实现基于消费者标签和模型的人群分析和洞察,实现消费者资产向品牌数据银行的推送和数据资产融合,从而允许品牌在数据银行内进行基于全域消费者洞察的营销活动策划和实现,同时帮助商家实现用户数据与店铺销售数据的融合和分析洞察。

企业案例_元年科技:“管理咨询+软件技术+信息化服务”的一体化解决方案


元年科技是基于人工智能、大数据、云计算、互联网、物联网等新一代信息技术,同时又具有丰富的财务管理、业务运营和行业经验的企业数字化转型软件商和服务商。经过21年的发展,元年已经服务了上千家大型企业集团,成为国内管理会计、财务管理、业务运营、数据分析等专业领域的领导者,对金融、地产、零售快消、装备制造、能源化工、交通物流等二十余个行业有深刻的洞察和丰富的经验。目前,元年已经形成了较为全面的中台整体解决方案,在数据中台常规基础功能模块的基础上还引入了偏向业务建模的适配插件,真正实现业财税一体化的行业解决方案。

企业案例_元年科技:全方位、定制化、可落地的数据中台解决方案


 元年科技数据中台的核心建设包括技术、数据、服务、运营四大体系。通过四套体系的建设,实现架构设计、数据基座搭建、数据标准统一、标签体系输出,进而部署基于不同行业的数据应用、创建可快速复用的通用技术服务和算法模型服务,最后结合业务流程进行数据资产运营流程的搭建和优化,数据质量全面提升,真正达成持续发挥数据价值的目标。

由于数据中台整体实施落地需要双向推进——即一方面从上向下梳理业务需求痛点,规划整体计划,另一方面从下向上结合业务逻辑,梳理企业数据情况——元年提供中台咨询服务,基于应用场景并参考企业特性,规划设计可行性方案、建设路径和投资预算,同时结合数据的管理体系与标准体系,形成切实可落地的实施计划。

数据中台应用的挑战(1/4):企业内外的认知和推广仍面临挑战


 外部市场:市场信息混乱,数字化产品质量参差不齐且界限不明晰

  •  很多数仓、BI可视化等产品都被叫做数据中台
  •  数据中台与传统数据处理软件有一定的功能重合

企业内部:管理者对数据中台一知半解,在没有深入分析企业数据的情况下盲目建设数据中台

  • 数据中台没有起到数据资产建设的功能,反而提高了企业的存储和计算成本

  • 业务人员因为不了解和适应困难而抗拒使用数据中台

  • 建设数据中台成本高、周期长,投资回报率难以量化,决策者要承担落地效果不理想带来的风险

完整说明:

数据中台应用的挑战(2/4): 数据标准化困难、耗时费力


 多数企业在过去的信息化建设过程中,有一些遗留的数据问题待解决:

  • 多源异构的数据需要标准化:企业从不同的角度切入,多点建设了很多单链的业务系统,造成不同系统中架构、标准不一致,同一个项目中生产、运营、营销的数据编码定义不一致。
  • ②各种信息系统积累的数据需要集成打通:数据在保持及时性、准确性和完整性的同时进行PaaS层和IaaS层、各系统之间的集成打通。
  • ③业务数据量大,多源异构数据处理的技术水平要求高。
  • ④各部门数据共享意愿低:部分数据的敏感性、重要性较高,相关部门共享资源的意愿较低。这些问题在客观上阻碍了数据共享、复用的过程。

数据中台应用的挑战(3/4): 技术与业务的融合存在壁垒


中台概念由阿里提出,首先服务于互联网企业内部改革,因此在向各行业推广的过程中不可避免地携带了互联网公司特色的业务属性,例如阿里系中台服务商侧重于从营销场景切入以带动企业全域增长。尽管服务商逐渐形成了优势行业分布竞争的格局,但是数字化转型过程中的企业场景多样,同一行业的业务场景也会因为企业文化、经营模式的差异而有所不同,技术难以融合业务是市场上普遍存在的实际问题:供给方拥有技术能力,缺少业务场景的实际落地经验;需求方服务于场景,需要融合技术以带来切实的效益增长。深入理解业务并将技术成功与场景结合以产生收益是供给端与需求端共同面对的最大挑战。

数据中台应用的挑战(4/4):投资回报率等收益指标难以量化


 一方面,数据中台的成本投入有不确定性。数据中台的建设周期长,投入成本高,随着业务的快速增长,可能造成初期对数据增长的预估错误导致整个建设过程中成本的极大波动。

另一方面,数据中台的回报难以量化。

  • 首先,数据中台输出的是无形的数据能力,这就要求其应对业务有充分的理解,否则企业将难以发挥效用。
  • 其次,不管是使用者还是使用场景都多元而复杂,难以界定数据中台的直接受益。
  • 最后,企业业务日趋敏捷,数据中台对这种敏态提供相应的动态调整需要长时间检验其实际效果。

因此,对于企业而言,存在数据中台选型困难,实施风险大,且投资收益难以量化的问题。

小结:


 1、数据中台:不是简单的一套软件系统或者标准化产品,更多的是一种强调资源整合、集中配置、能力沉淀、分步执行的运作机制

 2、数据中台:由一系列数据组件或模块构成为企业数据治理效率的提升、业务流程与组织架构的升级、运营与决策的精细化赋能

 3、数据中台 VS 业务中台:相辅相成、相互支撑

  • 数据中台:抽象数据能力的共性形成通用数据服务能力
  • 业务中台:抽象业务流程的共性形成通用业务服务能力

4、数据中台建设路径:顶层设计 -> 试点示范 -> 深入应用 -->治理融合

5、数据中台架构:

  • 数据采集:全业务、多终端、多形态
  • 数据存储:DataLake、DW
  • 数据计算:ETL、实时、离线
  • 数据治理:数据标准管理、数据模型管理、元数据管理、主数据管理、数据质量管理、数据安全管理、数据共享管理
  • 数据服务:数据标签、数据目录、数据地图、数据分析、算法模型、服务接口

6、关注案例:阿里云(Dataphin平台)、元年科技;其中元年科技数据中台方案

  • 数据采集:流式采集、数据集成
  • 数据存储:DataLake、DW(ODS贴源模型层、DWD数据明细层、DM数据集市、DWS数据汇总层)
  • 数据处理:
    • 模型开发组件:模型管理、离线技术、实时计算、规则引擎、多维引擎
    • 数据智能组件:知识图谱、NLP、机器学习、模型管理、识音识别
    • 多维业务模型库:市场、营销....
    • AI模型库:回归、分类、聚类、决策..
  • 数据治理:
    • 数据生命周期:数据清理、存储周期、存储地图、信息管理
    • 主数据管理:主数据模型、版本管理、分类管理、主数据展现
    • 数据质量管理:知识库、规则管理、质量监控、问题追溯
    • 数据安全:数据审计、数据监控、脱敏与加密、认证与授权
    • 数据标准管理:标准稽核、标准发布、标准映射、标准管理、数据字典
    • 元数据管理:元数据应用、元数据管理、元模型管理、元数据采集、血缘分析
    • 数据标签管理:标签体系、标签规则、标签共享、标签任务
  • 数据运营平台:
    • 运营监控:系统运维、日志审计、资源监控、行为分析、系统告警、安全告警、运营报表
    • 作业调度:作业管理、任务调度、流程管理、执行监控 

参考资料


标签:业务,白皮书,建设,能力,2021,企业,数据,中台
From: https://www.cnblogs.com/tgzhu/p/16859480.html

相关文章

  • Oracle数据库补丁安装
        1.Oracle数据库的补丁类型及作用  1.1补丁术语介绍Interimpatch/One-offpatch:是我们常说的小补丁,为了修复某(几)个Bug而发布的补丁。这种补丁一......
  • 原创好文!聊聊数据域和主题域的区别
    大家好,我是大D。这篇文章跟大家一起聊下数仓中比较容易混淆的两个概念——数据域、主题域。有的公司对二者的界限并不明显,都统一称为数据域或者主题域;也有的公司两者是区......
  • 数据库安全性
    数据库安全性数据库不安全因素及保护措施1、非授权用户对数据库的恶意存取和破坏——用户身份鉴别,存取控制和视图技术2、数据库中重要或者铭感的数据被泄露——强制存......
  • 数据结构篇——栈和队列
    数据结构篇——栈和队列本次我们介绍基础算法中的栈和队列,我们会从下面几个角度来介绍:栈和队列简述模拟栈模拟队列栈和队列简述首先我们要简单了解一下栈和队列:......
  • Chromium内核浏览器(Edge、Chrome)读取串口数据
    chromium内核89版本以上的浏览才支持域名或IP访问时需要HTTPS,localhost没有限制什么是web串行APIWeb串口API为网站提供了一种阅读和写入带有JavaScript的串行设......
  • 大数据Hadoop之——EFAK和Confluent KSQL简单使用(kafka listeners 和 advertised.list
    目录一、EFAK概述和安装二、listeners和advertised.listeners配置详解三、KSQL使用1)KSQL架构2)Confluent安装(ZK/KAFKA/KSQL)1、下载confluent2、配置环境变量3、创建log和dat......
  • 第六章 数据库和缓存
    1.常见的关系型数据库和非关系型数据库关系型数据库:mysql非关系型数据库:redis mongodb2.mysql常见的数据库引擎和区别引擎INNODB: 支持事务 支持行锁和表锁 速......
  • 读取yaml数据
           路径: ......
  • 数组模拟各类数据结构
    数组模拟各类数据结构 Hash(散列)  并查集   Trie树 堆映射版本堆,Dijkstra需要用到 堆排序  链表  栈与队列......
  • MySQL 创建存储过程,使用 while 批量插入数据
    1、创建带字段的表student(id,name,age)#id整型主建不能为空自动增长#name字符型长度50不能为空#age整型不能为空默认值18mysql>createtablestudent(->i......