首页 > 其他分享 >从数据仓库到数据中台再到数据飞轮:数据技术演进的全景解析

从数据仓库到数据中台再到数据飞轮:数据技术演进的全景解析

时间:2024-09-23 13:52:20浏览次数:3  
标签:数据仓库 问题 中台 飞轮 驱动 企业 数据

引言

数据分析每天都在帮助无数组织完成各种任务,从衡量环境、社会和治理影响到创造新的收入来源等。因此,没有建立强大数据文化的公司正感受到压力。越来越多的企业向需要数据驱动方面的帮助。然而,企业的需求通常是掩饰不住的困惑。他们难以明确表达自己的目标,或者不知道从哪里开始。安全、科学、存储、挖掘、管理、定义、删除、集成、可访问性、架构、收集、治理,以及难以捉摸的数据文化,这些都是数据的组成部分。尽管技术上存在诸多复杂性,企业的困惑更多是心态上的。

随着数据技术的飞速发展,企业从最初的数据仓库构建开始,逐步演进至数据中台,如今,数据飞轮的概念逐渐成为现代企业数据战略的核心驱动力。企业的数字化进程离不开数据的积累与处理,而数据仓库、中台与飞轮的技术演变代表了不同阶段数据能力的提升。接下来,就让我们一起将通过对这些概念的回顾与分析,探索数据技术如何助力企业实现更高效的数据驱动决策。


数据仓库的崛起:数据存储与管理的基础

在数据分析的早期阶段,数据仓库的出现是为了集中化管理和存储企业各业务系统的海量数据。数据仓库解决了传统业务系统数据分散、难以统一分析的问题,提供了历史数据存储、查询和分析的能力。这一阶段,企业的数据需求主要是从单一维度进行汇总和报表式分析,数据仓库成为支持这些分析的核心。


数据中台的诞生:打破数据孤岛

随着企业业务复杂度的增加,数据仓库逐渐暴露出无法快速响应业务需求的短板。数据中台应运而生,通过集成企业各个系统的数据,打破了数据孤岛,提供了更加灵活和实时的数据分析能力。数据中台不仅仅是数据存储的中心,还通过提供标准化的数据服务,支持跨部门的快速协作,帮助企业构建了一个敏捷、可扩展的数据分析生态系统。


数据飞轮:加速数据驱动的自循环

当企业的数据基础设施已经成熟后,数据飞轮的概念带来了全新的思维方式。数据飞轮强调通过不断积累和利用数据,让数据产生的价值呈现出自我增强的循环效应。飞轮的加速并不是一蹴而就的,它需要企业从正确的问题出发,逐步获取、整合和分析数据,使数据在组织中的使用越来越广泛、深入,从而推动企业实现真正的数据驱动。

如何驱动数据飞轮?

飞轮模型的关键在于:一旦启动,它的动力会逐渐增加,数据的累积与使用变得更加高效,最终形成一个数据驱动的持续优化循环。因此如何使它转动显得尤为重要。

步骤1:选择正确的问题

企业初步发展的时候,往往专注于实际问题的解决。它们看似没有选择任何问题,没有尝试解决任何数据需求,但实际上它们已经走在正确的道路上。IT高管经常谈论人员、流程和技术是IT战略的基石,但他们有时忘记了所有战略的核心:解决真正的业务问题。在刚开始时,先放下将雇用谁、使用什么工具以及团队将如何协作的担忧,因为这些问题会随着时间的推移自然显现。企业应当抛开幻灯片、电子表格和路线图,真诚地问:我们要解决什么问题?答案不会像想象的那样容易得出,但讨论将是无价的。

团队选择解决的问题,需要具备让飞轮转动的正确元素。首先,这个问题要很紧迫。其次,这个问题要简单(即使它的解决方案并非如此),即很容易解释。第三,它是具体的,要涉及真实的事物,人员、设备以及其他可以看到、听到或感受到的东西。同样重要的是,团队可以指出他们的努力将影响的具体财务项目。最后,这个问题是整个企业都面临的,而非仅仅是管理层的问题。


步骤2:获取正确的数据

一旦确定了值得解决的问题,下一步就是获取需要的数据来解决它。如果已经很好地定义了问题,就会知道需要什么数据,而这正是关键的部分。弄清楚需要什么数据、从哪里获取以及如何管理它将缩小可能构成数据环境的人员、流程和技术的范围。一旦团队确定了问题,就能很快找到合乎逻辑的解决方案。这一洞察告诉他们需要什么数据,这又使团队能够确定获取这些数据所需的人员和资源。每一项工作都是一项重大任务,并在不断演变中。它不仅能够解决眼前的问题,还能为公司的数据环境和随后的数据驱动的举措提供了基础。

知道要获取什么数据为提供了开始选择人员、工具和流程的背景。无论选择哪一种,它们都会通向不可预测的目标,所以试图为数据环境中的每个组件如何与所有其他组件关联绘制一个全景图并从中选择工具包是一个费时且徒劳的过程。相反,针对面前的实际问题和数据来做出选择。因为是在为组织中真实且重要的事物做选择,所以的选择很可能会服务于其他真实且重要的事物。但在这种情况下,将能够指定所需事物的名称、成本和顺序——这些细节将使数据驱动的战略变得现实,并让飞轮转得更快。


步骤3:连接曾经看似无关的点

当开始捕获数据并让飞轮转得更快时,新的机会和数据将显现出来。一方面,数据飞轮优化当前的业务,解决面临的问题,降低成本的同时,也可能会带来新的收入来源。这其中包含两个关键点:

一方面,一开始飞轮转得慢是可以的——只要让它开始转动。吸引哪怕只有几种新的机会或数据类型,都有机会在曾经看似无关的事物之间建立联系。这种模式识别将以指数级速度加快飞轮,并促使一个适当复杂的数据环境围绕它形成。

另一方面,在可以追求的机会中明智选择。并非所有有趣的见解都是有用的;追求那些最有价值和最真实的机会,那些人们可以看到、衡量和感受到的机会。这些机会与繁琐且平凡的重复性组织活动(如汇总影响报告)有很大的重叠。如果能解决这些问题,团队将证明数据在组织变革中所具有的潜力,丰富的数据文化将开始出现,使飞轮以令人敬畏的速度旋转。


步骤4:从原始问题向外扩展

随着公司收集了更多数据及其员工获得了新的见解,企业所面临的问题在范围和复杂性上不断扩大,数据飞轮已经达到可以在公司中驱动数据优先问题解决的速度。随着飞轮加速旋转,将有更多的问题可以选择。优先考虑那些不仅可行且有价值,而且与已经解决的问题在主题上一致的问题。这样,就可以利用先前所建立的动量。企业的数据环境将已经包含已经完成任务所需的许多人和工具。


总结

构建数据战略就像转动飞轮。它是循环的、迭代的、渐进的、永恒的。没有哪条特殊的线一旦跨过就能宣布企业是“数据驱动的”。同样地,也没有必要将数据驱动战略视为一种二元的事物,就像一座正在建设中的建筑物有朝一日会完工。能做的最好的事情就是专注于使用数据来解决那些紧迫的、简单的、具体的和有价值的问题。召集需要的人、流程和技术来解决这些问题。然后,继续下一个,然后再下一个,沿途让一个充满活力的数据生态系统元素出现。数据驱动战略无法凭空创造,只能通过专注于飞轮将其引入。


标签:数据仓库,问题,中台,飞轮,驱动,企业,数据
From: https://blog.51cto.com/u_17009120/12088974

相关文章

  • 初始MYSQL数据库(6)—— 事务
    找往期文章包括但不限于本期文章中不懂的知识点:个人主页:我要学编程(ಥ_ಥ)-CSDN博客所属专栏: MYSQL目录事务的概念 事务的ACID特性使用事务查看支持事务的存储引擎 事务的语法 保存点 自动/手动提交事务事务的隔离性和隔离级别事务的概念 首先,得了解什......
  • 串口环保212设备数据 转profinet IO项目案例
    目录1 案例说明 12 VFBOX网关工作原理 13 测试数采仪的串口数据 24 配置网关采集212设备数据 45 用PROFINETIO协议转发数据 56 案例总结 81 案例说明数采仪通过串口输出环保212的数据,网关通过串口采集数采仪的数据。网关把采集的数据转换成profinetIO从站数据。2 VF......
  • 旅行者之路:数据技术在出行业的不断进化与应用
    在数据驱动业务的当代,出行行业尤其显示出对数据技术的渴求和依赖。从原始的数据仓库到现代的数据中台,以及促进自我增长的数据飞轮,每一步技术进化都显著增强了企业的竞争力和服务质量。本文将聚焦于出行业,探讨数据技术如何使得广告监测、老用户活跃、增长营销及公域获客等业务场景得......
  • hive学习笔记之二:复杂数据类型
    selectperson,friends[0],friends[3]fromt2;执行结果如下,第一条记录没有friends[3],显示为NULL:hive>selectperson,friends[0],friends[3]fromt2;OKperson _c1 _c2tom tom_friend_0 NULLjerry jerry_friend_0 jerry_friend_3Timetaken:0.052seconds,Fetched:2......
  • 智能飞轮:让数据的力量轰轰烈烈
    大数据,这个流行了近十年的词汇,仍在不断地推动着工业革命的车轮,进一步深入到企业运营的每一个角落。从数据仓库的概念普及,到数据湖的战略部署,再到如今日益火热的数据中台,每一步都深刻地影响着企业的决策系统和业务流程。而在这背后,正在形成的一个新概念——数据飞轮,代表了数据技术的......
  • Oracle数据库高级技术解析与实战案例
    Oracle数据库高级技术解析与实战案例引言Oracle数据库作为企业级数据库市场的领导者,凭借其强大的数据处理能力、高可用性、可扩展性以及安全性,在各行各业得到了广泛应用。本文将深入探讨Oracle数据库的高级技术特性,并通过实际代码案例展示其在复杂业务场景中的应用。无论......
  • 开源MySQL 数据库闪回工具:MyFlash数据恢复工具的安装及使用示例
    MyFlash是一个由美团点评开源的MySQL数据库闪回工具,它专门用于回滚MySQL中的DML操作,如INSERT、UPDATE和DELETE。这个工具通过解析MySQL的binlog文件来实现数据的恢复。使用MyFlash前,需要确保MySQL的binlog格式设置为ROW,并且binlog_row_image设置为FULL。以......
  • myflash MySQL数据恢复工具的使用示例:误删除数据恢复和误修改数据恢复两种场景
    以下是myflash数据恢复工具的使用示例,分为误删除数据恢复和误修改数据恢复两种情况:误删除数据恢复:构建测试环境:创建测试数据库和表。假设你已经安装并启动了MySQL服务,登录到MySQL客户端,执行以下语句创建一个名为testdb的数据库和一个名为user的表:sqlCREATEDATABASEtest......
  • 数据驱动的探险之旅:在线教育领域的数据飞轮实践
    在这个被数据驱动的时代,每一次技术的突破都不仅仅是对过去的改写,更是对未来的预测。在线教育,作为一种新兴的教育模式,因其独特的便捷性和高效性,正在迅速改变我们学习的方式。而在这个过程中,从数据仓库到数据中台,再到数据飞轮的演进,无疑是支撑在线教育快速发展的核心技术力量。理解......
  • D15【python接口自动化学习】-python基础之内置数据类型
    day15字典的常见操作(上)学习日期:20240922学习目标:内置数据类型--24常见常新:字典的常见操作(上)学习笔记:字典的内置函数访问字典的内容#访问字典的所有元素mail_list={'tom':'[email protected]','jerry':'[email protected]','john':'[email protected]'}print(mail_li......