首页 > 其他分享 >从数据仓库到数据中台再到数据飞轮:金融行业的数据技术进化史

从数据仓库到数据中台再到数据飞轮:金融行业的数据技术进化史

时间:2024-09-16 17:52:11浏览次数:3  
标签:数据 数据仓库 业务 中台 飞轮 金融

前言

大家好,我是一名大数据开发工程师,在金融行业深耕多年,其实数据技术的演进不仅是技术层面的革新,更是业务模式与决策方式的深刻变革。从最开始的数据仓库兴起,到数据中台的普及,再到数据飞轮的出现,每一步都见证了金融行业对数据价值认知的深化和利用能力的提升。下面我将以我所了解到的知识来讲一讲金融行业的数据技术进化史。

数据仓库:奠定数据基础

数据仓库这个概念,其实是由数据仓库之父Bill Inmon在1991年出版的“Building the Data Warehouse"定义且被广泛接受的——面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决策。从定义上来看,数据仓库的关键词为面向主题、集成、稳定、反映历史变化、支持管理决策,而这些关键词的实现就体现在分层架构内。

分层架构怎么分层呢?市面上主流的分层方式太多了,其实从核心思想上分可以分为ODM贴源层、SDMQ标准层、FDM主题层、ADM应用层,如下图所示:


从数据仓库到数据中台再到数据飞轮:金融行业的数据技术进化史_迭代



在数据仓库阶段,金融行业主要依赖于IBM、Oracle、Teradata等厂商提供的整体解决方案。然而,随着数据量的进一步爆炸和业务需求的多样化,数据仓库逐渐显露出其局限性。它虽然能够存储和管理大量数据,但在数据处理的实时性、灵活性和效率方面难以满足日益增长的需求。

数据中台:数据价值的深度挖掘

正是在这样的背景下,数据中台应运而生。前面提到数据仓库的核心是分层架构,那么数据中台的核心就是四化,即业务数据化、数据资产化、资产服务化和服务业务化。因为数据量的进一步爆炸和业务需求的多样化,所以出现了数据中台,数据中台是如何解决这一现象呢?

下面这张图是数据中台的逻辑架构图,可以看到数据中台其实是将数据服务化之后提供给业务系统,目标是将数据能力渗透到各个业务环节,不限于决策分析类场景。这种架构可以加快数据赋能业务的速度,为业务提供速度更快、更多样的数据服务。

从数据仓库到数据中台再到数据飞轮:金融行业的数据技术进化史_迭代_02


金融行业其实已经步入了智能化的金融科技3.0时代,我认为智慧中台是智慧金融的新基础设施,金融行业想要实现四化的核心可以先理清金融机构自身的数据资产,梳理好机构内的数据资产后需要对数据的标准、口径等进行统一,最后再向相关部门提供数据服务。

数据飞轮:构建数据消费的正循环

什么是数据飞轮呢?数据飞轮是今年大模型带火的一个词汇,核心其实就是通过客户在应用程序中输入的提示词这样的数据反馈,使大模型快速迭代。通俗一点就是,好的产品

从数据仓库到数据中台再到数据飞轮:金融行业的数据技术进化史_迭代_03


虽然现在数据飞轮很火,但是想要在金融行业落地还是有很多挑战的,比如金融行业科技技术人才占比较少,难以支撑数据飞轮落地以及后续的迭代、更新;难以将数据形成资产纳入报表或财务体系,因为无法预估数据的价值形成整套的定价,也缺乏相应的质量管控体系等。

总结

从数据仓库到数据中台再到数据飞轮,金融行业的数据技术演进历程不仅见证了数据价值的不断挖掘和利用,也推动了业务模式的深刻变革和创新发展。在未来的发展中,我相信数据飞轮肯定能完美的在金融行业实现落地,助力企业业务持续增长和自我增强的循环。

标签:数据,数据仓库,业务,中台,飞轮,金融
From: https://blog.51cto.com/u_15125209/12031792

相关文章

  • 从数据仓库到数据中台再到数据飞轮:数据技术的进化之路
    ......
  • 金融行业中如何利用数据中台的数据来有效的驱动业务决策呢?
    前言在金融行业中,利用数据中台的数据来有效驱动业务决策是一个复杂而关键的过程。其实我们的核心就是帮助金融机构最大化数据中台的价值,并推动业务决策的科学性和准确性。本文我从技术的角度来剖析一下这一过程。什么是数据中台?数据中台的概念最早是阿里巴巴提出的,是为了应对像双十......
  • 多组列表共同表达同一数据 scratch 20240916_170510
    需求如果点击空格就会产生一个克隆体克隆体会随机位置克隆体它会有自己的id同时克隆体会有自己的座标要求我们使用三个列表分别记录他们的id,x,y坐标同时如果点击了某一个克隆体那么就从列表中把它相对应的一组数据删除功能克隆体的id三个列表一个列表存id一个列表......
  • Network成功接收数据但与控制台打印不一致
    今天尝试和后端进行数据对接时发生了一个匪夷所思的问题(万恶的控制台)描述前端可以给后端正常发送请求,后端可以接收到正确数据并根据业务流程进行处理,但前端使用控制台打印时与后端返回的数据不一致(没关注Network的返回结果)。后端使用Postman发送请求进行测试却一切正常,可以正......
  • 分布式数据库中间件:MyCat 和 ShardingSphere
    分布式数据库中间件用于实现分库、分表、分片、分布式事务、读写分离等。本文是调查MyCat和ShardingSphere两款中间件的一些信息汇总。 本文时间:2024年9月。 MyCatMycat数据库分库分表中间件。ben发布于博客园http://www.mycat.org.cn github-Mycat1http......
  • java+vue计算机毕设大数据背景下大学生个性化学习系统的构建【源码+开题+论文+程序】
    本系统(程序+源码)带文档lw万字以上文末可获取一份本项目的java源码和数据库参考。系统程序文件列表开题报告内容研究背景随着信息技术的飞速发展,大数据已成为推动社会进步与产业升级的重要力量。在教育领域,大数据技术的应用正深刻改变着传统的教学模式与学习方式。当前,高......
  • Jina AI 发布 Reader-LM-0.5B 和 Reader-LM-1.5B:为网络数据处理提供多语种、长语境和
    JinaAI发布的Reader-LM-0.5B和Reader-LM-1.5B标志着小语言模型(SLM)技术的一个重要里程碑。这些模型旨在解决一个独特而具体的挑战:将开放网络中原始、嘈杂的HTML转换为干净的标记符格式。这项任务看似简单,却面临着复杂的挑战,尤其是在处理现代网络内容中的大量噪音......
  • 数据飞轮:激活数据中台的数据驱动引擎
    在数字化转型的浪潮中,企业面临着如何有效利用海量数据驱动业务增长的挑战。数据中台,作为企业数据集成和分析的关键基础设施,往往未能充分发挥其潜力,成为数据的沉睡之地。数据飞轮作为一种新兴的数据驱动模型,提供了唤醒数据中台并实现数据流动的新思路。本文将探讨数据飞轮的概念、构......
  • 数据的容器 列表 scratch 20240916_155811
    什么是列表列表是数据的容器创建列表列表添加内容清空内容查找数据根据位置查找数据修改数据删除数据根据下标删除数据遍历所有数据让主角依次把所有的数据都说一遍......
  • 数据技术的进化史:从数据仓库到数据中台再到数据飞轮
    数据技术介绍:1.数据仓库(DataWarehouse)概念与起源:数据仓库是20世纪90年代初期兴起的一种数据管理和分析技术。它的核心思想是将来自不同源系统的数据集成到一个中央存储库中,以便进行高效的数据分析和报告。主要特点:集成性:将分散在不同系统中的数据进行清洗、转换和集成。主题性:数......