首页 > 其他分享 >数据仓库架构

数据仓库架构

时间:2024-03-19 11:33:18浏览次数:19  
标签:架构 ADS ODS 数据仓库 维度 数据 宽表

 

 

1、数据仓库ODS层

数据仓库ODS层也称为操作数据源层,是数据仓库中的一个核心组成部分。该层主要用于保存原始数据,完成数据积存,通常反映了企业业务系统中的最新操作,同时也是进行数据仓库的基础。

数据仓库ODS层通常采用可靠的数据仓库ETL工具为数据仓库提供数据,以此使源数据和数据仓库之间保持同步。同时,数据仓库ODS层的数据被保存在磁盘中,直接体现了数据仓库的一个特性——非易失性(完整参见文章《数仓扫盲系列(1):数据仓库之基本概述》),即在停机或崩溃的情况下,数据不会丢失。

2、数据仓库CDM层

CDM层是指公共维度模型层,是数据仓库中最核心和最关键的一层。主要用于提供标准化、共享的维度模型,为数据分析提供便利。CDM层通常包括数据明细层(DWD)和数据汇总层(DWS)两个部分。

DWD层指数据明细层

通常接收数据仓库ODS层的原始数据,并进行清洗、标准化、维度退化、异常数据剔除等操作,进行统一处理,为数据分析提供支持。DWD层一般按照业务主题建模,包含多个维度和事实表,维度表可以用来描述业务数据的特征,而事实表则包含了关键数据指标(如销量、价格等)。维度退化。依然是3NF,只是做了退化。

 

DWS层指数据汇总层

其主要作用是通过聚合和汇总,将DWD层中的数据按照主题进行汇总,形成宽表,进而提升数据分析性能。DWS层通常包含多个宽表,每个宽表都是由多个事实表和维度表经过聚合和分组运算生成的。DWS层中的宽表可以满足特定主题和不同维度的分析需求,减少了对其他表的操作,提升数据分析性能。

 

 

3、数据仓库ADS层

ADS层也称为数据应用层,其主要功能是保存DWS层分析结果,为外部系统提供查询接口,基于数据仓库的数据为企业提供增值应用,并将数据仓库的数据应用于企业决策、报表、分析、控制等领域。ADS层通常采用OLAP(Online Analytical Processing)技术,用于快速访问和查询数据。可能是不同的数据库类型,满足不同的场景

ADS层一般包括多个宽表,用于支持与企业应用有关的查询、分析、报告、控制、决策等操作。这些宽表一般可以通过BI工具或自定义应用程序查询和访问,以满足企业的各种数据需求。为了提高访问和查询速度,ADS层通常使用数据索引、缓存和预聚合等技术。

有时为了更好地管理和维护数据仓库,可以将ADS层从数据仓库中独立出去,成为一个独立的数据集市层(Data Mart)。数据集市层专门为某一特定业务需求而建立,可以基于某一个特定的主题或者某个业务领域建模,以满足该领域的数据分析和查询需求。

 

 

 

标签:架构,ADS,ODS,数据仓库,维度,数据,宽表
From: https://www.cnblogs.com/wudequn/p/18033104

相关文章

  • Mysql之innodb架构
    Innodb存储引擎的架构内存结构BuferPool缓冲池是主内存中的一个区域,里面可以缓存磁盘上经常操作的真实数据,在执行增删改查操作时,先操作缓冲池中的数据(若缓冲池没有数据,则从磁盘加载并缓存),然后再以一定频率刷新到磁盘,从而减少磁盘IO,加快处理速度。缓冲池以Page页为......
  • 计算机毕业设计-基于Java+SSM架构的学生综合考评管理系统项目开发实战(附论文+源码)
    大家好!我是职场程序猿,感谢您阅读本文,欢迎一键三连哦。......
  • 【详细带你了解软件系统架构的演变】
    带你了解软件系统架构的演变`1.介绍``2.传统的单体架构(MonolithicArchitecture)``3.分层架构(LayeredArchitecture)``4.客户端-服务器架构(Client-ServerArchitecture)``5.服务导向架构(Service-OrientedArchitecture,SOA)``6.微服务架构(MicroservicesArchitecture)``7......
  • 谈谈我对微服务架构的理解&微服务架构有什么作用
    一、谈谈我对微服务架构的理解 微服务架构,一种在现代化软件开发中广泛应用的架构模式,其核心理念在于将大型的、复杂的应用程序拆分为一系列小型的、松耦合的服务。每个服务都围绕着特定的业务功能或领域组件进行构建,并独立地运行在自己的进程中。这些服务通过轻量级的通信机......
  • 2024年企业架构TOGAF认证培训
    企业架构TOGAF培训简介TOGAF证书介绍企业架构可依据业务战略形成顶层设计,帮助企业形成数字化规划。目前,业界最有名的企业架构框架是TOGAF(TheOpenGroupArchitectureFramework)。TOGAF由国际标准权威组织TheOpenGroup制定。TheOpenGroup于1993年开始应客户要求制定系......
  • 浅聊openGauss体系架构
    浅聊openGauss体系架构2020年7月openGauss刚刚开源,我便开始对openGauss数据库的学习。根据以往学习数据库的经验,最先想了解的是openGauss数据库的架构,希望对即将使用的数据库各个模块有所了解。但鉴于时间有限,仅有的资料图是源码doc目录内的“openGauss逻辑结构图......
  • 浅聊openGauss逻辑架构
    浅聊openGauss逻辑架构概述openGauss数据库是一款由华为主导、各个生态合作伙伴共同建设的开源关系型数据库管理系统,开源发行协议遵从木兰宽松许可证v2。openGauss数据库源于PostgreSQL-XC项目,内核源于Postgres9.2.4,总代码量约120W行,其中内核代码约95W行。华为结......
  • 全新架构!日志服务 SLS 自研免登录方案发布
    知乎:灵亦引言很多用户在使用日志服务SLS时,采用STS这种免登的方式,能够快速将日志服务的页面集成到三方的系统中。STS模式是非常经典且成熟的免登方案,它的优点非常多,例如:能够充分利用阿里云账号RAM体系、能够通用地集成支持STS模式的所有云产品、支持客户自定义访问权限......
  • 综合架构学习笔记-4-NFS
    综合架构学习笔记-4-NFS1.NFS是什么?存储,部署这个软件可以实现客户机可以访问远程服务器共享资源2.优点缺点优点:免费配置方便满足做架构方案缺点:使用明文传输不安全3.nfs使用场景1.做负载均衡会用到2.数据备份实战部分4.生产部署实战---重点存储:10.0.1.1......
  • 架构知识-编程语言的演进
    架构学习-编程语言的演进前言什么是冯·诺伊曼结构中央处理器存储器输入输出设备汇编语言编程范式的进化1、过程式2、函数式3、面向对象参考架构学习-编程语言的演进前言这里开始来尝试了解下架构层面的知识。什么是冯·诺伊曼结构冯·诺伊曼结构(英语:V......