首页 > 其他分享 >数据分层 ODS DW DM层级.241203

数据分层 ODS DW DM层级.241203

时间:2025-01-03 16:37:26浏览次数:1  
标签:DM 层中 241203 ODS 汇总 DW 数据

在数据仓库的设计过程中,数据分层是一种重要的组织方式,能够提高数据处理效率和数据质量。数据分层通常包括原始数据(Operational Data Store,ODS)、明细数据(Data Warehouse,DW)和汇总数据(Data Mart,DM)三个层级。下面将详细介绍这三个层级的作用以及如何优雅地设计它们。

一、原始数据层(ODS)

原始数据层是数据仓库的第一层,也是最基础的一层。它主要存储从各个业务系统抽取出来的原始数据,这些数据通常是实时的、未经过处理的。在 ODS 层中,我们需要重点关注以下几个方面:

  • 数据实时性:确保 ODS 层中的数据能够实时地反映业务系统的最新状态。
  • 数据一致性:确保 ODS 层中的数据与业务系统中的数据一致。
  • 数据冗余:由于 ODS 层中的数据直接来自于业务系统,因此可能存在大量的数据冗余。我们需要对数据进行去重或者采用其他方式来减少冗余。

二、明细数据层(DW)

明细数据层是数据仓库的第二层,它从 ODS 层中抽取数据,并进行清洗、转换和整合。DW 层中的数据通常是以日、周、月等时间粒度进行汇总的。在 DW 层中,我们需要重点关注以下几个方面:

  • 数据清洗:对 ODS 层中的数据进行清洗,去除异常值、缺失值等不良数据。
  • 数据转换:对 ODS 层中的数据进行转换,将业务系统的数据转换为适合数据分析的形式。
  • 数据整合:将 ODS 层中的数据进行整合,将分散的数据整合为完整的数据。

三、汇总数据层(DM)

汇总数据层是数据仓库的第三层,它从 DW 层中抽取数据,并进行汇总和分析。DM 层中的数据通常是按照分析需求进行汇总的数据,例如按照地区、时间等维度进行汇总。在 DM 层中,我们需要重点关注以下几个方面:

  • 数据汇总:按照分析需求对 DW 层中的数据进行汇总。
  • 数据挖掘:在 DM 层中进行数据挖掘和分析,发现数据中的规律和趋势。
  • 数据可视化:将 DM 层中的数据进行可视化处理,以便于决策者进行决策。

总结

优雅地设计数据分层 ODS DW DM层级是构建高效、高质量的数据仓库的关键之一。在设计过程中,我们需要关注数据的实时性、一致性、冗余、清洗、转换、整合、汇总和分析等方面,确保每一层的数据都能够满足其对应的需求。同时,我们还需要考虑如何优化数据的存储和访问方式,以提高数据处理效率和数据质量。

标签:DM,层中,241203,ODS,汇总,DW,数据
From: https://www.cnblogs.com/amadeuslee/p/18650365

相关文章

  • 3dmax 编辑界面中材质显示与渲染后效果差异很大
    在3DMax中,编辑界面中给物体添加材质后显示的颜色与渲染出的颜色差异很大,这通常是由多种因素导致的。以下是一些可能的原因及相应的解决方法:1.灯光的影响原因:即使没有手动添加任何灯光,3DMax中也有默认灯光(场景灯光)开启。当对象直接被灯光照射到,其颜色表现可能会与材质球......
  • 浅谈以 Oracle 为基准,GaussDB、达梦数据库(DM)和 PostgreSQL 的差异以及信创前景
    随着国内信息技术的快速发展,尤其是在“信息技术自主可控”(即信创)政策的推动下,国内企业和政府部门逐渐对数据库技术提出了自主可控的需求。尤其在数据库领域,国产数据库技术的崛起,正逐步替代传统的国际主流数据库系统(如Oracle等),成为我国数字化转型和数据安全战略中的关键一环。本......
  • dst-admin.jar 项目部署和相关配置
    命令执行在Ubuntu系统上按顺序执行以下命令:sudoapt-getupdate#更新软件源sudoapt-getinstall-yopenjdk-8-jdk#安装openJDK1.8java-version#查看版本,显示"openjdkversion"1.8.0_252"就表示安装完成wgethttp://clouddn.tugos.cn/release/dst-admin-1.5.0.......
  • HDMI不同分辨率下的时钟频率是多少?
    HDMI不同分辨率下的时钟频率是多少? 摘要:进行EMC整改的时候,为了快速找到相应频率点,我们需要熟记常用端口协议的EMI干扰频率,如下就针对HDMI的频率进行介绍。HDMI作为一种高清晰度多媒体接口,在现代电子设备中被广泛应用。其工作频率范围较宽,...  进行EMC......
  • 基于zynq在linux下的HDMI实战
    ZYNQ系列文章目录第一章:基于zynq在linux下的phy调试记录第二章:qemu制作ubuntu文件系统第三章:基于zynq在linux下的AXI-CAN实战第四章:基于zynq在linux下的HDMI实战文章目录ZYNQ系列文章目录前言一、vivado中HDMI的配置1.1IP核准备1.2vivadoDiagram配置1.3SDK配置......
  • Podman 安装 harbor
    看了官方文档,harbor无法直接支持Podman,于是尝试手工部署,理论上无容器环境也可以部署,只需要将其中的关系和相关配置文件梳理清楚。手工过程确实很繁琐,没那个耐心还是用官方推荐的方式进行吧。初始化安装podman我部署的操作系统是用的Debian,差异的地方我认为就仅安装podman的方式......
  • 串口DMA配置错误笔记 —— 已解决
    一、DMA发送        1、配置问题        2、发送问题二、DMA接收        1、配置问题        2、接收问题一、DMA发送1、配置问题    使用DMA发送时需要将DMA配置成内存到寄存器搬运,关闭寄存器的地址增长,如果要搬运的多个字......
  • Django Admin 中实现动态表单:无 JavaScript 解决方案
    引言在开发Web应用时,我们经常需要创建动态表单,即根据用户的输入动态更新其他字段的选项。通常,这种功能会使用JavaScript来实现。但是,在某些情况下,我们可能希望避免使用客户端脚本,而完全依赖服务器端逻辑。本文将介绍如何在DjangoAdmin中实现这样的动态表单,而无需使......
  • 解决 podman 容器无法在宿主机和容器内部相互访问问题的记录
    解决podman容器无法在宿主机和容器内部相互访问问题的记录近期在使用podman时,遇到了容器无法在宿主机和容器内部相互访问的问题。经过一番探索,参考了这篇文章,成功解决了该问题。在此,我将分享解决过程及一些特别需要注意的事项。一、配置过程首先,整个操作一定要在PowerShe......
  • Python how to use dmPython
     importdmPythondefconnect_dm_database():#数据库连接参数password='xxxxxxxxxx'#数据库密码server='127.0.0.1'#数据库服务器IPport=5236#数据库端口号,默认为5236try:#连接到达梦数据库con......