首页 > 其他分享 >数仓:分层

数仓:分层

时间:2023-02-11 21:33:05浏览次数:49  
标签:数仓 数据 ODS Warehouse 分层 DWD 维度 Data

  • 数据来源层 ODS(Operation Data Store):数据基本上从源表中拉过来,经过抽取、洗净、传输(ETL)后装入本层,大体上按源业务的分类方式而分类的。
  • 数据仓库层 DW(Data Warehouse):从 ODS 层中获得的数据按照主题建立各种数据模型。
    • 明细层 DWD(Data Warehouse Detail):基于每个具体的业务过程特点,构建最细粒度的明细层事实表。可以结合企业的数据使用特点,将明细事实表的某些重要维度属性字段做适当冗余,即宽表化处理。例如 ODS 层传来的数据中有一个时间字段,但是后续需要分别使用到年月日,所以该层就可以将时间字段转化为年字段、月字段、日字段。
    • 数据中间层 DWM(Data Warehouse Middle):在 DWD 层的数据基础上,进行轻度的聚合操作,生成一系列的中间表。例如统计每天的访问量。如果没有中间表,那么每次需要的时候都要去找 DWD 中的表进行一次聚合。
    • 数据主题层 DWS(Data Warehouse Service):主要是以分析的主题对象作为建模驱动对 DWD 和 DWM 层数据进行聚合统一操作,形成一个宽表。
    • 公共维度层 DIM(Dimension):基于维度建模理念思想,建立整个企业的一致性维度。主要包含两部分数据高基数维度数据(一般是用户资料表、商品资料表类似的资料表)和低基数维度数据(一般是配置表)。
  • 数据应用层 ADS(Application Data Service):存放数据产品个性化的统计指标数据。

数仓分层

标签:数仓,数据,ODS,Warehouse,分层,DWD,维度,Data
From: https://www.cnblogs.com/fireonfire/p/17112620.html

相关文章

  • ByteHouse:基于ClickHouse的实时数仓能力升级解读
     更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群 ByteHouse是火山引擎上的一款云原生数据仓库,为用户带来极速分析体验,能够支撑......
  • springboot的分层结构
    model层:实体类,与数据库中的属性保持一致mapper层:也可以称为DAO层,是数据库CRUD的接口我在学生管理系统中,只是写了这么一句话而已??publicinterfaceSt......
  • 一文详解数仓GaussDB(DWS) 函数出参带出方式
    摘要:本文主要讲解DWS函数出参带出方式。本文分享自华为云社区《​​GaussDB(DWS)功能--函数出参#【玩转PB级数仓GaussDB(DWS)】​​》,作者:譡里个檔。DWS的PL/pgSQL函数/......
  • 数仓
    http://t.csdn.cn/NazpW  离线数仓-伪分布虚拟机(所有组件部署完成,全流程运行成功)(数仓4.0-2.0,CDH)所有组件部署好的镜像下载(在下面),仅供参考学习。(百度网盘,微云下载…)博......
  • 一文详解数仓GaussDB(DWS) 函数出参带出方式
    摘要:本文主要讲解DWS函数出参带出方式。本文分享自华为云社区《GaussDB(DWS)功能--函数出参#【玩转PB级数仓GaussDB(DWS)】》,作者:譡里个檔。DWS的PL/pgSQL函数/存储......
  • 分层图最短路
    板子题双倍经验分层图最短路即为将一平面图建成立体分层的图不同层间用“电梯”相连接具体用途:对于可以选择修改路径长度的最短路能改几次就建几层的电梯也就是说......
  • Dataworks数仓建设基础
    1数仓基本概念1.1数据仓库架构源数据, 数据仓库, 数据应用,具体架构如下:源数据:该部分数据主要是从生产数据库,线下手工数据和日志数据,集成到dataworks中,形成了数仓的第一......
  • 优化数仓业务视图:过滤条件传递
    摘要:在业务功能实现时,经常会用到视图简化查询SQL。但有时候会因为视图降低查询效率,本文主要分析在业务需求满足的情况下,将有效的过滤条件传递到基表,减少运算过程中数据库需......
  • PHP和MySQL处理树状、分级、无限分类、分层数据的方法
    文章标题中的多个词语表达的其实是一个意思,就是递归分类数据,分级数据非常类似数据结构中的树状结构,即每个节点有自己的孩子节点,孩子结点本身也是父亲节点。这是一个递归、分......
  • 火山引擎ByteHouse助力中国地震台网中心,快速构建一站式实时数仓
    更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,并进入官方交流群近日,中国地震台网中心与火山引擎达成合作,双方将围绕ByteHouse实时数仓展开合作。中国地震台......