首页 > 其他分享 >数仓建模:如何有效构建DWB/DWM层? | 基于案例实战分析

数仓建模:如何有效构建DWB/DWM层? | 基于案例实战分析

时间:2024-09-05 09:52:09浏览次数:4  
标签:数仓 DWS DWB 案例 构建 数据 DWM

目录

0 为什么要构建DWB层?

1 DWB层功能及定义

2 DWB/DWM层如何实现?

3 项目案例实战

3.1 案例1:订单明细事实宽表构建

3.2 案例2:工单事实表指标分析

4 小结


0 为什么要构建DWB层?

该层可以理解为DWS层逻辑的优化和沉淀,如果直接放到DWS层则会使得DWS层变得代码逻辑很复杂,不好维护,因此抽象出数据中间层(DWB/DWS)将DWS层公共的逻辑进行抽象和沉淀,提前将聚合之前的一部分操作放到DWB层或者DWM中去实现。

1 DWB层功能及定义

DWB层又叫基础数据层或数据中间层,这一层可以理解为实体建模,主要基于某些对象,进行数据的整合,一般为了最终的聚合提前对数据做一些准备。与DWD层主要区别在于DWD层功能定义为数据清洗层,主要进行ETL,和ODS层数据粒

标签:数仓,DWS,DWB,案例,构建,数据,DWM
From: https://blog.csdn.net/godlovedaniel/article/details/141897593

相关文章

  • 详解数仓的3A安全能力
    本文分享自华为云社区《GaussDB(DWS)3A安全能力》,作者:yd_281561943。1.前言适用版本:【8.0.0(及以上)】数据库安全是指保护数据库以防止未授权用户窃取、篡改和破坏数据库中数据信息的技术。数据库安全技术可以简单分为3个A:Authentication(认证):认证解决让谁进来的问题(进门)Authori......
  • 招联金融基于 Apache Doris 数仓升级:单集群 QPS 超 10w,存储成本降低 70%
    在竞争激烈的消费金融市场中,有效利用海量数据、提升业务运营效率是赢得市场的关键。早期招联采用典型的Lambda架构提供业务报表、数据运营、个性推荐、风险控制等数据服务,而Lambda过多的技术栈也引发了数据孤岛、查询效率不足、代码复用性差以及开发运维成本高昂等诸多问题。因......
  • 数仓之TABLESAMPLE采样
    前言在日常工作中,我们会对表中记录随机抽样然后探查,如何进行抽样就是本章要讲的重点。数仓中的抽样方法有很多,这里主要介绍一下:随机抽样、块抽样、桶抽样、分组抽样这四种,话不多说,直接上干货。随机抽样随机抽样就是给每行数据赋值一个随机数,排序之后进行抽样,主要分为:or......
  • WPF 模拟UWP原生窗口样式——亚克力|云母材质、自定义标题栏样式、原生DWM动画 (附我封
    先看一下最终效果,左图为使用亚克力材质并添加组合颜色的效果;右图为MicaAlt材质的效果。两者都自定义了标题栏并且最大限度地保留了DWM提供的原生窗口效果(最大化最小化、关闭出现的动画、窗口阴影、拖拽布局器等)。接下来把各部分的实现一个个拆开来讲讲。一、使用窗口材质特......
  • 【精选】基于大数据的___银行信用卡用户的数仓系统的设计与实现(全网独一无二,最新定制)
    目录: 关键技术介绍 PYTHON语言简介大数据介绍 MySql数据库DJANGO框架 Hadoop介绍Scrapy介绍B/S架构 系统的设计系统总功能模块设计系统测试系统测试的目的软件测试过程6.3测试用例参考代码:为什么选择我:博主介绍:✌我是阿龙,一名专注于Java技术领域的......
  • 实时数仓方案五花八门,实际落地如何选型和构建!(转载)
    原文链接:https://cloud.tencent.com/developer/article/2167527【作者介绍】王磊,阿里云MVP,华院计算技术总监。著有:《图解Spark大数据快速分析实战》;《offer来了:Java面试核心知识点精讲(原理篇)》;《offer来了:Java面试核心知识点精讲(架构篇)》。编辑|韩楠约4,989字|10......
  • 参加阿里云实时数仓Hologres动手操作,赠送博客园T恤
    这是8月份园子和阿里云的第2期推广合作,招募100人参加阿里云实时数仓Hologres动手操作,有效完成动手操作的前100人赠送1件原价79元的博客园T恤,如果不需要T恤,也可以选原价不高于79元的其他周边。活动官网:https://developer.aliyun.com/topic/yunduanwendao/hologres_internal参......
  • 如何用sql在1分钟从1T数据中精准定位查询?Hive离线数仓 Spark分析
    最近在一个群里,从群友哪里了解到这样一个业务需求:如何在hdfs  1T源数据库中,1分钟内从其中抓取自己想要的数据?我的理解是:在hdfs数据库中为拥有 尽1T数据的表创建索引,并对其进行性能优化,以实现1分钟精准查询数据的目的  想要实现其实有点繁杂,可以使用多种工具和技......
  • 离线数仓之Hive的基础操作
    Hive简介hive是基于Hadoop的一个数据仓库工具,用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,能将SQL语句转变成MapReduce任务来执行。Hive的优点是......
  • Flink 实时数仓(十)【DWS 层搭建(四)交易域汇总表创建】
    前言    今天完成DWS层交易域剩下的两个指标,估计一早上就完了,这两个需求用到的知识点和昨天的需求差不多;1、交易域省份粒度下单各窗口汇总表1.1、思路分析        这个需求是比较简单的,province_id字段是订单表中的字段,在DWD层的下单事务事实表中我们......