首页 > 其他分享 >实际应用中的数仓分层

实际应用中的数仓分层

时间:2023-03-07 10:11:44浏览次数:39  
标签:数仓 汇总 粒度 分层 应用 维度 数据 事实

1、实际应用中的数仓分层

一般采用四层分层法

 

 数据层具体实现

01、数据源层ODS

 

 数据源层主要将各个业务数据导入到大数据平台,作为业务数据的快照存储。

02、数据明细层DW

 

 

事实表中的每行对应一个度量,每行中的数据是一个特定级别的细节数据,称为粒度。维度建模的核心原则之一是同一事实表中的所有度量必须具有相同的粒度。这样能确保不会出现重复计算度量的问题。

维度表一般都是单一主键,少数是联合主键,注意维度表不要出现重复数据,否则和事实表关联会出现数据发散问题。

有时候往往不能确定该列数据是事实属性还是维度属性。记住最实用的事实就是数值类型和可加类事实。所以可以通过分析该列是否是一种包含多个值并作为计算的参与者的度量,这种情况下该列往往是事实;如果该列是对具体值的描述,是一个文本或常量,某一约束和行标识的参与者,此时该属性往往是维度属性。但是还是要结合业务进行最终判断是维度还是事实。

03、轻度数据汇总层DM

 

 此层命名为轻汇总层,就代表这一层已经开始对数据进行汇总,但是不是完全汇总,只是对相同粒度的数据进行关联汇总,不同粒度但是有关系的数据也可进行汇总,此时需要将粒度通过聚合等操作进行统一。

04、数据应用层APP

 

 数据应用层的表就是提供给用户使用的,数仓建设到此就接近尾声了,接下来就根据不同的需求进行不同的取数,如直接进行报表展示,或提供给数据分析的同事所需的数据,或其他的业务支撑。

标签:数仓,汇总,粒度,分层,应用,维度,数据,事实
From: https://www.cnblogs.com/qinyuanData/p/17187080.html

相关文章

  • 单例模式应用于login-加装饰器
     importrandomdefsingleton(class_):instances={}defget_instance(*args,**kwargs):ifclass_notininstances:instances[cl......
  • 浅谈基于Web的跨平台桌面应用开发
    作者:京东物流王泽知近些年来,跨平台跨端一直是比较热门的话题,Writeonce,runanywhere,一直是我们开发者所期望的,跨平台方案的优势十分明显,对于开发者而言,可以做到一次开......
  • Java应用【XV】使用Java中的TensorFlow来构建和训练机器学习模型
    如果您觉得本博客的内容对您有所帮助或启发,请关注我的博客,以便第一时间获取最新技术文章和教程。同时,也欢迎您在评论区留言,分享想法和建议。谢谢支持!一、引言1.1TensorFlow......
  • 跨端开发新选择:Flutter与FinClip,让应用开发更高效、更实用
    为什么说flutter是一个强大的跨端框架?Flutter是一个基于Dart编程语言的移动应用程序开发框架,由Google开发。它的强大之处在于它可以快速构建高性能、美观、灵活的跨平台......
  • 如何使用JDBC将Cordova应用程序连接到MySQL数据库?
    不建议使用JDBC直接将您的Cordova应用程序连接到MySQL数据库,因为它会带来安全风险.移动设备通常受到安全漏洞的约束,并且从移动应用程序连接到数据库会增加暴露敏感信息的风......
  • 小程序容器作为软件中间件技术的应用前景
    随着移动互联网的不断发展,越来越多的应用程序被广泛应用于各种行业和领域中。然而,不同的平台和设备之间的差异性和复杂性,给应用程序的开发和部署带来了很大的挑战。这时,小......
  • Apache安装与配置应用
    一、Apache安装1.Apache简介Apache即阿帕奇是一款开源的、世界使用排名第一的Web服务器软件,其特点是简单高效、稳定安全所以被广泛应用于计算机技术的各个领域,但现在由......
  • 计讯物联5G千兆网关TG463赋能无人船应用方案,开启自动巡检的智能模式
    方案背景水电站、水库、堤坝等水利工程水下构筑物常年处于水下,并在复杂的水流环境下运行,难免会出现磨蚀、露筋等损伤,而传统的安全监测方式一般是通过潜水员检查上层水柱或......
  • 剩余电流动作继电器的应用探讨
    安科瑞陈盼摘要:据了解,我国每年剩余电流动作继电器(RCD)的使用量超过2.7亿台,属于CCC认证产品,广泛应用于住宅、办公、商业、酒店、学校等民用建筑和数据中心及工业场所。现在剩......
  • Servlet Context应用
    ServletContextweb容器在启动的时候,它会为每个web程序都创建一个对应的ServletContext对象,代表了当前的web应用一、共享数据:一个Servlet中保存的数据,可以在另外一个Ser......