首页 > 其他分享 >数仓汇总表的类型汇总

数仓汇总表的类型汇总

时间:2023-08-22 17:56:26浏览次数:36  
标签:数仓 事务 快照 汇总表 记录 汇总 数据 事实

  数仓中表类型有很多,这里罗列一下数仓中各种表的区别及使用场景。

1.拉链表

(1)记录一个实体的所有历史状态变化。

(2)每个状态都有一个起始日期,目前有效的这一条可用很大的日期表示,比如2999-01-01等。

(3)当状态发生变化时,上一条状态的结束日期字段被更新为当前日期。

(4)当需要获取某个历史状态或者进行状态对比时可考虑用这种表。

2.增量表

(1)记录每次增加的量,而不是总量。

(2)只存储一定时间内的增量数据,比如天以内的数据变化。

(3)需定期与全量表进行合并,否则数据容易丢失。

(4)数据采集为了提升效率,减轻源端系统压力,可考虑使用。

3.全量表

(1)每次记录所有数据,不管是否有变化。

(2)为了可以一次性获取所需数据,方便分析,可以考虑采用。

4.快照表

(1)定期采用该表对数据进行定期备份,在需要时进行恢复。

(2)当数据逻辑变化时,可根据当时的历史快照数据进行重刷数据。

(3)这种表比较耗费存储空间,可根据情况保留最近1年的分区。

(4)一般通过时间进行快照设计,比如天快照,月快照。

5.累积快照事实表

(1)事实表的一种,累计快照事实表的主要用于研究事件之间时间间隔。(2)累积快照事实表记录的是不确定周期的数据,覆盖一个产品的生命周期的时间跨度,它通常有多个字段,覆盖多个业务过程的时间。

6.周期快照事实表

(1)事实表的一种,周期快照事实表以具有规律性的、可预见的时间间隔来记录事实,时间间隔如每天、每月、每年等等。

(2)它是属于稠密性质的表,它不管业务过程是否发生,都会记录一条数据。

7.流水表

(1)任何字段修改都会存储一条数据,每个修改记录都存储一条数据,拉链表只针对固定修改的几个维度变化进行存储。

8.事务事实表

(1)是事实表的一种, 事务事实表记录的事务层面的事实,保存的是最原子的数据,也称“原子事实表”。事务事实表中的数据在事务事件发生后产生,数据的粒度通常是每个事务记录一条记录,具有稀疏性质。

 

标签:数仓,事务,快照,汇总表,记录,汇总,数据,事实
From: https://www.cnblogs.com/beststrive/p/17649258.html

相关文章

  • lora芯片PCB电路板影响接受信号的原因汇总
    Lora芯片的PCB板受力接收信号有问题可能有以下原因:电路板设计问题:电路板的设计不合理可能导致信号接收出现问题。例如,电路板的天线布局、走线可能影响到信号的接收效果。在设计电路板时,需要考虑到天线的布局、走线、接地等细节,以确保信号接收的稳定性。电路板受潮或受损:电路板受......
  • lora芯片PCB电路板影响接受信号的原因汇总
    Lora芯片的PCB板受力接收信号有问题可能有以下原因:电路板设计问题:电路板的设计不合理可能导致信号接收出现问题。例如,电路板的天线布局、走线可能影响到信号的接收效果。在设计电路板时,需要考虑到天线的布局、走线、接地等细节,以确保信号接收的稳定性。电路板受潮或受损:电路板受潮......
  • C#,连接数据库字符串汇总
     //-------------------SQLServer连接数据库字符串-------------20161216-----------------------------DataSource=服务器地址;InitialCatalog=数据库名;UserID=sa;Password=sa //-------------------ACCESS连接数据库字符串----------20161216--------------------......
  • 基于Hive数仓实现需求开发
    1、建库建表与加载数据上传到HDFS,即加载数据,可以使用命令行进行上传,还可以直接在网页里面进行上传;在DataGrip软件里面,将tsv文件复制进去,然后将语法转换成Hive语法,并连接Hive;写入建库建表语句;之后利用语句将数据加载到表中;2、ETL数据清洗1、有些字段为空,数据不合法涉及到......
  • 看面经的时候你在想什么?多厂面经汇总来了!
    本文首发自公粽hao「林行学长」,欢迎来撩,免费领取20个求职工具资源包。了解校招、分享校招知识的学长来了!8月中旬了,想必大伙应该投递了不少简历,该笔试的笔试了。那么面试呢?大家都知道,面试是必经过程啊!可比笔试多了一些考验。作为经历过校招的学长,曾经也是一枚面试小白,完全不知道如......
  • PostgreSQL-常用命令汇总
     1. 连接到PostgreSQL数据库:psql-h主机名-p 端口号-U用户名-d数据库名 2. 列出所有数据库:\l 3. 切换到指定数据库:\c 数据库名 4. 查看当前数据库中的所有表:\dt 5. 查看表的结构:\d 表名 6. 执行SQL查询:SELECT *FROM 表名; 7. 创......
  • C++文档入口汇总
    一、C++参考手册(中文)cppreferencehttps://zh.cppreference.com/二、菜鸟教程(中文)https://www.runoob.com/cplusplus/cpp-tutorial.html三、C++的常用库及其文档:标准模板库(STL)提供了许多数据结构和算法,如向量、链表、队列、堆栈、映射和排序算法等。其中文文档链接:https://......
  • Docker 命令汇总
    容器操作查看正在运行的容器:dockerps查看所有容器(包括停止的容器):docker ps -a启动容器:docker start停止容器:docker stop进入正在运行的容器:docker exec -it /bin/bash导出容器为镜像:docker commit删除容器:docker rm镜像操作查看本地镜像列表:docker images拉取镜像:d......
  • 红帽认证RedHat-RHCSA shell的基本应用用户和组管理网络配置和防火墙管理笔记汇总
    shell命令概述Shell作用:命令解释器介于操作系统内核与用户之间,负责解释命令行获得命令帮助内部命令help命令的“--help”选项使用man命令阅读手册页命令行编辑的几个辅助操作Tab键:自动补齐反斜杠“\”:强制换行快捷键Ctrl+U:清空至行首快捷键Ctrl+K:清空至行尾快捷键Ctr......
  • tracer ftrace笔记(20)—— Systrace中tag汇总
    一、视频显示1.HW_VSYNC_ON_XXX(1)类型布尔值,1表示HWVSYNC信号开关被打开,0表示开关被关闭。(2)时机HWVYSNC硬件信号被打开和关闭的时候。(3)解释HW_VSYNC_ON_XXX后面的XXX一般是一串数字,代表的是displayid,如果你的机器有外接了显示器,那么可以通过displayid......