首页 > 其他分享 >数仓建模—建模方法论之Data Vault 建模

数仓建模—建模方法论之Data Vault 建模

时间:2024-04-06 15:03:42浏览次数:17  
标签:数仓 模型 数据仓库 建模 企业级 Vault Data

数仓建模方法论—Data Vault 建模

除了 Kim ball 的维度建模理论, Data Vault 也是数据仓库建模的一种方法,最早由Dan Linstedt在20世纪90年代提出,主要应用于企业级数据仓库建模。

不同于三范式数据仓库模型、维度模型,Data Vault模型主要用于存储来自多个业务系统的完整的历史数据。它不区分数据在业务层面的准确与否,装载数据也不做验证和清洗。

Data Vault建模方法显式地将结构信息和属性信息分离, 能够还原业务环境的变化。 Data Vault允许并行数据装载,不需要重新设计就可以实现扩展。Data Vault是面向细节的,可追踪历史的,一组有连接关系的规范化的表的集合。 这些表可以支持一个或多个业务功能。

它是一种综合了第三范式(3NF)和星型模型优点的建模方法。 其设计理念是要满足企业对灵活性、 可扩展性、 一致性和对需求的适应性要求, 是一种专为企业级数据仓库量身定制的建模方式

Data Vault 模型定义

按照Dan Linstedt的定义,Data Vault模型是面向细节的、可追踪历史的、一组有连接关系的规范化的表的集合。它综合了三范式建模和星型模型的优点,其设计理念是满足企业对数据模型灵活性、可扩展性、一致性和对需求的适应性要求,是专门针对企业级数据仓库需要的一套建模方法。

Data Vault模型只按照业务数据的原始状态存储数据,不做任何过滤、清洗、转换,比如:同一客户在不同系统有不同地址,Data Vault模型会存储多个不同版本的客户地址数据。

Data Vault 模型特点

    标签:数仓,模型,数据仓库,建模,企业级,Vault,Data
    From: https://blog.csdn.net/king14bhhb/article/details/137352593

    相关文章

    • 【MATLAB 仿真】Model Predictive Control (1)、简单建模 【新加坡南洋理工大学 Nanyang
      一、1个简单的连续时间模型ASimpleContinuous-timeModel:1个简单的连续时间系统,使用状态空间模型进行表示:和标准型进行对比,得到模型参数二、MATLAB仿真代码MatlabSimulationCode:Ac=[010;301;010];Bc=[1;1;3];Cc=[010];Dc=zeros(1,1);......
    • 36. 关于 SAP ABAP OData 服务如何实现 Deep Insert 场景 - SAP 应用的标准行为
      有朋友在知乎上向我咨询:OData更新多表数据的时候,可以做多层级结构的entity吗?多层的时候etag怎么做?比如我要更新表1.2.3。分别是header级别以及子层级别以及子层的子层。调用元调用一次会把三层的数据都给我们。如果put不可以做,一般odata这种怎么做。请赐教。......
    • ETL工具之datax
      一、datax介绍DataX是由阿里巴巴集团开发的开源数据同步工具,用于实现大数据集群内数据的离线同步。它主要用于数据仓库的数据导入和导出,如将关系型数据库中的数据导入到Hadoop集群中,或者将Hadoop集群中的数据导出到关系型数据库中。DataX的主要特点包括:可扩展性:DataX支持多......
    • Docker 安装 Linux 系统可视化监控 Netdata
      docker安装netdata前提准备Docker两种方式部署Netdata1、使用dockerrun命令运行netdata服务2、使用dockercompose运行netdata服务Netdata服务可视化界面Netdata汉化处理前提准备说明:此处使用windows11安装的dockerdesktop&wsl2/apline环境......
    • 【爬虫】debug篇-关于fake_useragent无法使用:Error occurred during loading data. Tr
      Erroroccurredduringloadingdata.Tryingtousecacheserverhttps://fake-useragent.herokuapp.com/browsers/0.1.11Traceback(mostrecentcalllast):File"D:\python\lib\site-packages\fake_useragent\utils.py",line154,inloadfori......
    • 【安全技术系列】-- 威胁建模①
      在数字威胁不断演变的时代,了解和降低网络安全风险对各种规模的组织都至关重要。威胁建模作为安全领域的一个关键流程,提供了一种识别、评估和应对潜在安全威胁的结构化方法。本文将深入探讨威胁建模的复杂性,探索其机制、方法、实际应用、优势和挑战。一、什么是威胁建模,为什么......
    • ETL工具-nifi干货系列 第八讲 处理器PutDatabaseRecord 写数据库(详细)
      1、本节通过一个小例子来讲解下处理器PutDatabaseRecord,该处理器的作用是将数据写入数据库。如下流程通过处理器GenerateFlowFile生成数据,然后通过处理器JoltTransformJSON转换结构,最后通过处理器PutDatabaseRecord将数据写入数据库。如下图所示 2、处理器GenerateFlowFile......
    • 离线数仓(九)【DWS 层开发】
      前言    上一个DWD层用了半个月时间,但是慢有慢的好处;今天开始DWS层的学习,目标是4月初把项目完成,完了赶紧从头回顾一遍项目。    今天操场跑了20分钟,顺便在这里记录一下,现在每周只有没早八的时候能跑一下了,近一年没有好好跑步了,这个习惯应该找回来了......
    • C# NPOI 读取EXCEL数据后转化为DataTable
      XSSF是用于.xlsx(2007以后版本)HSSF是用于.xls(2007以前版本)//也可以根据后缀名自动切换IWorkbookIWorkbookworkbook;if(fileExt==".xlsx"){workbook=newXSSFWorkbook(fs);}elseif(fileExt==".xls"||fileExt==".xlt"){workbook=newHSSFWorkboo......
    • Spring 注解编程之 AnnotationMetadata
      Spring注解编程之AnnotationMetadata这篇文章我们主要深入AnnotationMetadata,了解其底层原理。Spring版本为5.1.8-RELEASEAnnotationMetadata结构使用IDEA生成AnnotationMetadata类图,如下:AnnotationMetadata存在两个实现类分别为StandardAnnotationMeta......