首页 > 其他分享 >数据仓库

数据仓库

时间:2024-11-14 20:09:06浏览次数:1  
标签:快照 数据仓库 连接 维度 事实 冗余

什么是数据仓库?

数据仓库是面向主题的,集成的,随时间变化的,非易失的集合。

数据仓库的模型---星型模型

事实表连接着多个维度表,是单维度的每个维度上不存在再连接维度表了


特点:  不存在渐变维度,非正规化,有冗余数据,查询效率比较高

数据仓库的模型-- 雪花模型

多个维度表连接着事实表且每个维度表上会连接至少一个维度表


特点: 正规化,数据冗余少,规范化操作复杂,会导致设计以及后期维护复杂,
有些数据需要连接才能获取,效率变低

维度表的设计方法(重点)

选择维度 -> 确定主维表 -> 梳理维度关系 -> 定义维度属性

事实表的设计流程

选择业务 -> 声明粒度 -> 确定维度 -> 确定事实 -> 冗余维度

事实表的设计原则

事务事实表:

描述的业务的过程,跟踪空间或者时间上某一点的度量事件保存的是最原子的数据。

每行记录实体的一个事务(如:下单流水,支付流水)

周期快照事实表:

具有规律性的,可预见的时间间隔,产生快照每行代表某一个时间周期的一个实体
记录的事实是 时间周期内的聚集事实值(如库存快照表)

累计快照事实表:

描述的业务的过程,跟踪空间或者时间上某一点的度量事件保存的是最原子的数据。

每行记录实体的一个事务

标签:快照,数据仓库,连接,维度,事实,冗余
From: https://www.cnblogs.com/wangxiaojian-lina/p/18546671

相关文章

  • 什么是数据仓库缓慢变化维?
    缓慢变化的维度(SCD)是数据仓库和商业智能中的一个关键概念。它们指的是用于管理和跟踪尺寸数据随着时间的推移而变化的方法。这对于保持数据仓库中的历史准确性和确保数据完整性至关重要。一、什么是SCD?定义:缓慢变化的维度是数据仓库结构中那些在不规则的基础上而不是......
  • 【数据仓库】
    1、概述数据仓库,英文名称为DataWarehouse,可简写为DW或DWH。数据仓库是企业中用于集中存储和管理来自多个源的经过处理和组织的数据的系统。它为复杂的查询和分析提供了一个优化的环境,使得用户能够执行高级数据分析,以支持商业决策。数据在进入仓库之前经过清洗、转换和集......
  • 一篇文章说清楚数据仓库架构!
    数据仓库架构作为数据管理和分析的核心基础设施,扮演着关键角色。数据仓库架构是一个需要精心设计的体系,旨在整合来自不同数据源的海量数据,将其转化为有价值的信息,以满足企业各个层面的决策需要。随着技术的不断进步和优化,数据仓库架构也在不断演进和发展。本文就来谈谈目......
  • 数据仓库分层解析
    目录一、数据仓库为什么要分层二、数据仓库怎么分层1、ODS(OperationalDataStore):数据源层2、DW(DataWarehouse): 数据仓库层2.1、DWD(DataWarehouseDetail):数据明细层2.2、DWM(DataWareHouseMidddle):数据中间层2.3、DWS(DataWareHouseService):数据服务层3、ADS(Applica......
  • 【大数据】基于大数据技术的数据湖+数据仓库方案
    欢迎来到我的博客,很高兴能够在这里和您见面!欢迎订阅相关专栏:⭐️全网最全IT互联网公司面试宝典:收集整理全网各大IT互联网公司技术、项目、HR面试真题.⭐️AIGC时代的创新与未来:详细讲解AIGC的概念、核心技术、应用领域等内容。⭐️大数据平台建设指南:全面讲解从数据采集到......
  • AI大模型时代下运维开发探索第二篇:基于大模型(LLM)的数据仓库
    在SREWorks社区聚集了很多进行运维数仓建设的同学,大家都会遇到类似的挑战和问题:数仓中存储大量数据消耗成本,但很多存储的数据却并没有消费。进数仓的ETL学习成本高、管理成本高,相关同学配合度低,以及上游结构改动后ETL却迟迟无人调整。数仓中数据的时效性、准确性问题,导致很......
  • 推荐几种主流数据仓库:深度剖析与对比
    引言 随着数据量的不断增长,数据仓库技术在企业的数据管理和分析中扮演着越来越重要的角色。不同的数据仓库系统在性能、架构、功能和适用场景上各有特点。本文将详细介绍目前市场上几种主流的数据仓库,帮助你更好地了解各个数据仓库的特性,选择最适合的方案。1.AmazonRe......
  • Navicat Premium 17.1.3版本发布,原生支持华为云数据仓库GaussDB(DWS)
     近日,Navicat发布了一项重要更新,原生支持华为云数据仓库GaussDB(DWS)。这是Navicat支持的国内首个数据仓库产品,将为广大GaussDB(DWS)用户带来更多的便利。Navicat无缝对接GaussDB(DWS),让数据仓库的构建、查询、优化及维护变得更加直观和易于管理,助力企业轻松驾驭大数据时代的......
  • 数据仓库题库(附答案)
      Q1||数据仓库的主要功能是什么?答:数据仓库主要用于存储历史数据,并支持复杂的查询和分析操作,帮助企业做出更明智的决策。 Q2||什么是ETL过程?答:ETL代表Extract(抽取)、Transform(转换)和Load(加载)。它是指从源系统中提取数据,对其进行清洗和格式化,然后加载到目标数据库的......
  • 从数据仓库到数据中台,再到数据飞轮的演进
    在金融行业里,大数据技术的演变改变了传统的运营模式,给出了更多关于数据驱动决策的可能性。从早期的数据仓库,到现在广泛讨论的数据中台,再到数据飞轮,每一步都代表着技术和业务需求的深度融合。数据仓库的初衷在数据技术早期,数据仓库的建立主要目的在于集中管理企业内部分散的数据资源......