目录
介绍下数据仓库
数据仓库（Data Warehouse，简称DW或DWH）是一个专为支持企业决策制定过程而设计的集中式数据存储系统。它从多个操作型系统（如ERP、CRM、销售系统等）中收集、整理、存储大量数据，旨在提供一个集成的、历史的、主题导向的数据视图，用于复杂的查询和分析，而非日常事务处理。以下是数据仓库的主要特点和组件：
主要特点：
- 面向主题：数据按照特定业务主题（如销售、客户、财务等）组织，便于分析和报告。
- 集成性：来自不同源头的数据经过清洗、转换，消除不一致性和重复，形成统一的数据视图。
- 稳定性：数据一旦进入仓库，通常是不可修改的，仅用于查询和分析，保证了数据的历史可追溯性。
- 时变性：数据仓库记录历史数据，支持时间序列分析，帮助分析趋势和模式。
组件和架构：
- 数据源：包括各种业务系统、数据库、日志文件等，是数据仓库数据的原始来源。
- ETL（Extract, Transform, Load）：数据从源系统抽取、转换（清洗、格式化、聚合等）后加载到数据仓库的过程。
- 数据仓库：中心存储区域，存放经过整合的数据，通常分为三层架构： staging area（临时存储区）、data mart（数据集市，针对特定业务领域的子集）和 presentation layer（展示层，供用户直接查询）。
- OLAP（在线分析处理）：支持复杂的分析查询，包括切片、切块、旋转等操作，使用户能从多个角度快速分析数据。
- 数据挖掘：利用算法发现数据中的隐藏模式、关联和趋势，支持预测性分析和决策支持。
- 前端工具：包括报表工具、仪表板、数据可视化软件等，用于呈现数据仓库中的数据，支持业务用户做出决策。
应用场景：
- 业务分析与报告：生成定期或定制的业务报告，如销售趋势、市场分析报告。
- 决策支持系统：为管理层提供决策依据，如预算规划、风险评估。
- 绩效监控：跟踪关键业务指标（KPIs），监控业务健康状况。
- 客户行为分析：深入分析客户行为模式，支持精准营销和客户服务。
数据仓库作为企业级数据管理和分析的基础架构，对于提高企业数据驱动决策的能力至关重要。
数仓的基本原理
1、数据集成：数据仓库汇集来自不同源系统的数据，这些数据可能在格式、结构、甚至含义上存在差异。通过ETL（提取、转换、加载）过程，数据被整合成一致的格式并存入数据仓库，消除冗余和不一致性。
2、面向主题：数据仓库组织数据的方式是围绕主题进行的，而不是像操作型数据库那样按事务处理要求。每个主题代表一个分析领域，如客户、产品、销售等，便于用户从特定业务视角进行分析。
3、历史数据存储：数据仓库保存大量的历史数据，不仅包括当前数据，还有过去的详细数据，这对于时间序列分析和趋势预测至关重要。
4、读优化：与在线事务处理(OLTP)系统相反，数据仓库设计为支持复杂的查询和分析操作（在线分析处理，OLAP），这意味着它更侧重于读取效率而非写入速度。
5、数据分层：为了提高效率和管理复杂性，数据仓库通常采用分层架构，如贴源层、中间层（也称作DWD，明细数据层）、汇总层（DWS，数据集市层）等。这样的层次结构有助于数据的重用、减少重复计算，并且使得问题定位和修复更加高效。
6、星型/雪花型模型：这是两种常见的数据仓库模型，它们通过事实表和维度表的结构来组织数据，便于进行多维度分析。星型模型有一个中心的事实表，周围是一系列维度表；雪花型模型则是维度表进一步规范化。
7、元数据管理：元数据是关于数据的数据，包括数据的来源、转换规则、数据质量信息等。良好的元数据管理对于维护数据仓库的可理解性和可维护性至关重要。
8、安全性与访问控制：数据仓库中往往包含敏感的业务数据，因此实施严格的安全策略和访问控制机制是必要的，确保只有授权用户才能访问数据。
综上所述，数据仓库的基本原理涉及数据的整合、组织、存储、访问以及管理，以支持高效的企业级数据分析和决策制定。
数仓架构
一、基本概念
数据仓库（Data Warehouse）是一个为数据分析而设计的企业级数据管理系统。它可集中、整合多个信息源的大量数据，并通过数据分析为企业提供决策支持，帮助企业改进业务流程、提高产品质量等。
二、核心框架
数仓架构通常包括以下几个核心框架：
1) 数据采集：
- 数据通过不同的工具和技术（如DataX、Sqoop、Flume等）从各种业务系统和数据源中采集并导入到数据仓库中。
- 数据采集过程可能涉及数据的抽取、转换和加载（ETL）操作，以确保数据的一致性和准确性。
2) 数据存储：
- 数据仓库采用高效的数据存储技术（如HDFS、Hive等）来存储和管理海量数据。
- 数据存储层通常包括多个层次，如ODS（Operational Data Store，操作数据存储）、DWD（Data Warehouse Detail，数据仓库明细层）、DWS（Data Warehouse Service，数据仓库服务层）等，以满足不同的数据处理和分析需求。
3) 数据处理：
- 数据处理层负责对采集到的数据进行清洗、转换、聚合等操作，以生成可用于分析的数据集。
- 处理过程可能包括数据去重、缺失值填充、异常值处理等步骤，以确保数据的准确性和可靠性。
4) 数据分析：
- 数据分析层提供各种分析工具和技术（如SQL查询、数据挖掘、机器学习等），以便用户能够深入挖掘数据中的潜在价值。
- 数据分析结果可用于支持企业的决策制定、业务流程优化、产品改进等方面。
5) 数据可视化：
- 数据可视化层将处理好的数据以图表、图像等形式展示给用户，帮助用户更直观地理解数据中的规律和趋势。
- 可视化工具（如Superset、Tableau等）能够提供丰富的交互功能，使用户能够自由地探索和分析数据。
三、数仓分层结构
数仓分层结构是数仓架构的重要组成部分，它有助于清晰地划分数据的处理流程和分析层次。一般来说，数仓分层结构包括以下几个层次：
1) ODS层（Operational Data Store）：
- 临时存储层，是接口数据的临时存储区域，为后一步的数据处理做准备。
- 数据粒度最细，通常与源系统数据同构，主要目的是简化后续数据加工处理的工作。
2) DWD层（Data Warehouse Detail）：
- 数据明细层，用于存储清洗后的明细数据。
- 保持和ODS层一样的数据粒度，并提供一定的数据质量保证。DWD层会对数据进行清理、整合、规范化等操作，以提高数据的可用性和易用性。
3) DWS层（Data Warehouse Service）：
- 数据服务层（或称为汇总数据层），用于存储轻度汇总后的数据。
- 基于DWD层上的基础数据，整合汇总成分析某一个主题域的服务数据，一般是宽表。DWS层应覆盖80%的应用场景，为数据产品和数据分析提供所需的数据支持。
4) ADS层（Application Data Service）：
- 数据应用层，用于存储最终面向用户的数据产品。
- 该层的数据通常是基于DWS层数据进行进一步的加工和计算得到的，以满足用户的具体需求。
5) DIM层（Dimension）：
- 公共维度层，用于存储数据分类的维度信息。
- 如果维表过多，也可针对维表设计单独一层。维表层主要包含高基数维度数据和低基数维度数据两类。
四、数仓架构的优势
- 提高数据质量：通过数据清洗和转换过程，确保数据的准确性和一致性。
- 提升分析效率：分层结构有助于清晰地划分数据处理流程和分析层次，提高分析效率。
- 降低维护成本：通过模块化设计和分层管理，降低系统的复杂性和维护成本。
- 支持决策制定：提供全面的数据历史视图和实时数据分析能力，支持企业决策制定和业务运营。
综上所述，数仓架构是一个复杂而高效的系统结构，它通过数据采集、存储、处理、分析和可视化等环节，为企业提供全面的数据支持和分析能力。
数据仓库分层(层级划分)，每层做什么?分层的好处?
数据仓库分层是一种设计原则，旨在通过将数据处理和存储结构化为多个层次，以提高数据处理的效率、可维护性和易用性。典型的分层模型包括以下几层，每层有其特定的目标和作用：
1、贴源层（Operational Data Store, ODS）或原始数据层（Raw Layer）：
目标：此层存储从源系统中直接抽取的数据，几乎未经任何处理，保留了数据的原始状态。
作用：作为数据的初始着陆区，为后续处理提供基础数据，便于回溯和审计。
2、明细数据层（Detail Layer 或 Data Warehouse Layer, DWD）：
目标：对贴源层的数据进行清洗、转换和标准化，消除数据不一致性，但依然保持详细的粒度。
作用：提供干净、统一的明细数据，供后续分析和汇总使用。
3、汇总层（Aggregation Layer 或 Data Mart Layer, DWS）：
目标：基于明细数据层，通过预计算生成汇总表，如按时间段、地区、产品等维度进行聚合。
作用：加速查询性能，因为复杂查询可以直接从汇总数据中获取结果，而不需要遍历大量明细数据。
4、应用层（Presentation Layer 或 Report Layer, DWM）：
目标：根据业务需求定制数据视图，为报表、仪表板或特定分析需求准备数据。
作用：直接服务于最终用户，提供易于理解、易于查询的业务数据，支持决策制定。
分层的好处：
- 复杂问题简单化：通过分步骤处理，每层专注于解决特定的数据处理任务，易于理解和维护。
- 减少重复开发：中间层的数据可以被多个上层应用复用，避免了重复计算和数据处理。
- 数据血缘追踪：分层有助于清晰地追踪数据从原始状态到最终应用的转换过程，便于问题定位。
- 统一数据口径：确保数据的一致性和准确性，提供统一的数据出口。
- 数据隔离与灵活性：业务变更或数据源调整不会直接影响上层应用，增加了系统的稳定性和灵活性。
- 提高查询性能：通过汇总和预计算，减少大数据量的实时处理，加快查询响应速度。
- 增强数据管理与安全性：分层管理便于数据备份、恢复和安全控制，不同层可以实施不同的访问权限策略。
综上，数据仓库的分层设计是实现高效、可靠、易于维护的数据分析平台的关键策略。
数据分层是根据什么?
一、数据产生的特征
数据特征：数据分层法是根据数据产生的特征（如时间、位置、原因、性质等）将数据划分为若干组的方法。其中，特征是分层的主要依据。例如，可以按不同时间、不同班次、使用设备的种类、原材料的进料时间、原材料成分、检查手段、使用条件、不同缺陷项目等多种特征进行分层。这种分层方法有助于将复杂的数据集简化为更易于管理和分析的小集合。
二、实际应用场景
1) 质量管理：在质量管理中，数据分层法常用于将性质相同、在同一条件下收集的数据归纳在一起，以便进行比较分析。例如，在制造业中，可以将生产过程中产生的数据按不同工序、不同设备、不同时间段等进行分层，以识别出影响产品质量的关键因素。（来源：百度知了好学）
2) 数据仓库：在构建数据仓库时，分层的概念也尤为重要。数据仓库通常被划分为底层（数据源层）、中间层（数据清洗层）和顶层（数据分析层）。这种分层结构有助于清晰地了解数据来源和目标，以及数据的处理过程，从而提高数据处理效率和降低成本。（来源：百度开发者中心）
三、分层法的优势
- 提高数据质量：通过分层处理，可以对数据进行清洗、转换和验证等操作，确保数据的准确性和一致性。
- 提升分析效率：分层结构有助于将复杂的数据集简化为更易于理解和分析的小集合，从而提高分析效率。
- 降低维护成本：通过模块化设计和分层管理，可以降低系统的复杂性和维护成本。
综上所述，数据分层是根据数据的特征或属性将数据划分为若干组或层次的方法。这种方法在质量管理、数据仓库等多个领域都有广泛的应用，并且对于提高数据质量、提升分析效率和降低维护成本等方面都具有显著的优势。
数仓分层的原则与思路
分层原则：
1) 明确职责与目标：每一层都应该有清晰的职责划分和目标，比如ODS层负责原始数据的接收，DWD层专注于数据清洗和转化，DWS层负责数据汇总，而ADS层则关注业务应用和报表展示。
2) 稳定性与灵活性并重：在保证数据层的稳定性的同时，也要考虑系统的灵活性，以便应对业务需求的变化。分层不应过度复杂，要确保能够快速适应新的数据处理需求。
3) 减少耦合性：各层之间应尽量减少直接依赖，降低层间耦合度，使得修改或添加某一层时不会对其他层造成过大影响。
4) 优化数据流：数据流动应遵循从底层到高层的逻辑，减少不必要的数据回流，确保数据处理链路高效有序。
5) 重用性：设计通用的中间层数据，促进数据的复用，减少重复计算，提高开发效率。
6) 可追溯性：维护良好的元数据管理，确保数据血缘的可追溯，便于问题定位和数据质量监控。
思路：
1) 自下而上设计：从数据源开始，逐步向上构建数据处理和分析层。每上一层都是基于下一层的处理结果，逐步抽象和汇总数据。
2) 模块化与标准化：将数据处理过程模块化，遵循统一的命名规则和数据标准，便于管理和扩展。
3) 性能与成本平衡：在设计时考虑存储成本和计算资源的优化，如合理使用分区、索引、压缩等技术提高查询性能，同时控制成本。
4) 灵活扩展：设计时留有扩展余地，确保未来数据量增加或业务需求变化时，数仓架构能够平滑升级。
5) 业务驱动：分层设计应紧密围绕业务需求，每一层的构建都应服务于具体的业务分析场景，确保数据仓库的实用性和价值。
6) 持续迭代：数据仓库是一个持续演进的系统，设计时应考虑未来可能的变更，采用敏捷方法，不断迭代优化。
遵循这些原则和思路，可以构建出既满足当前业务需求，又具备良好扩展性和维护性的数据仓库分层架构。
知道数仓建模常用模型吗?区别、优缺点?
数仓建模中常用的模型主要包括维度模型、范式模型、Data Vault模型以及Anchor模型。这些模型各有其特点、区别、优点和缺点，下面将分别进行阐述：
一、维度模型
1. 定义与特点
维度模型是数据仓库领域广泛应用的建模方法，由数据仓库领域大师Ralph Kimball所倡导。它以分析决策的需求出发构建模型，构建的数据模型为分析需求服务。维度模型按数据组织类型又可划分为星型模型、雪花模型和星座模型。
- 星型模型：主要是维表和事实表，以事实表为中心，所有维度直接关联在事实表上，呈星型分布。
- 雪花模型：在星型模型的基础上，维度表上又关联了其他维度表。这种模型维护成本高，性能方面也较差，所以一般不建议使用。
- 星座模型：是对星型模型的扩展延伸，多张事实表共享维度表。
2. 优点
- 不需要完整的梳理企业业务流程和数据，实施周期根据主题边界而定，容易快速实现demo。
- 便于理解，提高查询性能，对称并易扩展。
- 针对性强，主要应用于数据仓库构建和OLAP引擎低层数据模型。
3. 缺点
- 在某些复杂场景下，可能难以全面覆盖所有分析需求。
二、范式模型
1. 定义与特点
- 范式模型是借鉴关系型数据库理论的建模方法，要求满足一定的范式规则（如3NF、4NF等），以确保数据的规范性和一致性。
2. 优点
- 数据结构清晰，规范性强，有助于减少数据冗余。
- 有助于提高数据的一致性和准确性。
3. 缺点
- 在大数据环境下，范式模型可能会导致查询性能下降，因为需要进行更多的表连接操作。
- 实施周期较长，需要全面梳理企业业务流程和数据流。
三、Data Vault模型
1. 定义与特点
Data Vault模型是一种面向企业数据仓库的建模方法，它强调数据的可审计性、灵活性和可扩展性。Data Vault模型通过构建Hub（中心表）、Link（链接表）和Satellite（卫星表）来组织数据。
2. 优点
- 数据可审计性强，有助于追踪数据的变化历史。
- 灵活性和可扩展性好，能够适应企业业务的变化。
3. 缺点
- 模型复杂度较高，需要较高的建模能力。
- 在某些场景下，查询性能可能不如维度模型。
四、Anchor模型
1. 定义与特点
- Anchor模型是一种相对较新的数据仓库建模方法，它结合了维度模型和Data Vault模型的优点，旨在提供一种更加灵活、可扩展且易于维护的数据仓库建模方案。Anchor模型通过构建Anchor表（类似于维度表）和Transaction表（类似于事实表）来组织数据。
2. 优点
- 灵活性和可扩展性好，能够适应企业业务的变化。
- 易于维护，降低了数据仓库的维护成本。
3. 缺点
- 作为一种相对较新的建模方法，其在实际应用中的案例和经验相对较少。
- 模型的复杂度和实施难度可能较高。
星型模型和雪花模型的区别?应用场景?优劣对比
星型模型和雪花模型是数据仓库中两种常见的维度模型设计方法，它们在数据组织结构、冗余度、查询效率、可扩展性及正规化程度上有所区别，适用于不同的应用场景。
区别：
1、数据组织结构：
- 星型模型：中心是一个大的事实表，周围直接连接多个维度表，每个维度表通过外键直接与事实表关联，形成星状结构，结构简单直观。
- 雪花模型：在星型模型的基础上进一步规范化维度表，将某些维度表拆分成更小的表，形成层次结构，因此查询时可能需要更多的表连接。
2、数据冗余：
- 星型模型：允许数据冗余，维度表中可能存在重复信息，以减少查询时的表连接操作，提高查询效率。
- 雪花模型：通过规范化减少了数据冗余，维度表更加精简，但可能需要在查询时通过更多表的连接来获取完整信息。
3、查询效率：
- 星型模型：由于维度表直接连接到事实表，减少了表连接的数量，查询响应时间较快，更适合OLAP（在线分析处理）。
- 雪花模型：查询时可能需要更多表的连接操作，因此查询效率相对较低，但在数据量不大时影响有限。
4、可扩展性与正规化：
- 星型模型：设计和实现相对简单，不严格遵守数据库正规化原则，扩展时直接添加新的维度表即可。
- 雪花模型：结构复杂，遵循较高的正规化程度，扩展时需考虑维度表间的依赖关系，但更有利于数据的一致性和减少存储空间。
应用场景：
1) 星型模型：适用于对查询速度要求较高、数据量大、分析维度相对固定的场景，如销售分析、市场报告等，因为它简化了查询逻辑，提高了性能。
2) 雪花模型：适合于需要进行复杂维度分析、对数据冗余敏感、数据模型需要高度扩展和维护的数据仓库环境，如金融、保险行业的详细分析场景，因为它的结构更清晰，数据更规范。
优劣对比：
优点：
- 星型模型：查询效率高，易于理解和维护，扩展灵活。
- 雪花模型：数据冗余低，存储空间节省，适合复杂维度分析。
劣势：
- 星型模型：数据冗余，可能占用更多存储空间，规范化程度低。
- 雪花模型：查询性能较低，ETL复杂度高，维护成本相对较大。
总的来说，选择星型模型还是雪花模型取决于具体业务需求、数据规模、查询性能要求以及对数据冗余的容忍度。在实际应用中，通常需要权衡这些因素来决定最合适的模型。
数仓建模有哪些方式?
数仓建模有多种方式，每种方式针对不同的业务需求和分析目标设计，以下是几种常见的数仓建模方法：
1、关系模式建模：
- 这种建模方式遵循数据库设计的范式（如第一范式至第五范式），目的是减少数据冗余和提高数据一致性。它适用于需要高度规范化数据结构的场景。
2、实体关系（ER）模型：
- 抽象事务为实体、属性和关系，使用图形化方式表示数据关联和业务描述，适用于系统设计初期理解业务结构和数据关系。
3、维度建模：
- 包括星型模型、雪花模型、星座模型等，侧重于优化查询性能和简化数据仓库结构。星型模型围绕一个事实表和多个维度表构建，雪花模型在此基础上对维度表进一步规范化，星座模型则涉及多个星型模型的组合，用于处理复杂的多维分析需求。
4、Data Vault模型：
- 一种高度正规化且灵活的模型，由Hubs（存储业务键）、Links（表示实体间关系）和Satellites（存储描述性属性和历史）组成，适合处理大规模数据和长期数据存储需求，以及频繁变化的数据源。
5、Anchor模型：
- 类似于Data Vault，但更加强调业务事件的捕获和时间序列数据的管理，提供一种高度灵活和可扩展的方式来描述业务活动。
6、宽表模型：
- 在某些场景下，为了减少查询时的JOIN操作，会将多个维度属性合并到一个宽表中，牺牲一定的数据规范性以提高查询效率，常见于实时数仓或大数据处理平台。
7、第三范式（3NF）建模：
- 虽然不是专门针对数据仓库，但在某些场景下，为了减少数据冗余和提高数据一致性，也会采用符合第三范式的设计原则。
选择合适的建模方式需要综合考虑数据量、查询复杂度、业务需求的变动性、性能要求以及团队的技能和经验等多个因素。在实际应用中，企业往往会根据具体情况灵活运用这些模型，甚至结合多种模型来构建数据仓库。
数仓建模的流程?
数仓建模的流程通常包含以下几个关键步骤，这些步骤旨在确保模型能够准确反映业务需求，并且能够高效地支持数据分析和报告功能：
1、需求分析：
与业务用户和利益相关者进行深入交流，理解他们的需求和期望，包括所需报告、关键业绩指标(KPIs)、数据保留期限等。
分析业务流程，理清部门间的关系，明确各部门的业务程序。
2、业务建模：
根据业务部门划分，识别业务实体和它们之间的关系。
确定业务需求的指标、维度、粒度和数据保留政策。
3、概念模型设计：
将业务需求抽象为概念模型，使用实体、属性和关系来表示，不涉及具体的技术细节。
明确数据域和主题，为逻辑建模打下基础。
4、逻辑模型设计：
将概念模型转化为逻辑模型，选择合适的建模方法（如维度建模、实体关系建模）。
定义事实表、维度表及其之间的关联关系，明确数据项和数据类型。
5、物理模型设计：
根据逻辑模型和目标数据库平台的特性，设计物理模型。
考虑存储优化、分区策略、索引设计等，以提升数据加载和查询性能。
6、数据源调研与整合：
调研现有数据源，评估数据质量和可用性。
设计ETL（提取、转换、加载）流程，将数据从源系统整合到数据仓库中。
7、维度与事实表设计：
维度表设计包括维度的层次、属性以及缓慢变化维度的处理策略。
事实表设计关注度量的选择、粒度的确定和数据汇总方式。
8、数仓分层：
根据需要设计数据仓库的分层结构（如ODS、DWD、DWS、ADS），以支持不同类型的分析需求和提高查询性能。
9、模型验证与优化：
实施模型并进行测试，验证是否满足业务需求。
根据测试反馈进行必要的调整和优化。
10、元数据管理：
建立元数据管理体系，记录数据来源、转换规则、数据质量规则等信息，便于管理和维护。
11、文档与培训：
编写模型文档和用户手册，对业务用户和技术团队进行培训。
整个建模过程是一个迭代的过程，可能需要根据实际情况和反馈进行多次调整，直至模型能够有效支撑企业的数据分析和决策支持。
维度建模的步骤，如何确定这些维度的
一、维度建模的步骤
1、需求调研
- 目的：了解业务需求，明确数据仓库的建设目标和用户需求。
- 方法：通过访谈、问卷调查、需求文档等方式收集业务需求。
2、数据探查
- 目的：了解源系统的数据结构、数据质量、数据量等信息。
- 内容：包括源系统的存储类型、数据量大小、每日新增量、是否有物理删除、是否有增量时间戳等。
3、高层模型设计
- 目的：构建总线架构的图形化模型，确定设计范围和事实表以及维度表的粒度。
- 内容：包括声明粒度，即精确定义事实表中的一行数据表示什么，以及设计高层图形化模型来表示业务过程的维度和事实表。
4、开发详细的维度模型
步骤：
- 确定维度及其属性：根据业务需求确定需要分析的维度，如时间、地区、用户等，并定义这些维度的属性。
- 确定事实：识别业务中的度量值，如订单金额、下单次数等，这些度量值将存储在事实表中。
- 确定缓慢变化维度技术：针对维度表的每个属性，定义在源系统数据发生变化时如何处理这些变化。
- 建立详细的表设计文档：包括属性/事实的名称、描述、示例值、每个维度属性的缓慢变化维度类型标识等。
5、审查验证模型
- 目的：确保模型满足业务需求，并具备良好的性能和可扩展性。
- 方法：与业务用户和团队成员进行评审，记录并解决问题，形成设计文档。
二、如何确定维度
确定维度是维度建模过程中的关键步骤，以下是一些确定维度的原则和方法：
1、基于业务需求
- 根据业务需求确定需要分析的维度。例如，如果业务需要分析不同时间段的销售情况，那么时间就是一个重要的维度。
2、描述业务事实
- 维度的主要作用是描述业务事实，主要表示“谁、何处、何时”等信息。因此，在确定维度时，要思考这些维度如何帮助描述业务事实。
3、考虑后续分析需求
- 在确定维度时，要考虑后续的分析需求。例如，如果需要分析哪个地区的订单量最多，那么地区就是一个必要的维度。
4、选择最小粒度
- 在声明粒度时，应尽可能选择最小粒度，以应对各种各样的需求。例如，在订单事实表中，一行数据表示一个订单中的一个商品项，而不是整个订单。
5、参考行业最佳实践
- 可以参考同行业或类似行业的最佳实践来确定维度。这些实践通常基于丰富的经验和成功案例，有助于避免常见的错误和陷阱。
6、与业务用户沟通
- 与业务用户保持密切的沟通是确定维度的关键。通过了解他们的业务需求和分析习惯，可以更加准确地确定维度和属性。
综上所述，维度建模的步骤包括需求调研、数据探查、高层模型设计、开发详细的维度模型和审查验证模型。在确定维度时，需要基于业务需求、描述业务事实、考虑后续分析需求、选择最小粒度、参考行业最佳实践和与业务用户沟通等原则和方法。
维度建模和范式建模区别
设计理念与目标
- 范式建模：遵循关系数据库设计的范式（特别是第三范式，3NF），追求数据的规范化，以减少数据冗余和确保数据的一致性。它适用于事务处理系统（OLTP），关注数据的插入、更新和删除效率。
- 维度建模：面向分析处理（OLAP），注重数据的快速查询和分析效率，采用星型或雪花模型等结构，允许一定程度的数据冗余来提高查询性能。它围绕业务过程和分析需求构建，更注重用户对数据的直观理解和使用。
数据结构
- 范式建模：数据表按照范式原则设计，通常意味着更多的表和复杂的表间关联，以保持数据的原子性和最小冗余。
- 维度建模：以事实表为中心，周围是多个维度表，通常通过简单的外键关联，形成星型或雪花结构，这简化了查询路径，但可能在维度表中引入冗余数据。
查询性能
- 范式建模：由于数据高度规范化，执行复杂的分析查询时可能需要较多的表连接，影响查询性能。
- 维度建模：通过预计算汇总数据和减少表连接，提供更快的查询响应时间，更适合复杂的多维度分析。
数据冗余
- 范式建模：尽量避免数据冗余，以保持数据的一致性。
- 维度建模：在事实表中可能引入冗余数据，以减少查询时的计算负担，提高效率。
应用场景
- 范式建模：适合于需要频繁更新和事务处理的系统，如核心业务系统。
- 维度建模：广泛应用于数据仓库和商务智能领域，支持报表生成、多维分析和数据挖掘。
设计方法
- 范式建模：采用自顶向下的设计方法，从整体概念模型逐步细化。
- 维度建模：通常采用自底向上的设计，从具体的业务过程和分析需求出发构建模型。
维护与扩展
- 范式建模：由于数据结构较为复杂，可能需要更细致的维护和数据一致性管理。
- 维度建模：虽然在扩展时需要考虑维度的重新定义，但整体上结构清晰，便于理解和维护。
综上所述，选择范式建模还是维度建模，需根据具体的业务需求、分析场景和性能要求来决定。在现代数据仓库实践中，两者往往不是绝对隔离的，而是可以根据需要相互借鉴，例如，在数据仓库的不同层级（如ODS、DW、DM）中结合使用。
引用：https://www.nowcoder.com/discuss/353159520220291072
通义千问、文心一言
标签：面试题,模型,数据仓库,建模,分层,之数,维度,数据 From： https://blog.csdn.net/k7gxn56/article/details/140156988