首页 > 其他分享 >[数仓设计与建模] 数仓的分层

[数仓设计与建模] 数仓的分层

时间:2023-11-10 22:25:39浏览次数:31  
标签:数仓 建模 分层 存放 下单 维度 Data

以下各层按照从底部到顶部排列,从原始数据到最终应用

1 Operation Data Store 原始数据层

存放最原始的数据,结构与数据源结构一致,属于准备区

  • 基于从业务系统同步过来的数据结构
  • 可以保存所有历史数据,应选择高压缩格式,如gzip
  • 命名规则应为ods_tableName_inc/full

2a Data Warehouse Detail 明细数据层

基于维度建模理论构建,存放维度模型中的事实表,保存业务过程中最小粒度的操作记录

2b Dimension 公共维度层

基于维度建模理论构建,存放维度模型中的维度表,保存一致性维度信息

2c Data Warehouse Summary 汇总数据层

基于指标需求,以分析的主题为对象作为建模驱动,构建公共统计力度的汇总表(?

example

需求1:统计各省份退货率 = 退货次数 / 下单次数
需求2:统计各省份支付率 = 支付次数 / 下单次数
两个需求中都涉及对一张表(下单表)的利用,可以将该表处理好的数据结果放入汇总层,这样后续的其他数据处理操作中直接引用汇总好的结果即可

3 Application Data Service 数据应用层

存放各项统计指标结果

标签:数仓,建模,分层,存放,下单,维度,Data
From: https://www.cnblogs.com/Akira300000/p/17815740.html

相关文章

  • 专题:分层图
    专题:分层图拖了整整一个月,我终于来学习分层图了,原因是考一道USACO的题正解死分层图,秉持着竟然有用,那我就来学学的原则,学习了分层图。纵然,这确实是个好东西,但是局限性也比较明显,分层图的分层的意思是把图整体复制几遍,跨层走意味着使用了一次特殊机会。但是,显然这对数据范围......
  • 直播实时数仓基于DataLeap开放平台在发布管控场景的业务实践
    更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群背景业务背景随着字节业务的高速增长,业务场景越来越丰富,业务基于数据做的决策也越来越多,对数据的时效性要求也越来越高。原有离线批处理的数据仓库已经无法满足诉求,因此需要打造一套同时具......
  • [图论]-分层图最短路
    引言——“分层图最短路”顾名思意,可以知道是在分层的图上跑最短路得算法。当我开始学习这个算法是,看到这个算法名,总有些雨里雾里的。什么是分层,为什么要分层,怎么分层?概念概念:分层图最短路的模型就是在最短路模型的基础上加上$k$个决策。这$k$个决策,并不会影响图得结构,只影......
  • 实例详解构建数仓中的行列转换
    本文分享自华为云社区《GaussDB数据库SQL系列-行列转换》,作者:Gauss松鼠会小助手2。一、前言在构建数据仓库或做数据分析时,需要对原始数据的结构进行一定的处理,有时涉及到“行转列”,有时涉及到“列转行”,那么这两个转换的方式具体是什么,有什么差异,怎么实现,今天我们将以GaussDB数......
  • 基于图卷积网络的关系数据建模
    Abstract​ 知识图谱实现了各种各样的应用,包括问题回答和信息检索。尽管在创建和维护方面投入了巨大的努力,但即使是最大的知识库(如Yago、DBPedia或Wikidata)仍然不完整。我们介绍了关系图卷积网络(R-GCNs)并将其应用于两个标准的知识库补全任务:链接预测(恢复缺失的事实,即主题-预测-对......
  • 数仓实践丨表扫描时过滤行数过多引起的性能瓶颈问题
    本文分享自华为云社区《GaussDB(DWS)性能调优:表扫描时过滤行数过多引起的性能瓶颈问题案例》,作者:O泡果奶~。1、【问题描述】SQL语句执行过程中,对12亿数据量的大表进行扫描,过滤99%的数据仅留617行数据,性能瓶颈位于扫描该表这里。2、【原始语句】setsearch_path='bi_dash......
  • matlab用Logistic逻辑回归建模和马尔可夫链蒙特卡罗MCMC方法分析汽车实验数据
    原文链接:http://tecdat.cn/?p=24103原文出处:拓端数据部落公众号 此示例说明如何使用逻辑回归模型进行贝叶斯推断。统计推断通常基于最大似然估计(MLE)。MLE选择能够使数据似然最大化的参数,是一种较为自然的方法。在MLE中,假定参数是未知但固定的数值,并在一定的置信度下进......
  • 和鲸为神经计算建模及编程培训班提供支持,聚焦学术前沿,助力人才培养
    探索与求知,培养与传承。让青年人更早地触摸到科学研究的前沿,便能吸引更多人才投身于学科建设。11月4日,由北京大学信息处理实验室开展进行,北京大学心理与认知科学学院院长吴思教授及课题组成员授课的第二届神经计算建模及编程培训班将再度开课。课程以北京大学神经信息处理课题组所......
  • 美团增量数仓建设新进展
    摘要:本文整理自美团系统研发工程师汤楚熙,在FlinkForwardAsia2022实时湖仓专场的分享。本篇内容主要分为四个部分:建设背景核心能力设计与优化业务实践未来展望一、美团增量数仓的建设背景美团数仓架构的诞生是基于这样的技术假设:“随着业务数据越积越多,增量数据/存量数据的......
  • 大数据可视化分析建模:每个人都是数据分析师
    ......