首页 > 其他分享 >https://www.zhihu.com/tardis/bd/art/627016379?source_id=1001

https://www.zhihu.com/tardis/bd/art/627016379?source_id=1001

时间:2023-07-07 15:15:30浏览次数:42  
标签:bd www art 处理 ODS 汇总 业务 DWD 数据

1、ODS原始数据层

ODS层保存所有操作数据,不对原始数据做任何处理。在业务系统和数据仓库之间形成一个隔离,源系统数据结构的变化不影响其他数据分层。减轻业务系统被反复抽取的压力,由ODS统一进行抽取和分发。记住ODS层数据要保留数据的原始性。

处理原则:

根据源业务系统表的情况以增量或全量方式抽取数据;

ODS层以流水表和快照表为主,按日期对数据进行分区保存,不使用拉链表;

ODS层的数据不做清洗和转换,数据的表结构和数据粒度与原业务系统保持一致。

2、DWD数据明细层

DWD层的数据是经由ODS层数据经过清洗、转换后的明细数据,满足对标准化数据需求。如对NULL值处理,对数据字典解析,对日期格式转换,字段合并、脏数据处理等。

处理原则:

数据结构与ODS层一致,但可以对表结构进行裁剪和汇总等操作;

对数据做清洗、转换;

DWD层的数据不一定要永久保存,具体保存周期视业务情况而定。

3、DWS数据汇总层

DWS层数据 按主题对数据进行抽象、归类,提供业务系统细节数据的长期沉淀。这一层是一些汇总后的宽表,是根据DWD层数据按照各种维度或多种维度组合,把需要查询的一些事实字段进行汇总统计。可以满足一些特定查询、数据挖掘应用,面向业务层面,根据需求进行汇总。

处理原则:

面向全局、数据整合;

存放最全的历史数据,业务发生变化时易于扩展,适应复杂的实际业务情况;

尽量减少数据访问时的计算量,优化表的关联。维度建模,星形模型;

事实拉宽,度量预先计算, 基本都是快照表。反规范化,有数据冗余。

4、AWS数据明细层

ADS应用层是根据业务需要,由DWD、DWS数据统计而出的结果,可以直接提供查询展现,或导入至Oracle等关系型数据库中使用。这一层的数据会面向特定的业务部门,不同的业务部门使用不同的数据,支持数据挖掘。

处理原则:

形式各式,主要按不同的业务需求来处理;

保持数据量小,定时刷新数据;

数据同步到不同的关系型数据库或hbase等其他数据库中。

提供最终数据,来满足业务人员、数据分析人员的数据需求

标签:bd,www,art,处理,ODS,汇总,业务,DWD,数据
From: https://www.cnblogs.com/mengbin0546/p/17534993.html

相关文章

  • 手把手教你自定义自己SpringBoot Starter组件源码剖析
    我们知道SpringBootStarter也就是启动器。是SpringBoot组件化的一大优点。基于这个思想,基于这个思想SpringBoot才变得非常强大,官方给我们提供很多开箱即用的启动器。SpringBootStarter是SpringBoot的一个重要特性,它有以下优点:依赖管理:Starter自动处理项目的依赖关系,......
  • FART脚本针对Android12 + Frida16适配
    针对@hanbinglengyue的FART项目下的Frida脱壳脚本进行最新适配,可在Frida16.1.0+Android12环境下进行脱壳项目地址:https://github.com/LLeavesG/FART-Fix具体使用方法请参见原项目FART:https://github.com/hanbinglengyue/FART对其中的frida_fart.zip中提供的两个js文件进行......
  • Unity学习--C#初级编程 Awake和Start、Update和FixedUpdate的区别
    1.Awake和Start相同点:对象的生命周期内只会调用一次不同点:Awake在脚本启用或未启用后均会调用,Start只会在脚本启用后调用Awake在Start前调用理解:AwakesetAmmofortheenemy,StartallowenemytoShoot2.Update和FixedUpdateUpdate:每帧调用(每帧处理时间不一......
  • Python中startswith()和endswith()方法
    startswith()方法startswith()方法用于检索字符串是否以指定字符串开头,如果是返回True;反之返回False。endswith()方法endswith()方法用于检索字符串是否以指定字符串结尾,如果是则返回True;反之则返回Falses='helloword'print("s.startswith('wor'):",s.startswith('wor......
  • 2.vue-charts组件
    1.vue-echarts和echarts的区别·vue-echarts是封装后的vue插件,基于EChartsv4.0.1+开发,依赖Vue.jsv2.2.6+,功能一样的只是把它封装成vue插件这样更方便以vue的方式去使用它。·echarts就是普通的js库。 2.vue-echarts特征·轻量,高效,按需绑定事件·支持按需导入E......
  • WebDAV之π-Disk派盘+WPS
    WPS支持WebDAV方式连接葫芦儿派盘。WPSOffice是一款常用的办公软件,可以方便地编辑、查看和分享文字文档、电子表格和演示文稿等文件。而派盘则是一款本地私有云产品,可以将您的本地硬盘变成云存储空间,提供高效的文件存储、分享、同步和备份功能。π-Disk派盘®–知识管理专家派盘......
  • echart 柱状图加短线
    letdata=[51,58,63,57,63,40,124,108,63,63]letmax=Math.max.apply(null,data)*0.03letlinedata=Array(data.length).fill(max)this.options={grid:{left:20,right:20,......
  • 错误:rpmdb: BDB0113 Thread/process 8709/139671674841152 failed
    rpm库报错错误:rpmdb:BDB0113Thread/process8709/139671674841152failed:BDB1507ThreaddiedinBerkeleyDBlibrary错误:db5错误(-30973)来自dbenv->failchk:BDB0087DB_RUNRECOVERY:Fatalerror,rundatabaserecovery错误:无法使用db5- (-30973)打开Packages......
  • S7200通过以太网模块与SMART200数据交换案例
    捷米特以太网通讯模块,型号有ETH-S7200和ETH-S7300-JM01,适用于西门子S7-200/S7-300/S7-400、SMARTS7-200、西门子数控840D、840DSL、合信、亿维PLC的PPI/MPI/PROFIBUS转以太网。用于西门子S7-200/S7-300/S7-400程序上下载、上位监控、设备联网和数据采集。支持与S7-200SMART、S7......
  • springboot starter使用
    实现自定义starterpom.xml依赖<?xmlversion="1.0"encoding="UTF-8"?><projectxmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http:......