首页 > 其他分享 >数据仓库的几个概念对比

数据仓库的几个概念对比

时间:2022-10-20 14:46:46浏览次数:43  
标签:数仓 系统 模型 数据仓库 概念 ETL 数据 对比 ELT

一,ETL 和 ELT:

很明显顺序不同,ETL 首先把数据从源系统导入到暂存服务器,然后放入目标系统。 然后,ELT 把数据直接加载到目标系统。

ETL 适用于 预定前提的关系型结构化数据,而ELT适用于 可扩展的结构化和非结构化数据源。前者适用于小规模数据,不提供数据湖支持,后者适用于大规模数据,支持数据湖。在传统的数仓系统时代,ETL使用更加广泛。进入大数据时代,开始使用ELT。

ETL更容易实施,而ELT 需要更加针对性的技能取实施和维护。

我任务最大的区别在于, Transformation 步骤发生在哪个系统。ETL 发生在 专用的 暂存服务器,ELT 发生在目标系统(比如 HIVE 数仓)。

 

二,数据仓库和数据集市:

 

 数仓数据集市
1.中心化系统分散化系统
2.稍稍反规范化大部分的反规范化
3.至上而下模型至下而上模型
4.构建过程比较难容易
5.星系模型使用星型模型和雪花模型
6.模型更灵活不灵活
7.天生面向数据的面向项目的
8.长生命周期短生命周期
9.数据以细节数据保存数据以概括性数据保存(比如选取适用本项目的特定字段)
10.数据量大比数仓小
11. 来源不同的系统一般数据来源于数仓

三,

 

标签:数仓,系统,模型,数据仓库,概念,ETL,数据,对比,ELT
From: https://www.cnblogs.com/gao1261828/p/16754942.html

相关文章

  • .NET(C#) HttpClient单例(Singleton)和每次请求new HttpClient对比
    本文主要介绍.NET(C#)中,使用HttpClient执行求时,每次请求都执行newHttpClient创建一个实例和每次请求都使用同一个HttpClient(单例Singleton)分比区别。 1、每次请求创......
  • 概念介绍-软件架构
    概念介绍-软件架构web概念概述JavaWeb:使用Java语言开发基于互联网的项目软件架构:1.C/S:Client/Server客户端/服务器端在用户本地......
  • 572 HTML概念介绍 amd 573 HTML快速入门
    HTML概念介绍概念:是最基础的网页开发语言 HyperTextMarkupLanguage超文本标记语言 超文本:超文本是用超链接的方法,将各种不同空间的文字信息组织在......
  • 包的概念、开发目录规范、常见内置模块知识合集
    包的概念、开发目录规范、常见内置模块知识合集目录包的概念、开发目录规范、常见内置模块知识合集一、包的具体使用二、编程思想的转变三、软件开发目录规范四、常见内置......
  • 概念介绍_软件架构和资源分类
    *JavaWeb: *使用Java语言开发基于互联网的项目*软件架构: 1.C/S:Client/Server客户端/服务器端 *在用户本地有一个客户端程序,在远程有一个服务器端......
  • HEML概念介绍、快速入门
    HEML概念介绍概念:是最基础的网页开发语言Hyper Text  MarKup  Language 超文本标记语言超文本:超文本是用超链接的方法,将各种不同空......
  • 概念介绍-软件架构、资源分类
    概念介绍-软件架构web概念概述使用java语言开发基于互联网的项目软件架构:C/S:Client/Server客户端/服务器端在用户本地有一个客户端程序,在远程有一个......
  • mysql入坑之路(10)Navicat 备份恢复mysql5.6/5.7对比
    mysql5.6/mysql5.7默认创建库对比mysql5.6默认创建库mysql>showdatabases;+--------------------+|Database|+--------------------+|information_sc......
  • 交换分区(swap概念)
    什么是Linux交换(swap)原创 sharplee 大乐学IT 2022-04-2422:10收录于合集#linux66个Linux内核将RAM分成内存块和交换(Swap)进程,交换(Swap)进程是当Linux内核......
  • ML[001] 机器学习基本概念
    机器学习是能够从数据中学习的算法(通过经验E改进后,在任务T上由性能度量P衡量的性能会有所提升) 1.数据集(dataset)训练集(trainingset):用来进行训练,也就是产生模型或算......