首页 > 其他分享 >数据仓库概述

数据仓库概述

时间:2024-03-19 11:34:31浏览次数:16  
标签:数据分析 数据仓库 概述 面向 设计 历史数据 数据

数据仓库产生的背景
1、历史数据积存

历史数据使用频率低,堆积在业务库中,导致性能下降,定期转移到特定的地方,就是数据仓库。高频数据支持线上业务正常运行,如果需要历史数据,再从数据仓库中操作

2、数据分析 数仓面向于业务分析,业务数据库面向于业务  
数据仓库(Data Warehouse,DW)

由数据仓库之父比尔·恩门(Bill Inmon)提出。

数据仓库是一个面向主题的、集成的、非易失的且随时间变化的数据集合

主要用于组织积累的历史数据,并使用分析方法(OLAP、数据分析)进行分析整理,进而辅助决策,为管理者、企业系统提供数据支持,构建商业智能

数据仓库特点
面相主题:为数据分析提供服务,根据主题将原始数据集合在一起

 集成:原始数据来源于不同数据源,要整合成最终数据,需要经过抽取汉、清洗、转换的过程

非易失:保存的数据是一系列历史快照,不允许被修改,只只允许通过工具进行查询、分析

时变性:数仓会定期接收、集成新的数据,从而反映出数据的最新变化

 
数据仓库VS数据库

数据库面向事务设计,属于OLTP(在线事务处理)系统,主要操作是随机读写;在设计时尽量避免冗余,常采用符合范式规范来设计

数据仓库是面向主题设计的,属于OLAP(在线分析处理)系统,主要操作是批量读写;关注数据整合,以及分析、处理性能;会有意引入冗余,采用反范式方式设计

 

标签:数据分析,数据仓库,概述,面向,设计,历史数据,数据
From: https://www.cnblogs.com/wudequn/p/18029260

相关文章

  • 数据仓库架构
      1、数据仓库ODS层数据仓库ODS层也称为操作数据源层,是数据仓库中的一个核心组成部分。该层主要用于保存原始数据,完成数据积存,通常反映了企业业务系统中的最新操作,同时也是进行数据仓库的基础。数据仓库ODS层通常采用可靠的数据仓库ETL工具为数据仓库提供数据,以此使源数据......
  • NCV7321D11R2G收发器中文资料PDF数据手册引脚图参数图片价格芯片概述特性原理
    产品概述:NCV7321是一款全功能局部互联网(LIN)收发器,适用于LIN协议控制器和物理总线之间的接口。该收发器以I3T技术实施,可实现高电压模拟电路和数字功能在同一个芯片上的共存。NCV7321LIN器件属于车内联网(IVN)收发器系列。LIN总线适用于以最低可能成本从控制设备......
  • java常用应用程序编程接口(API)——Stream概述
    前言:stream是jdk8以后新增的API,熟练操作后会非常实用。打好基础,daydayup!!StreamStream也称为Stream流,用于操作集合或者数组的数据。Stream流大量的结合了Lambda的语法风格,使代码更简洁,可读性更好 Stream的使用Stream的使用有三个步骤:1,获取Stream流,与数据源建立连接......
  • 第五篇:数字视频广告格式概述 - IAB视频广告标准《数字视频和有线电视广告格式指南》
    第五篇:第五篇:数字视频广告格式概述-IAB视频广告标准《数字视频和有线电视广告格式指南---我为什么要翻译介绍美国人工智能科技公司IAB系列技术标准(2)​​​​​​​翻译计划第一篇序言第二篇简介和目录第三篇概述-IAB受众和技术标准第四篇环境:移动设备、台式桌面设备、......
  • 数据库管理与应用/*概述
     一、数据库系统的构成1.数据data是信息的具体表现形式,可以是数据、文字、图像、声音等。2.数据库database是存储一组逻辑相关的数据的集合。数据库中的数据按一定的数据模型描述、组织和储存。3.数据库管理系统databasemanagementsystem是一类系统软件,其主要功能......
  • FineReport - [01] 概述
     Gartner报表平台全球市场唯一入选国产软件! 一、FineReport是什么?有什么用途?FineReport是一款企业级Web报表工具,由帆软自主研发,秉持零编码的理念,易学易用且功能强大。经过多年的发展,它已经成为了中国报表软件市场的领导品牌。FineReport的主要用途包括:报表制作:它支持......
  • 1.1 - 机器学习概述
    1.1.1ML基本认识机器学习是研究AI的一种方法。其从数据中挖掘特征从而学习到一些规律、规则(模型),然后对输入的新数据做出预测(回归)和判断(分类)。机器学习主要分为:有监督学习:数据有标签无监督学习:数据无标签,如:聚类等。......
  • OLAP与数据仓库和数据湖
    OLAP与数据仓库和数据湖本文阐述了OLAP、数据仓库和数据湖方面的基础知识以及相关论文。同时记录了我如何通过ChatGPT以及类似产品(通义千问、文心一言)来学习知识的。通过这个过程让我对于用AI科技提升学习和工作效率有了实践经验和切身感受。预热GPT>你现在是一位OLAP的专家......
  • 07.多线程的概述
    1.线程的概述进程--是我们程序的执行实例,进程在执行的时候,真正执行的就是进程中的线程,进程只是提供了线程执行的资源(PCB)。---进程包含线程进程:进程指正在运行的程序。确切的来说,当一个程序进入内存运行,即变成一个进程,进程是处于运行过程中的程序,并且具有一定独立功能。线程:......
  • 协同编辑功能实现原理概述
    协同编辑是一种多用户同时在线编辑同一文档或项目的技术,允许多人实时或异步地对内容进行添加、删除和修改,但是不会互相覆盖各自的修改。这在文档编辑、软件开发等领域非常流行和有用,比如飞书文档、谷歌doc等。协同编辑主要面临的技术问题包括:版本管理、冲突检测、合并冲突、实时......