首页 > 其他分享 >【电商数仓6.0】笔记1

【电商数仓6.0】笔记1

时间:2024-01-21 12:59:35浏览次数:28  
标签:商数 存储 数据库 数据仓库 笔记 6.0 数据

采集项目&数据仓库项目(是企业中数据管理平台中的两个核心管理模块)

采集项目:数据采集,传输为主(flume, kafka, datax, maxwell)

数据仓库:以计算为主,同时存储数据(mysql, HDFS, Spark, Flink , MR, Hive)

 

数据库&数据仓库

数据库database

来源:企业中基础核心的业务数据

存储:查找数据。行式存储,索引,不能存海量数据(查询速度)。

数据仓库:data warehouse

来源:数据库中的数据

存储:统计分析数据。列式存储。存储海量数据(准确性)

 

标签:商数,存储,数据库,数据仓库,笔记,6.0,数据
From: https://www.cnblogs.com/funblogs12152023/p/17977720

相关文章

  • 【计网笔记】计算机网络的类别
    计算机网络的类别计算机网络的定义计算机网络的精确定义并未统一。关于计算机网络的较好的定义是这样的[PETE11]:计算机网络主要是由一些通用的、可编程的硬件互连而成的,而这些硬件并非专门用来实现某一特定目的(例如,传送数据或视频信号)。这些可编程的硬件能够用来传送多种不同......
  • Arthas(阿尔萨斯)笔记
    1、下载Arthascurl-Ohttps://arthas.aliyun.com/arthas-boot.jar或wgethttps://arthas.aliyun.com/arthas-boot.jar2、找到要监控java程序的进程PIDps-ef|grepjava或top命令找到要监控的进程号3、启动Arthas监听该进程java-jararthas-boot.jar${pid}或者......
  • 前端学习-HTML/CSS刷题笔记03
    1布局单列布局单列布局是将头部、内容区、底部在页面上垂直排列,是非常实用的一种布局方式。主要对三个区域的宽度进行统一,然后通过设置自动外边距进行居中。<!DOCTYPEhtml><htmllang="en"><head><metacharset="UTF-8"><metahttp-equiv="X......
  • 「笔记」Z 函数(扩展 KMP)
    目录写在前面简介算法流程代码复杂度证明求串\(t\)所有后缀与串\(s\)的最长公共前缀。下位替代与KMP的关系例题匹配子串求字符串周期P5410【模板】扩展KMP/exKMP(Z函数)P7114[NOIP2020]字符串匹配P9576「TAOI-2」Ciallo~(∠・ω<)⌒★写在最后写在前面这b东西感觉和......
  • 《DREEAM Guiding Attention with Evidence for Improving Document-Level Relation E
    代码 原文地址 预备知识:1.什么是K-L散度(Kullback-LeiblerDivergence)?K-L散度,是一种量化两种概率分布P和Q之间差异的方式,又叫相对熵。在概率学和统计学上,我们经常会使用一种更简单的、近似的分布来替代观察数据或太复杂的分布。K-L散度能帮助我们度量使用一个分布来近似另......
  • Shell笔记:if判断基础使用
    语法如下:#单if语句ifconditionthencommand...fi#if...else...语句ifconditionthencommand...elsecommand...fi#if...elif...else...语句ifconditionthencommand...elifconditinthencommand...elsecommand...fi分......
  • Shell笔记:括号( ) 与 双括号 (( ))
    括号()单括号(...)常用的用法有两种,一种是用于shell中的数组,一种是获取命令执行后的结果。1.数组:括号()最直观的使用当然是数组,因为shell中数组的定义就是array_name=(value1value2...),这里只列一些基础的使用示例:#!/bin/sh#数组定义my_array=("a""b""c")#......
  • Shell笔记:中括号[ ] 与 双中括号[[ ]]
    []和[[]]这两者最常用的用法就是用作条件判断,用作条件判断时,推荐使用双中括号[[]]的方式。需要特别注意,使用时符号边界处和操作符两边都必须要要有空格,如[[a>b]]。这里列出一些使用它们时的不同之处(了解之后就知道为什么推荐使用[[]]了):符号性质[]是bash的......
  • Shell笔记:字符串基础使用
    对于字符串变量的使用,需要加上$进行引用,特别是在[[]]中作为条件判断时没有使用$的话,无法进行正确的判断。1.判断两个字符串是否相同在[[]]使用=、==、!=判断两个字符串是否相等,如果不确定变量的数据类型,但是想要将其转换为字符串再进行比较,可以在变量外边包裹......
  • Shell笔记:变量基础使用
    语法:为my_var="hello",此处定义了一个值为字符串的变量,需要特别注意的是,等号=两边不能有空格。变量的命名只能使用英文字母,数字和下划线,且首个字符不能以数字开头。变量定义之后也可以在其他地方使用同样的语法给它重新赋值,但是注意,不可以使用$my_var="hi"这种语法,加花括号是......