首页 > 其他分享 >数据仓库——ETL(详细教程)

数据仓库——ETL(详细教程)

时间:2024-05-24 21:25:42浏览次数:20  
标签:维度 教程 数据仓库 编辑 任务 全量 数据流 执行 ETL

目录

建模方式

ETL

新建etl项目,设置项目名称位置

新建数据源

新建SSLS包

做全量

双击编辑执行SQL任务

 双击编辑数据流任务

编辑OLE DB源

编辑数据流转换

编辑OLE DB源目标

右键选择执行

做增量 

编辑执行SQL任务

编辑任务条件

编辑数据流任务1

编辑数据流任务2

执行任务

数据类型不同不能转换的问题


建模模型:维度模型——生成维度表,事实表
事实表为什么叫事实表?——表里有需要被统计的列


建模方式

使用PowerDesigner建立数据模型导出sql文件


1》星模型。事实表关联相关维度表(开发时最多使用)
2》雪花模型。区别 维度表还关联了另一维度表(多张表关联【查询速度慢:通常做降维 >>维度合并 >> 变成星型模型   合并后有重复数据不再符合三段式】)
3》星座模型。多个事实表共同关联维

ETL

将源数据etl到数据仓库里

 新建etl项目,设置项目名称位置

 新建数据源

本地服务器名:  . 

 新建SSLS包

做全量

当前数据量比较小,当数据量大时做增量

做全量的步骤,先清空再将数据移动过来


双击编辑执行SQL任务

执行第一步,先将表中的内容删除

 双击编辑数据流任务

 创建传输流程

编辑OLE DB源

编辑数据流转换

 编辑OLE DB源目标

 

 右键选择执行

变绿执行成功

下面是对事实表做增量

做增量 

创建增量序列容器

 编辑执行SQL任务

编辑任务条件

 选中左边线路

 选中右边线路

 编辑数据流任务1

假设是15号开始建立数据仓库

第一步是将14号及之前的所有数据做全量

同样在数据源中选择出符合数据仓库列的内容

 其余步骤与做全量一样

 编辑数据流任务2

保存过14号之前的数据这里从第15号开始

这里改为=

 后面过程相同

执行任务

第一次执行会执行左边,这是第二次执行会执行右边

数据类型不同不能转换的问题

sql server中更改列表类型默认不能更改需要到工具—选项—设计器中取消掉阻止更改,确定并刷新

标签:维度,教程,数据仓库,编辑,任务,全量,数据流,执行,ETL
From: https://blog.csdn.net/weixin_74027659/article/details/139052638

相关文章

  • 4小时学完!15年技术大牛用247个实战案例剖析的Python教程
    今天给小伙伴们分享一份15年技术大牛用247个实战案例剖析的Python教程,这份教程全程彩图讲解,告别枯燥!60秒学会⼀个⼩例⼦,带你系统学习Python,从⼊门到⼤师。涵盖了Python基础、Python字符串和正则、Python⽂件和⽇期、Python三⼤利器、Python绘图、Python之坑、Python第三⽅包、......
  • GitHub上新!14个Python项目详细教程(附完整代码)
    Python作为程序员的宠儿,越来越得到人们的关注,使用Python进行应用程序开发的也越来越多。今天给小伙伴们分享的这份项目教程完整代码已上传至GitHub,你可以选择跟着这份教程一段一段的手敲出来这几个项目,也可以直接从GitHub上copy下来。限于文章篇幅原因,只能以截图的形式展示出......
  • CS2 CSGO2反恐精英2服务器开服联机教程
    1、购买后登录服务器(百度莱卡云)进入控制面板后会出现正在安装的界面,游戏将近40G需要,安装时间相比较长(如超过30分钟处于安装中请联系我们的客服人员)2、更改端口2.1、点击网络就可以看到有两个已经创建好的端口首选端口必须是游戏端口,则另一个就是RCON端口2.2、复制RC......
  • 【ARK Survival Evolved】方舟:生存进化一键使用服务器开服联机教程
    1、进入控制面板2、第一次购买服务器会安装游戏端,大约5分钟左右,如果长时间处于安装状态请联系客服3、设置游戏端口方舟生存进化的设置需要三个端口,它们用于游戏端口(必须为首选端口),查询端口,RCON端口服务器创建时默认会有一个首选端口,既为我们的游戏端口(游戏端口必须为首......
  • MATLAB基础知识,帮你快速入门【文末送2024最新MATLAB学习教程资料视频+源码】
    1.MATLAB的基本知识1-1基本运算与函数 在MATLAB下进行基本数学运算,只需将运算式直接打入提示号(>>)之後,并按入Enter键即可。例如: >>(5*2+1.3-0.8)*10/25 ans=4.2000 MATLAB会将运算结果直接存入一变数ans,代表MATLAB运算後的答案(Answer)并显示其数值於萤幕上。小......
  • 【教程】WordPress资源下载主题 Modown 书面使用教程
    这篇文章介绍了WordPress资源下载主题Modown的书面使用教程。文章包括安装主题、设置主题选项、自定义分类法、菜单、登录页面、小工具等。使用Modown主题可以通过设置首页模板一和使用mocat短代码来显示分类模块。同时还介绍了如何设置标题模块和显示广告。安装将从模板兔......
  • GPT-4o使用教程,一篇教程解决你不会使用GPT-4o
    2024年5月最新GPT-4o模型使用教程和简介2024年5月13日,openai发布了最新的模型 GPT4o。很多同学还不知道如何访问GPT-4、GPT-4Turbo和GPT-4o等模型,这篇文章介绍如何在ChatGPT中访问GPT-4o,以及通过OpenAIAPI访问GPT-4、GPT-4Turbo和GPT-4o。一、什么是GPT-4o?GPT-4o......
  • https免费证书申请和安装教程
    免费的SSL证书也是可以实现https,下面是免费证书的申请和安装教程(不限制申请数量)1访问CA创建账号登录JoySSL官网,创建一个证书管理账号,在注册账号时填写注册码230916可以获取不限量领取和技术支持权限,建议填写。免费SSL证书申请网址链接https://www.joyssl.com/certificat......
  • 【保姆级教程】基于matlab自动识别车辆号牌设计与实现
    【保姆级】基于matlab自动识别车辆号牌设计与实现内容概要:我们提供了一个基于MATLAB的自动车辆号牌识别系统资源,该系统能够从彩色和灰度图像中自动识别车辆号牌号码。该系统包括一个详细的README文档,指导用户如何实现算法,包括创建字符和数字模板、图像预处理、阈值确定、......
  • Makefile使用教程1
    规则(Rules):一个Makefile文件由一条一条的规则构成,一条规则结构如下target…(目标):prerequisites…(依赖)recipe(方法)……最简单的Makefilehello:hello.cppg++hello.cpp-ohello#开头必须为一个Tab,不能为空格但通常需要将......