首页 > 其他分享 >数据仓库技术实现

数据仓库技术实现

时间:2024-03-19 11:34:42浏览次数:30  
标签:实现 分离 数据仓库 技术 接口 Extensions DependencyInjection 设计模式 Microsoft

数据仓库建设方案

传统数据仓库
大数据数据仓库

 

 

 

 

 

传统数仓

由关系型数据库组成MPP(大规模并行处理)集群

 

在数据没有达到某个量级的时候是非常优秀的解决方案,继承了单机数据库优异的性能,

 

大数据处理仓库

利用大数据天然的扩展性,完成海量数据的存放


将SQL转换为大数据计算引擎任务,完成数据分析

 

       
区别

MPP架构
传统数仓中常见的技术架构,将单机数据库节点组成集群,提升整体处理性能

节点间为非共享架构(Share Nothing),每个节点都有独立的磁盘石储系统和内存系统

每台数据节点通过专用网络或者商业通用网络互相连接,彼此协同计算,作为整体提供服务

设计上优先考虑C(一致性),其次考虑A(可用性),尽量做好P(分区容错性)

 

架构优点
运算方式精细,延迟低、吞吐低
适合中等规模的结构化数据处理

 

架构缺点
存储位置不透明,通过Hash确定数据所在的物理节点,查话面任务在所有节点均会执行
并行计算时,单节点瓶颈会成为整个系统短板,容错性差
分布式事务的实现会导致扩展性降低

 

 

 

 

 

接口实现分离设计模式
Microsoft.Extensions.DependencyInjection
接口实现分离设计模式
Microsoft.Extensions.DependencyInjection
接口实现分离设计模式
Microsoft.Extensions.DependencyInjection
接口实现分离设计模式
Microsoft.Extensions.DependencyInjection
接口实现分离设计模式
Microsoft.Extensions.DependencyInjection
接口实现分离设计模式
Microsoft.Extensions.DependencyInjection
接口实现分离设计模式
Microsoft.Extensions.DependencyInjection
接口实现分离设计模式
Microsoft.Extensions.DependencyInjection
接口实现分离设计模式
Microsoft.Extensions.DependencyInjection
接口实现分离设计模式
Microsoft.Extensions.DependencyInjection
接口实现分离设计模式
Microsoft.Extensions.DependencyInjection
接口实现分离设计模式
Microsoft.Extensions.DependencyInjection

标签:实现,分离,数据仓库,技术,接口,Extensions,DependencyInjection,设计模式,Microsoft
From: https://www.cnblogs.com/wudequn/p/18029287

相关文章

  • 数据仓库概述
    数据仓库产生的背景1、历史数据积存历史数据使用频率低,堆积在业务库中,导致性能下降,定期转移到特定的地方,就是数据仓库。高频数据支持线上业务正常运行,如果需要历史数据,再从数据仓库中操作2、数据分析数仓面向于业务分析,业务数据库面向于业务 数据仓库(DataWarehouse......
  • 数据仓库架构
      1、数据仓库ODS层数据仓库ODS层也称为操作数据源层,是数据仓库中的一个核心组成部分。该层主要用于保存原始数据,完成数据积存,通常反映了企业业务系统中的最新操作,同时也是进行数据仓库的基础。数据仓库ODS层通常采用可靠的数据仓库ETL工具为数据仓库提供数据,以此使源数据......
  • 第四期充电桩管理系统需要具备哪些技术要求?
    上一期我们说了充电桩站点面临监管难题该如何解决。总所周知一个好的充电桩管理系统可以帮助项目运营者更加轻松的达到监管需求和营运需求,所以这一期我们再来说说系统需要具备哪些技术需求让投资者更加轻松的管理站点。(1)后台的设计目标:后台需采用先进的虚拟化技术、云服务......
  • 火箭升空,震撼来袭!三维可视化技术揭秘宇宙探索之旅
    在浩瀚无垠的宇宙中,人类对于未知的探索从未停止。每一次火箭发射,都是对宇宙的一次深情告白,都是人类迈向星辰大海的坚定步伐。如今,借助三维可视化技术,我们得以更加直观、生动地感受火箭发射的震撼场景,仿佛置身于那激动人心的瞬间,与火箭一同冲破大气层,探索宇宙的奥秘。 想象一下,......
  • 音视频技术的未来:即构、声网、腾讯云、网易云信2024年度对比
    ​引言随着2024年的到来,实时通讯(RTC)技术已成为推动数字经济发展的关键因素。从最基础的文本、音频和视频通信扩展到即时消息、文件共享、语音呼叫、直播互动以及视频会议等多元化功能,RTC技术在各个行业中的应用日益广泛。根据最新的市场研究,预计到2024年,中国实时音视频(RTC)PaaS市......
  • 标准MD5算法(js实现)
    百度百科MD5functionmd5(string){functionmd5_RotateLeft(lValue,iShiftBits){return(lValue<<iShiftBits)|(lValue>>>(32-iShiftBits));}functionmd5_AddUnsigned(lX,lY){varlX4,lY4,lX8,lY8,lResult;......
  • WPS SDK打开文档并实现保存回传
    需求场景在项目开发中会碰到需要调用WPS打开Word,Excel,Ppt等Office系列文档的情况,网上目前少有正式介绍如何调用相关API打开文档,并实现文档编辑后回传给三方应用,本人在逛WPS社区时发现解锁WPS二次开发新世界:Android开发用户专属极速接入秘籍!通过此文介绍的WPS-SDK相关API......
  • 从零开始写 Docker(七)---实现 mydocker commit 打包容器成镜像
    本文为从零开始写Docker系列第七篇,实现类似dockercommit的功能,把运行状态的容器存储成镜像保存下来。完整代码见:https://github.com/lixd/mydocker欢迎Star推荐阅读以下文章对docker基本实现有一个大致认识:核心原理:深入理解Docker核心原理:Namespace、Cgroups......
  • 十大排序算法--Java实现
    冒泡排序(BubbleSort)基本思想:冒泡排序是一种简单的排序算法。它重复地遍历要排序的数列,一次比较两个元素,如果他们的顺序错误就把他们交换过来。遍历数列的工作是重复地进行直到没有再需要交换,也就是说该数列已经排序完成。算法步骤:从第一个元素开始,比较相邻的元素。......
  • matinal:SAP FICO会计凭证如何实现自动拆分
    ......