首页 > 数据库 >开源数据库Greenplu突然闭源?GaussDB(DWS)提供数仓新可能

开源数据库Greenplu突然闭源?GaussDB(DWS)提供数仓新可能

时间:2024-07-08 10:23:31浏览次数:16  
标签:DWS 数仓 GaussDB 数据仓库 支持 兼容 数据

本文分享自华为云社区《开源数据库Greenplum人去楼空?GaussDB(DWS)提供数仓新可能》,作者: 起个名字11111。

近日Greenplum关闭 GitHub 源码事件在数仓行业广受关注,代码业界纷纷猜测Greenplum即将闭源。作为一款典型的OLAP数据库,Greenplum的闭源势必带来数仓市场格局的调整与变化。国内有哪些备受瞩目的数仓产品呢?华为云数仓GaussDB(DWS)无疑是其中的佼佼者。

GaussDB(DWS)是一款兼容PostgreSQL生态,同时GaussDB(DWS)具备丰富的GP迁移成功经验。在某一迁移GP的成功案例中,面临客户原平台扩展性不足、数据加工链路长、数据分散等痛点问题,GaussDB(DWS)成功将Greenplum上数万个数据模型、数万个代码脚本、数百万行代码全部迁移至安全可控的数据仓库平台,基于GaussDB(DWS)的数据分析平台成功降低系统管理成本、技术复杂度,提升了资源配置效率、数据一致性,承载30000多个数据模型。

DWS丝滑兼容GP

GaussDB(DWS) 提供了配套的迁移工具,可支持TeraData、Oracle、MySQL、SQL Server、PostgreSQL、Greenplum、Impala等常用数据分析系统的平滑迁移。支持SQL 2003标准,兼容Oracle的部分语法和数据结构,支持存储过程,可与常用BI(business intelligence)工具无缝对接,业务迁移修改量极小。

1.语法兼容性

(1)Greenplum和DWS均支持SQL 2003,兼容大部分DDL与DML语法。

(2)兼容GP所有数据类型。

(3)兼容GP所有操作符。

(4)兼容GP包括XML函数、JSON函数、窗口函数、聚集函数在内所有的复杂函数。

(5)支持自定义函数和PROCEDURE。

(6)支持Sort所有场景,包含FullSort/TopNSort。

(7)支持Agg/Join/Sort落盘功能。

(8)支持HashJoin/NestLoopJoin,完整支持Left/Right/Full/Inner/Anti/Semi六种Join规则。

(9)支持 GroupAgg/HashAgg/PlainAgg,及Agg所有相关特性。

(10)支持 HeapTable、Aocs Table的Scan,包含Seqscan和Index Scan。

2.生态兼容性

(1)社区工具兼容

数据集成:Talend、Kettle、DataX、DBT、Informatica等。

数据开发:Navicat、DBeaver、DbVisualizer等。

作业调度:Dataphin、Airflow等。

BI分析:QuickBI、永洪BI、FineBI、PowerBI、Tableau、Cognos、SmartBI等。

(2)华为工具兼容:

数据集成:CDM、DRS、Migration等

数据开发:SQL Editor、DataArts Studio、DAS

BI分析:DataArts Insight

DWS产品优势

1.易使用

(1) 一站式可视化便捷管理

GaussDB(DWS) 让您能够轻松完成从项目概念到生产部署的整个过程。通过使用GaussDB(DWS) 管理控制台,您不需要安装数据仓库软件,也不需要部署数据仓库服务器,就可以在几分钟之内获得高性能、高可靠的企业级数据仓库集群。

您只需单击几下鼠标,就可以轻松完成应用程序与数据仓库的连接、数据备份、数据恢复、数据仓库资源和性能监控等运维管理工作。

(2) 与大数据无缝集成

您可以使用标准SQL查询HDFS、对象存储服务(Object Storage Service,OBS)上的数据,数据无需搬迁。

(3) 提供一键式异构数据库迁移工具

GaussDB(DWS) 提供配套的迁移工具,可支持MySQL、Oracle和Teradata的SQL脚本迁移到GaussDB(DWS) 。

2.高性能

(1) 云化分布式架构

GaussDB(DWS) 采用全并行的MPP架构数据库,业务数据被分散存储在多个节点上,数据分析任务被推送到数据所在位置就近执行,并行地完成大规模的数据处理工作,实现对数据处理的快速响应。

(2) 查询高性能,万亿数据秒级响应

GaussDB(DWS) 通过算子并行执行、向量化执行引擎实现指令在寄存器并行执行,以及LLVM动态编译减少查询时冗余的条件逻辑判断,助力数据查询性能提升。

GaussDB(DWS)支持行列混合存储,可以同时为用户提供更优的数据压缩比(列存)、更好的索引性能(列存)、更好的点更新和点查询(行存)性能。

(3) 数据加载快

GaussDB(DWS)提供了GDS极速并行大规模数据加载工具。

3.易扩展

(1) 按需扩展:Shared-Nothing开放架构,可随时根据业务情况增加节点,扩展系统的数据存储能力和查询分析性能。

(2) 扩容后性能线性提升:容量和性能随集群规模线性提升,线性比0.8。

(3) 扩容不中断业务:扩容过程中支持数据增、删、改、查,及DDL操作(Drop/Truncate/Alter table),表级别在线扩容技术,扩容期间业务不中断、无感知。

支持在线升级:8.1.1及以上源版本支持大版本在线升级,8.1.3及以上源版本支持补丁在线升级,升级期间用户无需停止业务,业务存在闪级秒断。

4.高可靠

(1) ACID

支持分布式事务ACID(Atomicity,Consistency,Isolation,Durability),数据强一致保证。

(2) 全方位HA设计

GaussDB(DWS) 所有的软件进程均有主备保证,集群的协调节点(CN)、数据节点(DN)等逻辑组件全部有主备保证,能够保证在任意单点物理故障的情况下系统依然能够保证数据可靠、一致,同时还能对外提供服务。

(3) 安全

GaussDB(DWS) 支持数据透明加密,同时可与数据库安全服务(DBSS)对接,基于网络隔离及安全组规则,保护系统和用户隐私及数据安全。GaussDB(DWS)还支持自动数据全量、增量备份,提升数据可靠性。

5.低成本

按需付费:GaussDB(DWS) 按实际使用量和使用时长计费。您需要支付的费率很低,只需为实际消耗的资源付费。

门槛低:您无需前期投入较多固定成本,可以从低规格的数据仓库实例起步,后续随时根据业务情况弹性伸缩所需资源,按需开支。

结语:

华为云数据仓库GaussDB(DWS),历经13年的技术磨砺,已成为国内数据仓库中的佼佼者,是中国唯一获得数仓类CC安全认证的产品。华为云GaussDB(DWS)一站式全场景云数据仓库,提供PB级数据分析能力、多模分析和实时处理能力,以统一内核提供公有云、混合云等部署形态,用户体验一致。在金融、泛政府、电信、能源、交通、医疗、物流、电商等领域,帮助1700+大客户规模商用。

未来,GaussDB(DWS)将继续深耕云原生Serverless化、实时分析、湖仓一体、数智融合、HTAP等数仓核心技术,引领数据产业,创新构建开放融合、云化、实时、全场景、智慧的数据底座。

 

点击关注,第一时间了解华为云新鲜技术~

 

标签:DWS,数仓,GaussDB,数据仓库,支持,兼容,数据
From: https://www.cnblogs.com/huaweiyun/p/18289386

相关文章

  • Apache Doris 实时数仓场景建设四大新体系 & 湖仓一体化建设四大落地解决方案
    原文:https://mp.weixin.qq.com/s/PT9efWW8IPWUZOpnPzGMJg之前我们讲了很多构建方面的经验,但是在湖仓一体化建设上没有过多的去描述具体怎样演进,怎样落地,能做哪些事,那今天这篇就来详细唠唠基于ApacheDoris的湖仓演进方案,至最后演进至AllInOneDoris的架构。ApacheDoris......
  • GaussDB AI新特性:gs_index_advise推荐索引
    GaussDB的AI新特性,可以把SQL文本嵌套在函数中,数据库会返回一个创建合适索引的列gs_index_advise(text)描述:针对单条查询语句推荐索引。参数:SQL语句字符串返回值类型:record  一、通常的SQL优化会通过参数调优的方式进行调整,例如如下参数setenable_fast_query_shippi......
  • GaussDB(DWS)性能调优,解决DM区大内存占用问题
    本文分享自华为云社区《GaussDB(DWS)性能调优:DM区优化案例——维度表关联条件存在会计期》,作者:O泡果奶~。当前DM(P1、P3、CBGDM)存在维度表与主表关联时使用会计期作为关联条件,会导致出现大内存占用或未识别数据倾斜的问题【场景一】f.period_id=维度表.period_id1.1、【问题......
  • 大数据面试题之数仓(1)
    目录介绍下数据仓库数仓的基本原理数仓架构数据仓库分层(层级划分),每层做什么?分层的好处?数据分层是根据什么?数仓分层的原则与思路知道数仓建模常用模型吗?区别、优缺点?星型模型和雪花模型的区别?应用场景?优劣对比数仓建模有哪些方式?数仓建模的流程?维度建模的......
  • 大数据面试题之数仓(2)
    目录维度表和事实表的区别? 什么是ER模型? OLAP、OLTP解释(区别)三范式是什么,举些例子 维度设计过程,事实设计过程 维度设计中有整合和拆分,有哪些方法,并详细说明 事实表设计分几种,每一种都是如何在业务中使用 单事务事实表、多事务事实表区别与作用 说下一致性维......
  • 3个企业级最佳实践,教你ByteHouse云数仓这么用
    随着各业务场景各行业数字化转型加快,数据量呈爆炸式增长。在拥有庞大数据的同时,业务也在分析、查询与响应层面,对数据库系统性能提出了更高要求。云原生技术推动了分布式数据库系统的迭代升级,对云数仓技术而言,“写入能力、高性能查询、高并发、架构精简、成本控制”的一系列挑战,是......
  • 数仓sql场景:连续跟踪问题
    1.需求查询用户连续追踪客户的开始时间和结束时间,以下两种场景都需支持第一种场景:连续:中间没有断,如a追踪客户小明,第1次开始为2023-01-01,结束时间为:2023-01-03;第2次开始为2023-01-04,结束时间为:2023-01-07,则追踪时间为开始时间为2023-01-01,结束时间为:2023-01-07不连续:中间有段,如......
  • 什么是数仓调度?推荐使用这款数据仓库ETL工具
    随着企业数据规模的不断增大,如何高效地管理和利用数据成为了企业数字化转型过程中的重要问题。数据仓库作为一种专门用于存储和处理企业数据的技术,已经成为了企业数字化转型过程中不可或缺的一部分。而数仓调度则是数据仓库建设过程中至关重要的一环。一、什么是数仓调度?......
  • 数仓实践-元数据
    1.元数据:关于数据的数据2.元数据分类:主题域英文名称主题域前缀描述成本域costcost表和目录的存储消耗,任务的计算资源消耗。权限域authorityauthdataworks数据访问权限申请记录,冗余权限统计。任务域tasktaskdataworks任......
  • 如何愉快地实施数仓模型,对比下厨做饭
    一般我们建设数仓,有一个链路:比如这样的数据从原始层到DWD、DWS层、然后ADS层。嘿,未来的大数据专家们!当我们开始实施数据模型时,不妨参考《大数据之路》这本宝藏书。让我们一起简化流程,注重细节,同时保持愉快的心情!以如下加工数据为例ADS层......