本文分享自华为云社区《GaussDB(DWS)性能调优：DM区优化案例——维度表关联条件存在会计期》，作者：O泡果奶~。当前DM（P1、P3、CBGDM）存在维度表与主表关联时使用会计期作为关联条件，会导致出现大内存占用或未识别数据倾斜的问题【场景一】f.period_id=维度表.period_id1.1、【问题

项目打包mvncleaninstall配置nginx安装：https://blog.csdn.net/qq_59125846/article/details/136401534修改配置文件nginx.conf（nginx/conf目录下）：#API接口配置：server{server_namedwsapi.gzvast.com;listen80;location/{proxy_set_header

压缩就用gzip 汇总数据  TSV 建表语句    全量表设计  null的格式不一样，虽然显示都为空 都用空字符显示增量表13张和业务无关的不用拿过来   ods数据装载脚本 i：4substring方法DIM表的数据源是ods层如果找不到不能从数

本文分享自华为云社区《GaussDB(DWS)行执行引擎详解》，作者：yd_227398895。1.前言GaussDB（DWS）包含三大引擎，一是SQL执行引擎，用来解析用户输入的SQL语句，生成执行计划，供执行引擎来执行；二是执行引擎，其中包含了行执行引擎和列执行引擎，执行引擎即查询的执行者，位于优化器和存储引擎之间，负

通过前面内容分享，我们讲解了数仓建模的概念、理论、OLTP、OLAP、以及ODS、DIM、DWD、DWS、DWT、ADS层简单搭建。涉及的内容非常多，这节我们捋一捋数仓建模的步骤、以及数仓分层思路、五层每层的设计、处理、加载等总结一下。一、建模步骤 1、关于数仓的建模有两种基本的模型：

本文分享自华为云社区《GaussDB(DWS)基于Flink的实时数仓构建》，作者：胡辣汤。大数据时代，厂商对实时数据分析的诉求越来越强烈，数据分析时效从T+1时效趋向于T+0时效，为了给客户提供极速分析查询能力，华为云数仓GaussDB(DWS)基于流处理框架Flink实现了实时数仓构建。在本期《GaussDB(DW

本文分享自华为云社区《GaussDB(DWS)性能调优系列实战篇七：十八般武艺之GUC参数调优》，作者：黎明的风。1.前言适用版本：【8.1.1及以上】GaussDB(DWS)性能调优系列专题文章，介绍了数据库性能调优的思路和总体策略。在系统级调优中数据库全局的GUC参数对整体性能的提升至关重要，而

前言    上一个DWD层用了半个月时间，但是慢有慢的好处；今天开始DWS层的学习，目标是4月初把项目完成，完了赶紧从头回顾一遍项目。    今天操场跑了20分钟，顺便在这里记录一下，现在每周只有没早八的时候能跑一下了，近一年没有好好跑步了，这个习惯应该找回来了

本文分享自华为云社区《GaussDBDWS的SQLONANYWHERE技术解密》，作者：tooooooooooomy。1.前言适用版本：【8.1.1（及以上）】查询分析是大数据要解决的核心问题之一，虽然大数据相关的处理引擎组件种类繁多，并提供了丰富的接口供用户使用，但相对传统数据库用户来说，SQL语言依然是使用最

华为云数仓GaussDB(DWS)研发专家高若岳老师，深入解析GaussDB(DWS)数据仓库如何与大数据生态快速对接。随着智能数据时代的到来，数据量爆发式增长，数据形态呈海量化和多样化发展，不再是单一的结构化数据。从海量和多样化的数据做融合分析，创造更多业务价值的诉求日益强烈。在本期《Ga

本文分享自华为云社区《GaussDB(DWS)的cgroup、资源池、用户的关系》，作者：nullptr_。1.前言本文主要展示了DWS中cgroup、资源池、用户之间的关系，从而对DWS的资源设置情况有个初步了解。2.相关对象创建脚本gs_ssh-c"gs_cgroup-cSClassN1-Gwn1"gs_ssh-c"gs_cgroup-

本文分享自华为云社区《GaussDB(DWS)业务高可靠原理》，作者：yd_291396996。1.前言适用版本：【8.1.0及以上】GaussDB(DWS)所有内部组件CN、DN、GTM、CM等采用多活或主备设计，通过集群管理进行故障检测和切换，保证了单点故障场景下业务的可靠性。此外还采用了CNRETRY、远程读、ELB

本文分享自华为云社区《【防过载检查项】》，作者：譡里个檔。1.GUC参数检查目的：针对不同版本建议设定不同的参数值，当前先检查出来，后续diagnosis会给出建议值SELECTsplit_part((substring(version()from'\((.*)\)')),'',2)ASversion,(EXISTS(SELECT1FROM(S

本文分享自华为云社区《GaussDB(DWS)集群通信系列三：Libcomm通信库》，作者：半岛里有个小铁盒。1.前言适用版本：【8.1.0(及以上)】在大规模集群、高并发业务下，如果有1000DN集群，每个stream线程需要建立1000个连接。如果1000stream并发，DN总共需要建立100万个连接，会消耗大量的连接、

本文分享自华为云社区《GaussDB(DWS)集群通信系列一：pooler连接池》，作者：半岛里有个小铁盒。1.前言适用版本：【8.1.0(及以上)】GaussDB(DWS)为MPP型分布式数据库，使用ShareNothing架构，数据分散存储在各个DN节点，而CN不存储数据，作为接收查询的入口，生成的计划会尽量下推到DN并行执

本文分享自华为云社区《GaussDB(DWS)华为云数仓使用实践–预算有限，资源冗余？华为云数仓集群缩容帮你解决烦劳》，作者：OneToOne。一、为什么要做缩容？在使用GaussDB(DWS)数仓时，在业务不同的时段，对数仓的计算资源大小有不同的需求。在业务繁忙、流量高峰的时候需要对DWS集群节点扩容，

本文分享自华为云社区《GaussDB(DWS)细粒度容灾使用介绍》，作者：天蓝蓝。1.前言适用版本：【8.2.1.210及以上】当前数仓承载的客户业务越来越多，从而导致客户对于数仓的可靠性要求不断增加。尤其在金融领域，容灾备份机制是信息系统必须提供的能力之一。本文介绍了在云上环境的双集

本文分享自华为云社区《【云享问答】第6期：如何筑造数据安全边界？》，作者：华为云社区精选。当前AI技术的快速发展，大模型、大数据正在加速对海量多样化数据的应用。数据已经成为核心资产，而数据安全和隐私保护的重要性也日益凸显。数据脱敏作为数据安全管控体系的关键环节，能够有效地保

本文分享自华为云社区《GaussDB(DWS)数据库安全系列之通信安全》，作者：yd_262982826。1.前言网络是一个开放的环境，仅仅依靠用户名和密码难以应对复杂的网络环境，针对可能存在的身份伪造的欺骗行为，以及监听通信内容的窃听行为，为了确保通信双方身份的真实性和通信内容的私密性，防止非法

本文分享自华为云社区《GaussDB(DWS)中的分布式死锁问题实践》，作者：他强由他强。1、什么是分布式死锁分布式死锁是相对于单机死锁而言，一个事务块中的语句，可能会分散在集群里多个节点（CN/DN）执行，在不同节点上可能都会持有锁，当并发事务进行时可能会导致分布式（全局）死锁，如下图所示，会话SE

本文分享自华为云社区《GaussDB(DWS)查询优化技术大揭秘》，作者：胡辣汤。大数据时代，数据量呈爆发式增长，经常面临百亿、千亿数据查询场景，当数据仓库数据量较大、SQL语句执行效率低时，数据仓库性能会受到影响。本期《GaussDB(DWS)查询优化技术大揭秘》的主题直播中，我们邀请到华为云Ga

恒驰大数据服务主要针对客户在进行智能数据迁移的过程中，存在业务停机、数据丢失、迁移周期紧张、运维成本高等问题，通过为客户提供迁移调研、方案设计、迁移实施、迁移验收等服务内容，支撑客户实现快速稳定上云，有效降低时间成本，保障客户业务不中断，实现业务稳定连续。数仓建设-适用场

本文分享自华为云社区《DWS临时内存不可用报错:memorytemporarilyunavailable》，作者：漫天。1、定位报错的DN/CN当出现memorytemporarilyunavailable报错时，首先根据报错信息确认具体是哪个cn/dn报的，如果报错信息没有类似dnxxxx_xxxx这样的信息，就是cn报的，需要去每个cn的日志里

本文分享自华为云社区《GaussDB(DWS)临时表系列-本地临时表》，作者：acydy。GaussDB(DWS)从8.2.1版本后支持三种形式的临时表：本地临时表、Volatile临时表、全局临时表。本文先介绍DWS的本地临时表功能。本地临时表特点：表定义和数据都是会话相关，其他会话看不到本会话创建的本地

本文分享自华为云社区《GaussDB(DWS)性能调优：MERGE场景下语句不下推引起的性能瓶颈问题案例》，作者：O泡果奶~。1、【问题描述】语句执行时间过长，且该语句performance执行计划中SQLDiagnosticInformation显示SQL语句不下推，理由为：TypeofRecordindualthatisnotarealtable