首页 > 其他分享 >数仓性能调优:如何进行函数下推

数仓性能调优:如何进行函数下推

时间:2022-10-17 15:23:01浏览次数:83  
标签:数仓 函数 DWS 下推 调优 属性

摘要:本文主要描述下函数在满足特征的前提下可以把函数属性定义为下推属性。

本文分享自华为云社区《GaussDB(DWS)性能调优:函数下推》,作者:譡里个檔 。

DWS作为MPP架构的数仓产品,其性能优势主要在分布式计算上。默认情况下,DWS为了保证结果的正确性,自定义函数默认属性是不下推的,这会导致计算不下推,从而导致比较验证的性能问题。本文主要描述下函数在满足特征的前提下可以把函数属性定义为下推属性。

在展开介绍之前,我们先介绍一下DWS里面函数的几个属性

易变属性

下推属性

查询自定义的不下推函数

SELECT
 oid::regproc AS proname,
    (pg_get_functiondef(oid)).definition
FROM pg_proc
WHERE proshippable = false AND oid > 16384;

总结

函数下推要首先满足以下

  1. 函数的易变属性为IMMUTABLE和STABLE
  2. 函数的下推属性设置为SHIPPALE

可以在函数定义的时候指定SHIPPALE属性,可以通过ALTER语句修改函数的下推属性

 

点击关注,第一时间了解华为云新鲜技术~

标签:数仓,函数,DWS,下推,调优,属性
From: https://www.cnblogs.com/huaweiyun/p/16799307.html

相关文章

  • 万物互联,华为DWS云数仓助企业数据灵动起来​
    一首歌的内存大概是4MB,十部电影的数据内存约1GB,一款3D游戏连带用户数据大约要1TB……互联网大数据平均在每24个月就会翻倍,于是就有了更大的数据内存单位——PB、百PB。如此......
  • 备份、恢复与性能调优
    备份与恢复概述根据备份的方法将备份分为:HotBackup(热备)(在线备份)ColdBackup(冷备)(离线备份)WarmBackup(温备)热备是指数据库运行中直接备份,对正在运行的数据库操作没......
  • Spark常见数据倾斜情况及调优方案
    1、数据倾斜Spark中的数据倾斜问题主要指shuffle过程中出现的数据倾斜问题,是由于不同的key对应的数据量不同导致的不同task所处理的数据量不同的问题例如,reduce点一共要处理......
  • 基于 Impala 的高性能数仓实践之物化视图服务
    本文将主要介绍NDHImpala的物化视图实现。接上篇,前两篇分别讲了执行引擎和虚拟数仓,它们是让一个SQL又快又好地执行的关键。但如果某些SQL过于复杂,比如多张大表进行......
  • 什么是索引下推?
    什么是索引下推索引下推(IndexConditionPushdown,简称ICP),是MySQL5.6版本的新特性,用于优化数据查询。不使用索引条件下推优化时存储引擎通过索引检索到数据,然后返回给MyS......
  • SMB samba 调优
    smb调优1.   优化前上传                                                                 ......
  • 详解数仓的锁相关参数及视图
    摘要:GaussDB(DWS)中锁等待可以设置等待超时相关参数,一旦等锁的时间超过参数配置值会抛错。本文分享自华为云社区《​​GaussDB(DWS)锁相关参数及视图详解​​》,作者:yd_22......
  • 冒泡排序算法并调优
    算法步骤比较相邻的元素。如果第一个比第二个大,就交换他们两个。对每一对相邻元素作同样的工作,从开始第一对到结尾的最后一对。这步做完后,最后的元素会是最大的数。......
  • 【SQLServer】使用SQL执行计划进行性能调优
    1.【SQLServer】SQLServer执行计划概览2.【SQLServer】SQLServer执行计划的类型3.【SQLServer】如何分析图形化的SQL执行计划4.【SQLServer】SQLServer执行计划运算符-......
  • 【百年会员】大数据从入门到入职|Hadoop|Spark|Flink|FlinkSQL|FlinkCDC|Clickhouse|
    ​关心的问题写在最前面:1.两位数学习正版大数据课程是不是骗子?本课程大部分由《实战大数据(Hadoop+Spark+Flink)》作者本人录制,前期为了做口碑,做销量,两位数可以学习全部课......