首页 > 其他分享 >数据倾斜优化实践

数据倾斜优化实践

时间:2024-10-14 09:37:14浏览次数:7  
标签:倾斜 临时 数据 分区 实践 是否 原表 优化

dws数据库,根据此语句select table_distribution("库名","表名")查看表是否倾斜,常规判断方法:不同DN中的数据行数相差超过10%就认定为数据发生倾斜。

实际解决办法:1、调整分区字段,此方法不一定有效,需要不断尝试变换分区字段,并反复确认是否发生数据倾斜。

                         2、调整分区字段的个数,刚开始可以尝试用一个字段,逐渐添加字段,并确认数据是否依然倾斜。此方法很有效,具体原因是,增加了分区字段,分区重复的概率就降低了,数据分布均匀的概率就提高了。

具体实施i语句:可以先建立一个临时表,再把原表数据插入临时表,再查看临时表数据是否倾斜,如果不倾斜,就可以把原表删除,再把临时表重命名为原表。

标签:倾斜,临时,数据,分区,实践,是否,原表,优化
From: https://www.cnblogs.com/shui68home/p/18463438

相关文章

  • 揭秘多层PCB过孔的优化策略
    多层板中过孔(via)不仅是连接不同层间电路的桥梁,也是确保电路可靠性和性能的关键因素。过孔的成本占据了PCB制造成本的显著部分,通常在30%到40%之间。每一个孔,无论是用于电气连接还是器件固定,都是过孔家族的一员。过孔根据其在PCB中的位置和功能,主要分为三类:1.盲孔(BlindVi......
  • CentOS免安装MySQL8实践
    所谓的免安装就是就是使用MySQL服务端二进制压缩包部署服务,而不是直接通过包管理器方式安装MySQL服务器。如下示例为在CentOS7环境免安装MySQL8.0.31服务器。在安装之前需要先检查下是否已经通过包管理器安装过MySQL服务器,如果已经安装,则先把安装的卸载。$rpm-qa|grepmys......
  • Spark之RDD内核原理,MR的原理计算回顾,RDD的洗牌(shuffle)过程,RDD优化之避免shuffle过程
    学习:知识的初次邂逅复习:知识的温故知新练习:知识的实践应用目录一,MR的shuffle回顾1,Map阶段:2,Shuffle阶段:3,Reduce阶段:二,spark的shuffle介绍 1,两种洗牌的方式2,spark的计算是要尽量避免进入shuffle计算三,并行度1,资源并行度 2,数据并行度一,MR的shuffle回顾1,M......
  • gmssl实践截图记录
             ......
  • .NET云原生应用实践(二):Sticker微服务RESTful API的实现
    本章目标完成数据访问层的基本设计实现Sticker微服务的RESTfulAPI引言:应该使用ORM框架吗?毋庸置疑,Sticker微服务需要访问数据库来管理“贴纸”(也就是“Sticker”),因此,以什么方式来存储数据,就是一个无法绕开的话题。如果你遵循领域驱动设计的思想,那么你可以说,保存到数据库的数......
  • 简单快速搭建文件共享服务Samba(最后有企业实践综合案例)
    1Samba服务基本概念1.1什么是Samba服务Samba是一个用于在Linux/Unix系统上实现与MicrosoftWindows系统之间文件和打印共享的开源软件Samba由服务器及客户端程序构成。SMB(ServerMessagesBlock,信息服务块)是一种在局域网上共享文件和打印机的一种通信协议,它为局域网内的......
  • 从2s优化到0.1s,我用了这5步
    前言分类树查询功能,在各个业务系统中可以说随处可见,特别是在电商系统中。但就是这样一个简单的分类树查询功能,我们却优化了5次。到底是怎么回事呢?背景我们的网站使用了SpringBoot推荐的模板引擎:Thymeleaf,进行动态渲染。它是一个XML/XHTML/HTML5模板引擎,可用于Web与非Web环......
  • 网站关键字标签的作用与优化策略
    网站关键字标签是搜索引擎优化(SEO)的重要组成部分。关键字标签可以帮助搜索引擎理解网站内容,并将合适的用户引导到网站。本文将介绍关键字标签的作用以及如何优化它们。1.关键字标签的作用关键字标签是网站HTML页面中用于描述页面内容的简短文本。这些标签告诉搜索引擎关于......
  • MySQL中的数据类型有哪些?如何选择合适的数据类型来优化性能?
    MySQL中的数据类型丰富多样,它们主要分为以下几大类,并且每一类中又包含多种具体的数据类型:整数类型:包括TINYINT、SMALLINT、MEDIUMINT、INT、BIGINT等,这些类型用于存储整数值,其范围和存储大小各不相同。例如,TINYINT占用1个字节,而BIGINT则占用8个字节。浮点数和定点数类型:FLO......
  • 无约束优化问题
    收敛速度由算法A产生的迭代序列${xk}$在某种意义下收敛到$x$即$\lim_{k\to\infty}\left|xk-x\right|=0$,且存在常数$\alpha>0,q>0$$$s.t.\lim_{k\to\infty}\frac{\left|x{k+1}-x*\right|}{\left|xk-x*\right|^{\alpha}}=q$$则称算法A产生的点列${x^k}$......