dws数据库,根据此语句select table_distribution("库名","表名")查看表是否倾斜,常规判断方法:不同DN中的数据行数相差超过10%就认定为数据发生倾斜。
实际解决办法:1、调整分区字段,此方法不一定有效,需要不断尝试变换分区字段,并反复确认是否发生数据倾斜。
2、调整分区字段的个数,刚开始可以尝试用一个字段,逐渐添加字段,并确认数据是否依然倾斜。此方法很有效,具体原因是,增加了分区字段,分区重复的概率就降低了,数据分布均匀的概率就提高了。
具体实施i语句:可以先建立一个临时表,再把原表数据插入临时表,再查看临时表数据是否倾斜,如果不倾斜,就可以把原表删除,再把临时表重命名为原表。
标签:倾斜,临时,数据,分区,实践,是否,原表,优化 From: https://www.cnblogs.com/shui68home/p/18463438