记录一次数据重分布造成的数据库抖动。
何为数据重分布:
select * from t1,t2 where t1.id1=t2.id2;
- 若id1,id2都为分片键,在做算子下推到dn时,由于分片键是hash算法,所以id1,id2相同的值都在同一个dn上。每个dn可以独立完成数据过滤。dn计算的数据在CN聚合后,返回客户端。
- 若id1,id2有一个不是分片键,在做算子下推到dn时,dn无法单独完成数据过滤,需要跟其它dn建立连接,获取缺失的数据后,再进行数据过滤。过滤完成后,将数据在cn汇聚后反馈给客户端。---这就是数据重分布
数据重分布的危害:
- dn和dn之间会建立大量连接,会导致dn连接数上升。高并发场景下,造成dn连接数打满。
- 导致SQL效率变慢。
整改方案:
- 约束开发:高并发SQL的where条件中,只能允许通过分片键过滤。---对开发要求较高
- 分布式表改造成复制表:每个DN上有完整的数据,通过非分片键进行过滤时,没有数据的重分布。---若表较大,十分浪费存储
set lock_timeout=30000;
create table t_product_0818 (like t_product including all) distribute by replication to group default_group; ---including all不包括外键
alter table t_product rename to t_product_ori_0818 ;
insert into t_product_0818 select * from t_product_ori_0818 ;
vacuum analyze t_product_0818 ;
alter table t_product_0818 rename to t_product ;
标签:dn,product,0818,TDSQL,过滤,分布,PG,分片,数据
From: https://www.cnblogs.com/z-uncle/p/17662276.html