首页 > 其他分享 >flink 实现 postgre-CDC

flink 实现 postgre-CDC

时间:2022-12-30 19:55:46浏览次数:58  
标签:wal 更改 max flink postgre logical CDC slots

一、前置工作

1. 修改 postgresql 配置文件  

/data/pgsql/13/data/postgresql.conf
相关配置:
# 更改wal日志方式为logical
wal_level = logical # minimal, replica, or logical

# 更改solts最大数量(默认值为10),flink-cdc默认一张表占用一个slots
max_replication_slots = 20 # max number of replication slots

# 更改wal发送最大进程数(默认值为10),这个值和上面的solts设置一样
max_wal_senders = 20 # max number of walsender processes
# 中断那些停止活动超过指定毫秒数的复制连接,可以适当设置大一点(默认60s)
wal_sender_timeout = 180s # in milliseconds; 0 disable 

wal_level是必须更改的,其它参数选着性更改,如果同步表数量超过10张建议修改为合适的值

更改配置文件postgresql.conf完成,需要重启pg服务生效,所以一般是在业务低峰期更改

  

标签:wal,更改,max,flink,postgre,logical,CDC,slots
From: https://www.cnblogs.com/leolzi/p/17015717.html

相关文章