首页 > 数据库 >pgsql-cdc

pgsql-cdc

时间:2024-05-16 15:20:13浏览次数:14  
标签:WAL PostgreSQL level cdc pgsql wal 复制 日志

1、CDC日志开启
SHOW wal_level;
ALTER SYSTEM SET wal_level = 'logical';

wal_level 是 PostgreSQL 中的一个参数,用于控制 WAL(Write-Ahead Logging)日志的生成级别。WAL 是 PostgreSQL 中的一种持久性技术,用于确保数据库的持久性和一致性。

在 PostgreSQL 中,wal_level 参数有三个可选值:

  1. minimal:这是最低级别的 WAL 日志记录。在这种级别下,PostgreSQL 只会记录必要的 WAL 日志,以保证数据库的一致性和持久性。这通常用于开发和测试环境。

  2. replica:在此级别下,PostgreSQL 会记录额外的 WAL 日志,以支持从备库(standby)进行数据复制。这允许备库对主库进行物理复制,从而实现数据备份和故障切换。

  3. logical:这是最高级别的 WAL 日志记录。在此级别下,PostgreSQL 会记录用于支持逻辑复制的额外 WAL 日志。逻辑复制允许将更精细的数据变更流复制到另一个数据库,通常用于复制部分数据或者进行数据转换等应用场景。

对于你提到的 ALTER SYSTEM SET wal_level = 'logical'; 命令,它的作用是修改 PostgreSQL 的配置文件(postgresql.conf),将 wal_level 参数设置为 logical,以启用逻辑复制的功能。

关于 flink-cdc,如果你在使用 Flink CDC(Change Data Capture)工具来捕获数据库的变更并进行实时处理,那么在配置好 PostgreSQL 数据库后,确保 wal_level 参数被设置为至少 replica 级别或更高级别是很重要的。这样做是为了确保 PostgreSQL 生成足够的 WAL 日志以支持 Flink CDC 的正常运行

2、ALTER USER root WITH REPLICATION;

这个命令将用户 root 赋予了复制(replication)权限。具有复制权限的用户可以连接到 PostgreSQL 数据库,并创建复制流(replication stream),用于流式复制数据到其他 PostgreSQL 实例。

3、ALTER USER root WITH SUPERUSER;

这个命令将用户 root 提升为超级用户(superuser)。超级用户具有对数据库系统的完全控制权限,可以执行任何操作,包括创建、删除数据库、创建新的用户等。拥有超级用户权限的用户需要谨慎操作,以免造成意外的影响或破坏。

 

 

标签:WAL,PostgreSQL,level,cdc,pgsql,wal,复制,日志
From: https://www.cnblogs.com/zjb480/p/18196016

相关文章

  • pycdc不支持的字节码处理
    从官方源编译的pycdc,直接反编译,可以看到存在不支持的字节码BEGIN_FINALLY(理论上遇到类似不支持的字节码,都可以这样处理)参考issue307,处理一下重新编译这时候就可以成功反编译(当然有可能存在一些逻辑问题?不过这里的字节码是涉及异常处理的,对主要逻辑影响不大) ......
  • RecDCL论文阅读笔记
    RecDCL:DualContrastiveLearningforRecommendation论文阅读笔记Abstract提出问题:​ 现有的基于cl的方法大多集中于批处理的对比,没有利用特征维度中潜在的规律性。这导致了在用户和项目的表示学习过程中的冗余解决方案。解决方法:​ 在这项工作中,我们研究了如何同时使用批......
  • Pgsql报错修复
     1   这里更改安装目录bin下面例如E:\WorkingSoftware\PostgreSql\16\bin 更改权限,下面都改下  2如果安装时提示databse出错,就初始化下 E:\WorkingSoftware\PostgreSql\16\bin\pg_ctl.exe-DE:\WorkingSoftware\PostgreSql\16\datainitdb ......
  • FLINKCDC3.0 datastream程序运行测试
    1.编写程序本地运行正常2.程序正常打包3.提交作业到FLINK集群./bin/flinkrun-mhdf1:8081-ccom.org.cdc.FlinkCDCDataStreamTest./FlinkCdc-test.jar4.监控作业运行作业正常运行,cud查看taskmanagerlog,可以看到cud变更数据5.给当前的Flink程序创建Savepointbin/flin......
  • FLINKCDC 3.0整库同步MYSQL至DORIS(FLINK1.18): 历程
    大数据技术涉及组件较多,各个环境较DEMO又不尽相同,所以参照DEMO进行,任然很多报错信息出现。如下报错处理,尽供参考:1.创建同步配置文件################################################################################Description:SyncMySQLalltablestoDoris#########......
  • Flink CDC全量和增量同步数据如何保证数据的一致性
    ApacheFlink的ChangeDataCapture(CDC)功能主要用于实时捕获数据库中的变更记录,并将其转换为事件流以供下游处理。为了保证全量和增量数据同步时数据的一致性、不丢失和不重复读取,FlinkCDC采用了以下策略:一、保证一致性与不丢失1、使用事务当进行全量或增量同步时,Flink......
  • 基于 Flink CDC 打造企业级实时数据集成方案
    基于FlinkCDC打造企业级实时数据集成方案本文整理自阿里云智能Flink数据通道负责人,FlinkCDC开源社区负责人,FlinkPMCMember&Committer徐榜江在2023云栖大会开源大数据专场的分享。本篇内容主要分为三部分:一、CDC数据实时集成的挑战二、FlinkCDC核心技术解读......
  • PGSQL 问题解决
    1服务无法启动 这里更改安装目录bin下面例如E:\WorkingSoftware\PostgreSql\16\bin更改权限,下面都改下 2  安装时提示database出错,就初始化下执行以下命令E:\WorkingSoftware\PostgreSql\16\bin\pg_ctl.exe-DE:\WorkingSoftware\PostgreSql\16\dat......
  • PGSQL 单sql多insert例子
    --INITdatabaseCREATETABLEmsg(msgIdchar(32)PRIMARYKEYcomment'ulid',uidbigintnotnull,contextnotnull);createtableseum(clientIdint,uidbigintnotnull,msgIdchar(32)notnull,cointnotnulldefault0,p......
  • pgsql的向量插件启用问题
    启用向量插件的时候,没有这个类型,因为只是安装还不够,有插件以后需要进表里创建出这个插件的类型这里使用了docker来装有插件的pgsql步骤dockerexec-it8744660338b9/bin/bash进容器psql\wiki(库名)zdk(管理员名称)切换到你要创建插件的库里(这个和你初始化库有......