首页 > 系统相关 >GoldenGate抽取进程延迟严重,论FETCHOPTIONS NOUSESNAPSHOT的重要性

GoldenGate抽取进程延迟严重,论FETCHOPTIONS NOUSESNAPSHOT的重要性

时间:2024-11-14 10:43:47浏览次数:1  
标签:抽取 快照 GoldenGate FETCHOPTIONS NOUSESNAPSHOT 进程 ORA Extract 延迟

1、案例概述

同事新搭建的一套GoldenGate环境,刚刚搭建时,Extract抽取进程就已经出现延迟现象,当时想着可能很快就能追平,所以最开始也没当回事。结果两天时间,延迟现象没有缓解,已经累积延迟30多个小时。通过info 或者 stats等命令查看进程状态信息, 发现该Extract抽取进程仍然在工作,只是抽取的速度比较慢。

 

2、处理过程

2.1 同事检查GoldenGate日志,没有发现任何异常的日志,只是Extract抽取进程延迟。 但检查数据库日志时,发现异常现象,数据库后台的alert日志提示大量的ORA-01555快照太旧的错误。

2.2 分析这些ORA-01555快照太旧的错误,发现这些报ORA-01555快照太旧的错误的SQL语句,durations几乎为0,同时SQL语句的格式为: select .... from .... as of scn :SCN where rowid=:ROWID; 这种SQL就非常奇怪,通过as of scn的关键字就可以看出,这是从快照中读取数据。

2.3分析gv$session和gv$sql视图,发现上述这些报ORA-01555快照太旧的错误的SQL语句的执行者竟然是GoldenGate的Extract抽取进程。

2.4 到此,大概明白了Extract抽取进程延迟的原因。 Extract抽取进程在抽取某些列的数据时,有两种选择:要么从快照中抽取,要么直接从表数据中抽取,然而默认是从快照中抽取,如果从快照中抽取失败,就会转而从表数据中抽取。每次都会做相同的操作,从而导致数据库后台日志报大量的ORA-01555快照太旧的错误,同时Extract抽取进程延迟。

2.5 明白了这个工作原理后,解决这个问题就非常简单了,直接在Extract抽取进程的配置文件中添加FETCHOPTIONS NOUSESNAPSHOT参数。也即改变抽取进程的默认行为,当需要抽取某些列的数据时,不从快照抽取,直接从表数据中抽取。

2.6 添加参数后,重启Extract抽取进程,观察发现Extract抽取进程工作效率大幅提升,累积延迟了30多个小时的数据,在短短的20分钟内追平。

 

标签:抽取,快照,GoldenGate,FETCHOPTIONS,NOUSESNAPSHOT,进程,ORA,Extract,延迟
From: https://www.cnblogs.com/missyou-shiyh/p/18545511

相关文章

  • [数据集成/数据同步] 基于数据库增量日志的数据同步方案 : Flink CDC/Debezium/DataX/
    1概述简述:CDC/增量数据同步CDC的全称是ChangeDataCapture(增量数据捕获)在广义的概念上,只要能捕获数据变更的技术,我们都可以称为CDC。我们目前通常描述的CDC技术主要面向数据库的变更,是一种用于捕获数据库中数据变更的技术。CDC的技术实现方案基于查询......
  • 一个使用Oracle GoldenGate实现数据复制的例子
    OracleGoldenGate是一种数据复制和实时数据集成软件,用于在不同数据库之间进行数据同步和复制。以下是一个使用OracleGoldenGate实现数据复制的例子:假设我们有两个Oracle数据库实例:源数据库(source)和目标数据库(target),我们希望将源数据库中的某个表的数据实时复制到目标数据库......
  • GoldenGate抽取进程extract延迟处理
    前言一套GoldenGate环境,已经运行了很多年,一直比较正常,Extract抽取进程基本上没有出现延迟的情况,但这次突然出现抽取延迟,其中一个抽取进程延迟高达50个小时左右。 处理过程1.当前有两个抽取进程,分别为:E_HXZG、E_SBFSC,目前出现延迟的是第1个抽取进程。检查该进程的当前状态......
  • Step by Step Data Replication Using Oracle GoldenGate
    1、Quickstarts2、ConfigureDeployments3、ManageDeploymentsfromtheServiceManager 4、ConfigureDataReplicationProcessesfromtheAdministrationService 5、ConfigurePathstoTransportTraiData 6、MonitorPathsandTrailsfromtheReceiver......
  • GoldenGate高可用管理组件-XAG部署与管理
    适用范围适用于OracleRAC集群环境,并在创建ACFS共享文件系统中部署GoldenGate软件前提下,部署xag高可用组件对GoldenGate进行高可用管理。实施步骤1.安装XAG#在安装OGG的节点安装xag#使用grid用户安装unzipxagpack_7b.zip-d/tmpcd/tmp/xag./xagsetup.sh--install--directo......
  • GoldenGate之日常维护与管理
    适用范围适用于GoldenGate进程日常维护与管理。GoldenGate日常维护与管理1.检查OGG进程的参数文件#在启动OGG进程前,使用checkprm检查参数的合法性cd$OGG_HOME./checkprmhelp./checkprm./dirprm/extenmo1-Cextract-Mintegratedextract-V#说明-COGG组件名称-Mmod......
  • goldengate add trandata显示最小附加日志already enable,但是info trandata显示disabl
    问题描述:数据库版本11.2.0.4,操作系统版本:windowsserver2012,goldengate版本12.1.2.1.0在给ogg同步表添加trandata的时候,提示supplementalredologdataisalreadyenabled。但是使用infotrandata查看的时候,却显示supplementalredologdataisdisabled。  这时通过......
  • ERROR OGG-01224 Oracle GoldenGate Capture for Oracle, p_lion.prm: Address al
    我的ogg版本OracleGoldenGateCommandInterpreterforOracleVersion12.3.0.1.4OGGCORE_12.3.0.1.0_PLATFORMS_180415.0359_FBOLinux,x64,64bit(optimized),Oracle11gonApr15201821:16:09OperatingsystemcharactersetidentifiedasUTF-8.报错信息2023......
  • goldengate DDL 配置
    ORACLEDDL复制原理DDL复制原理基于数据库全局Trigger的复制,在源数据建立一个Oracle全库级别的Trigger捕捉DDL操作到中间表,Extract读取中间表DDL语句并与DML语句根据scn排序,Pump投递到目标端,目标端Replicat在重现该DDL语句DDL复制和DML复制的区别(1).DDL复制是基于Trigger(2).DML......
  • Oracle GoldenGate Free 安装
    一些预备安装了docker网络可以连接容器仓库(oracle的)包含oracle账户运行拉取docker镜像dockerpullcontainer-registry.oracle.com/goldengate/goldengate-free:21.9.0.0-oracle启动version:'3'services:app:image:c......