首页 > 系统相关 >GoldenGate抽取进程extract延迟处理

GoldenGate抽取进程extract延迟处理

时间:2024-04-18 13:13:09浏览次数:29  
标签:抽取 配置文件 GoldenGate Send 进程 extract fetch 延迟

前言

一套GoldenGate环境,已经运行了很多年,一直比较正常,Extract抽取进程基本上没有出现延迟的情况,但这次突然出现抽取延迟,其中一个抽取进程延迟高达50个小时左右。

 

处理过程

1. 当前有两个抽取进程,分别为:E_HXZG、E_SBFSC, 目前出现延迟的是第1个抽取进程。检查该进程的当前状态。

 可以看出,该抽取进程当前正在处理数据,等待了10分钟左右,再次执行send e_hxzg, status命令,发现该进程的处理效率非常低,10分钟左右,才处理了200MB的日志。

2. 检查该抽取进程的配置文件,具体内容如下所示:

 该配置文件,整体上没有问题,但有两个参数,可能对性能有点影响。 getupdatebefores 和 nocompressdeletes,询问现场人员,得知:后续的PUMP进程不会进行filter过滤操作,同样Replicat进程也没有数据统计之类的额外需求。只是单纯的表数据同步。 所以建议屏蔽掉这两个参数,并重启抽取进程。

3. 删除getupdatebefores 和 nocompressdeletes参数后,观察该抽取进程的抽取效率,发现没有太多的改善。

4. 针对该抽取进程,获取pstack和strace信息。

 查看strace的输出,发现每次在read调用时,就卡住好几秒,而write调用就非常快。这应该就是读取时遇到性能问题。

5. 建议收集抽取进程的trace,看看时间都花在哪些位置。
Send <process_name> TRACE </full_path/trace.txt>
等待5分钟
Send <process_name> TRACE off

Send <process_name> TRACE2 </full_path/trace2.txt>
等待5分钟
Send <process_name> TRACE2 off

6. trace日志如下所示。

 可以看出,在抽取hx_zh.gy_zzsfpglxxttb_log这张表时,遭遇了ORA-01555,fetch failed. 然后通过rowid再去fetch数据,最终才fetch成功。 这正好验证了strace命令中为什么每次read时都会卡好几秒。

 

7. 此时, 我们可以在抽取进程的配置文件中添加fetch选项:fetchoptions nousesnapshot ,也即不要通过快照来fetch数据。

8. 添加完该参数后,该抽取进程在两个小时内追平数据。

标签:抽取,配置文件,GoldenGate,Send,进程,extract,fetch,延迟
From: https://www.cnblogs.com/missyou-shiyh/p/18143302

相关文章

  • httprunner 4.x学习 - 04提取(extract)和校验(validate)
    前言支持2种响应结果字段提取方式:1.jmespath表达式:响应结果为JSON结构,采用jmespath表达式进行参数提取。参考教程https://jmespath.org/tutorial.html2.正则表达式(regex):返回的非JSON 格式,可以用正则表达式(regex)提取。需要具备一定的正则知识extract提取返......
  • 一个简单的Java程序,结合HTML页面,用于随机抽取人员
    importjava.util.ArrayList;importjava.util.List;importjava.util.Random;importjava.util.Scanner;publicclassRandomNamePicker{publicstaticvoidmain(String[]args){Scannerscanner=newScanner(System.in);List<String&g......
  • 基于 FFmpeg 的自定义 Media Extractor(2):自定义 Extractor 的实现方法
    文章目录前言C/NDKAPI简介C++API简介实现自定义Extractor编译自定义Extractor参考资料前言在上一篇文章中,简要介绍了Extractor组件选择及创建过程。本文将继续基于Android11探索自定义Extractor的实现,及其接入到Android多媒体框架中的方法。C/NDKA......
  • 提取响应结果,生成全局变量:extract
    importastfromjsonpathimportjsonpathfromapi.tools.handle_attributeimportHandleAttr"""核心功能:鉴权参数依赖提取设置全局变量(设置类属性)"""classHandleExtract:"""思路:1、在excel中新增extract_data,用于存储提取数据的key以及提取......
  • extract函数
    经过extract函数的 变量的值都是string类型这里的if($XY==$XYCTF)条件一开始我是直接赋值XY=0e00275209979,并没有利用extract函数去变量覆盖掉XYCTF因为我想的是在php中:var_dump("Warmup"==0e00506035745);的结果是true的 但是其实变量XY经过extract函数之后0e0......
  • SAP BW 增量抽取报错任务 ODQR_***** 已失败
    修复处理链发现一直报错,报错信息如下: 怀疑是源端的增量出现问题:打开源端,TCODE:ODQMON 选择,双击进入 找到对应的DTP,双击进入  找到增量出错的那条,点击,尝试重新抽取增量,如果不行,看后台任务是否还在运行,如果报错任务直接删掉。然后更新请求状态,变成了红叉,直接运行DTP......
  • Hive的row_number和regexp_extract结合带来的乱码问题
    selectuserid,from_unixtime(createtime,'yyyy-MM-dd')asdateid,regexp_extract(browser,'^([^\\(]*).*$',1)asbrowser,operationsystem,device,row_number()over......
  • 毕业设计:基于深度学习的电影属性抽取及情感分析系统
    前言  ......
  • OGG 抽取进程注册时报OGG-08221 ORA-00001错误总结
    OGG部署时,抽取进程(Extract)注册到数据库时遇到下面错误:REGISTER EXTRACT ***** DATABASEERROROGG-08221CannotregisterorunregisterEXTRACT becauseofthefollowingSQLerror:OCIErrorORA(status=1-ORA-00001:uniqueconstraint(SYSTEM.LOGMNR_SESSION_UK1)......
  • Step by Step Data Replication Using Oracle GoldenGate
    1、Quickstarts2、ConfigureDeployments3、ManageDeploymentsfromtheServiceManager 4、ConfigureDataReplicationProcessesfromtheAdministrationService 5、ConfigurePathstoTransportTraiData 6、MonitorPathsandTrailsfromtheReceiver......