首页 > 其他分享 >LightDB-ETL迁移工具常用问题排查

LightDB-ETL迁移工具常用问题排查

时间:2023-10-26 17:48:08浏览次数:32  
标签:LightDB constraint global 排查 ac1 ETL 迁移 QRTZ etl

1、无法删除约束
根据以下SQL查询oracle目标库,如果约束名称包含小写字母,则迁移工具无法删除,它默认是按照大写处理的。

SELECT ac1.constraint_name,
       DBMS_METADATA.get_ddl('REF_CONSTRAINT', ac1.constraint_name, ac1.owner)
FROM all_constraints ac1
         JOIN all_constraints ac2 ON ac1.r_owner = ac2.owner AND ac1.r_constraint_name = ac2.constraint_name
WHERE ac1.constraint_type = 'R'
  and ac2.owner = UPPER('dbtrade')

SQL中的dbtrade是Oracle用户名称。
此时需要将原来大小写区分的约束删除后,建成大写名称的约束。
比如通过以下SQL完成约束的重建

alter table "DBTRADE"."QRTZ_CRON_TRIGGERS" drop CONSTRAINT "QRTZ_CRON_TRIGGERS_ibfk_1";
ALTER TABLE "DBTRADE"."QRTZ_CRON_TRIGGERS" ADD CONSTRAINT QRTZ_CRON_TRIGGERS_ibfk_1 FOREIGN KEY ("SCHED_NAME", "TRIGGER_NAME", "TRIGGER_GROUP")
    REFERENCES "DBTRADE"."QRTZ_TRIGGERS" ("SCHED_NAME", "TRIGGER_NAME", "TRIGGER_GROUP") ENABLE

2、如何迁移单个表
可以通过以下配置支持迁移单个表
etl.global.excludeTableRegexp=^test$

3、如何正确迁移
如果视图依赖其他schema中的表,则必须分两次迁移,迁移的顺序为
第一次完成表和数据的迁移:etl.global.enableFunctions=TransferTable,TransferTableData,TransferIndex,TransferSequence
第二次完成依赖对象的迁移:etl.global.enableFunctions=TransferView,TransferTrigger,TransferPackage,TransferProcedure,TransferFunction

4、如何加快迁移速度
如果被迁移的多个schema之间不存在依赖关系,则可以一次性完成所有数据的迁移。
迁移线程数和单次迁移数据量可动态调整,可以增大以下配置加快迁移速度,但同时会消耗更多的资源

etl.global.batchCount=100000
etl.global.concurrentThreadCount=32

迁移时可以在lightdb连接地址上开启以下参数加快迁移速度
jdbc:postgresql://10.20.30.218:5436/etl?options=-c%20search_path=hr,public,oracle,lt_catalog%20&reWriteBatchedInserts=true

标签:LightDB,constraint,global,排查,ac1,ETL,迁移,QRTZ,etl
From: https://www.cnblogs.com/zhuxudong/p/17789934.html

相关文章

  • 服务器常见问题排查(一)——cpu占用高、上下文频繁切换、频繁GC
    一般而言cpu异常往往还是比较好定位的。原因包括业务逻辑问题(死循环)、频繁gc以及上下文切换过多。而最常见的往往是业务逻辑(或者框架逻辑)导致的,可以使用jstack来分析对应的堆栈情况。使用jstack排查占用率问题当使用jstack排查占用率问题时,可以按照以下步骤进行:首先,使用......
  • 数据平面的故障排查-《Istio最佳实践》第19章
    https://blog.csdn.net/qq_36073886/article/details/1311169791、krew是一个可以轻松使用kubectl插件的工具,类似于apt、dnf或brew等工具。安装过程见链接1。wgethttps://github.com/kubernetes-sigs/krew/releases/latest/download/krew-linux_amd64.tar.gztar-zxvfkrew-linux......
  • lightdb支持@dblink方式访问oracle
    在lightdb23.4版本开始,兼容了oracle中通过@dblink方式跨库访问oracle库中表的方式。以下为具体的实现方案:*假设在oracle库中存在表youyus(t1int,co1number(2),co2varchar(100),co3varchar2(40))1.在lightdb对应的业务库中创建oracle_fdw插件lightdb@testdb=#createe......
  • ETL工具与数据处理的关系​
    ETL工具与数据处理之间存在密切的关系。数据处理是指对原始数据进行清洗、整理、加工和分析等操作,以便生成有用的信息和洞察力。而ETL工具则提供了一种自动化和可视化的方式来执行这些数据处理任务。通过ETL工具,用户可以定义数据抽取、转换和加载的规则和流程,实现数据从不同来源系......
  • 模型推理batch inference速度无明显提升、耗时线性增长问题排查
    模型推理batchinference速度无明显提升、耗时线性增长问题排查现象描述当模型在推理阶段使用batchinference时,推理速度并无明显提升,相比单帧多次推理收益不大。如笔者在Xavier上测试某模型结果batchsize推理时间ms折算耗时ms/img111.2311.23220.3910.20......
  • ETL实现实时文件监听
    一、实时文件监听的作用及应用场景实时文件监听是一种监测指定目录下的文件变化的技术,当产生新文件或者文件被修改时,可实时提醒用户并进行相应处理。这种技术广泛应用于数据备份、日志管理、文件同步和版本控制等场景,它可以帮助用户及时发现和解决问题,提高工作效率。应用场景包括但......
  • js_doucment.styleSheets获取StyleSheetList接口
    通过document.styleSheets可以获取到一个StyleSheetList接口constaStyleList=document.styleSheetsconsole.log(aStyleList.constructor.name)//StyleSheetListconsole.log(Object.prototype.toString.call(aStyleList))//[objectStyleSheetList]console.log(Arra......
  • 服务器无法安装系统以及整个公司不能上网的排查和解决
    今天有两客户来求助,一家是H3C服务器无法安装Centos系统,另外一家是网络故障,不能上网。盼着H3C服务器早上送到,下午就能跑现场解决网络故障了。可是,服务器到了11点半才到,赶紧开机看看什么情况,一是报内存错误,提示可能无法被操作系统识别;二是提示磁盘阵列配置错误。拔下内存条,金手指擦干......
  • 记敏感词导致系统登录无任何反应的排查
           客户处经常反馈系统动不动就不能正常登录,而我们在公司环境中各种测试,就是不能重现出来。这种令人恼火的Bug,追了很长时间。       今天终于忍不住决心找下原因,用谷歌浏览器F12下各种追查无果。客户用的奇安信浏览器,下载安装后继续追查无果,下载......
  • linux网络故障排查
    在日常使用中,经常会出现无法连通的情况,这个时候我们就需要找到问题出在哪里,这里面给各位提供一个生产环境排查网络故障的大体思路,一般情况下如果遇到网络故障,都是通过筛选的方式一点一点的确定问题所在,首先判断是本机的问题还是网络上其它设备的问题,如果同一网络环境中的其它主机......