首页 > 其他分享 >OB导数工具使用经验分享

OB导数工具使用经验分享

时间:2024-04-13 16:13:23浏览次数:25  
标签:thread 导数 no -- 导出 OB 导入 table 分享

一、前言

OBDUMPER/OBLOADER是OceanBase官方推出的数据导出导入工具,可以用于OB租户间的数据迁移,对OB租户进行逻辑备份。不同于MySQL的MyDumper是C语言开发,OBDUMPER/OBLOADER是由java语言开发,因此它具备跨平台兼容性(x86/arm)。关于OBDUMPER/OBLOADER是一个功能非常丰富的工具,其使用方法在官方文档上面描述的已经很详细了,包括命令行选项、使用示例、参数调优等。如何使用该工具本文就不再赘述了,可以参考官方文档,本文主要想分享一些我使用这个工具的一些经验和踩过的坑。

二、旁路导入

旁路导入的原理就是使用LOAD DATA /*+ direct */而非INSERT导入数据,所以需要设置用户file权限,开启secure_file_priv参数,具体可以参考OCEANBASE官方文档的load data部分:https://www.oceanbase.com/docs/common-oceanbase-database-cn-1000000000218027。加--direct 代表开启旁路导入,旁路导入可以绕过 SQL 层的接口,直接在 data 文件中直接分配空间并插入数据,从而提高数据导入的效率。这个和MySQL的load data有点相似,但又不太一样,OB的load的其实是转换为insert插入,只有加上hint语法/*+ direct */ 才会开启旁路导入。

导入时遇到一个报错:'no files are available',需要检查目录是否挂载在每个observer下,以及目录的权限。

三、表结构导出

对于obdumper428之前的版本,在对oracle租户下大量表的表结构进行导出时,需要查询系统视图反拼语句,而对于ob的系统视图的性能一直是一个问题,所以这种场景下很容易出现卡死或导出慢等性能问题。从obdumper428版本开始,支持使用show create table导出,解决了之前版本需要进行复杂的系统视图查询而带来的性能问题。对于oceanbase oracle 4.0.0之前的版本,使用--no-sys 选项将开启使用show create table方式导出;对于oceanbase oracle 4.0.0 及之后的版本,使用新增选项--compact-schema 开启show create table方式导出。但需要注意的是使用show create table方式导出,对于oceanbase oracle 2.2.7~4.0.0版本,无法导出分区表的唯一索引定义。虽然ob的oracle租户也支持show create table语法,但只能导出表结构,对于创建索引的语句还是需要通过查询系统视图反拼语句。

四、其他注意事项

1. 对于大数据量的表如果要先清除,使用--truncate-table而不用--delete-from-table,避免造成大事务删除缓慢。生产环境建议手动清空;

2. 导入导出时报错timeout,可以在配置文件conf里修改sql执行超时参数:{ob-loader-dumper}/conf/session.config.json ;

3. --all与--table '*'的区别,--all表示所有对象、包括视图等,--table表示仅导出表;

4. --thread参数用于设置导出时的并发数,默认会使用本机的CPU 乘以 2,所以如果是在observer上进行导出,那一定要设置这个参数在一个合理的值,避免打爆observer的cpu;

下面是在数据迁移时常用的几个命令:

表结构导出与导入
./obdumper -h xx.x.x.x -P 2883 -u test@mysql#cluster_a -p ****** --no-sys -D USERA --ddl --table '*' --thread=8 -f /output
./obloader -h xx.x.x.x -P 2883 -u test@mysql#cluster_a -p ****** --no-sys -D USERA --ddl --table '*' --thread=8 -f /output

数据导出与导入
./obdumper -h xx.x.x.x -P 2883 -u test@mysql#cluster_a -p ****** --no-sys -D USERA --csv --table '*' --thread=8 -f /output
./obloader -h xx.x.x.x -P 2883 -u test@mysql#cluster_a -p ****** --no-sys -D USERA --csv --table '*' --thread=8 -f /output

表结构与数据导出导入
./obdumper -h xx.x.x.x -P 2883 -u test@mysql#cluster_a -p ****** -D USERA --ddl --csv --no-sys --table '*' --thread=8 -f /output
./obloader -h xx.x.x.x -P 2883 -u test@mysql#cluster_a -p ****** -D USERA --ddl --csv --no-sys --table '*' --thread=8 -f /output

 

标签:thread,导数,no,--,导出,OB,导入,table,分享
From: https://www.cnblogs.com/coygfly/p/18130672

相关文章

  • P1480 A/B Problem
    P1480A/BProblem题目描述输入两个整数\(a,b\),输出它们的商。输入格式两行,第一行是被除数,第二行是除数。输出格式一行,商的整数部分。样例输入102输出5提示\(0\lea\le10^{5000}\),\(1\leb\le10^9\)。思路通过题目数据范围可以发现是高精度除以单精度的题目......
  • P1303 A*B Problem
    P1303A*BProblem题目给出两个非负整数,求它们的乘积。输入输入共两行,每行一个非负整数。输出输出一个非负整数表示乘积。样例输入12输出2提示每个非负整数不超过\(10^{2000}\)。思路根据题意,乘数的数据最大范围是\(10^{2000}\),需要使用高精度乘高精度的算......
  • Cobalt Strike 与 MSF 联动
    使用CobaltStrike生成的会话和MSF相互连接,在内网渗透中,可以方便后期的渗透。一、CobaltStrike连接MSF会话1.上线msf会话msfvenom-pwindows/meterpreter/reverse_tcplhost=192.168.0.106lport=4422-fexe>backdoor.exe2.python开启web服务,下载木马python3-mhtt......
  • Adobe Illustrator 2024 v28.4.1 (macOS, Windows) - 矢量绘图
    AdobeIllustrator2024v28.4.1(macOS,Windows)-矢量绘图Acrobat、AfterEffects、Animate、Audition、Bridge、CharacterAnimator、Dimension、Dreamweaver、Illustrator、InCopy、InDesign、LightroomClassic、MediaEncoder、Photoshop、PremierePro、AdobeXD请访......
  • Adobe Lightroom Classic v13.2 (macOS, Windows) - 桌面照片编辑
    AdobeLightroomClassicv13.2(macOS,Windows)-桌面照片编辑Acrobat、AfterEffects、Animate、Audition、Bridge、CharacterAnimator、Dimension、Dreamweaver、Illustrator、InCopy、InDesign、LightroomClassic、MediaEncoder、Photoshop、PremierePro、AdobeXD......
  • Adobe Acrobat Pro DC 2024 (macOS, Windows) - 创建、转换和编辑 PDF
    AdobeAcrobatProDC2024(macOS,Windows)-创建、转换和编辑PDFAdobeAcrobatPDFsoftware请访问原文链接:https://sysin.org/blog/adobe-acrobat/,查看最新版。原创作品,转载请保留出处。作者主页:sysin.orgAcrobat:创建、转换和编辑PDF借助Acrobat实现各种文件创建P......
  • Adobe Animate 2024 v24.0.2 (macOS, Windows) - 动画制作
    AdobeAnimate2024v24.0.2(macOS,Windows)-动画制作Acrobat、AfterEffects、Animate、Audition、Bridge、CharacterAnimator、Dimension、Dreamweaver、Illustrator、InCopy、InDesign、LightroomClassic、MediaEncoder、Photoshop、PremierePro、AdobeXD请访问原......
  • Adobe Bridge 2024 v14.0.3 (macOS, Windows) - 集中管理创意资源
    AdobeBridge2024v14.0.3(macOS,Windows)-集中管理创意资源Acrobat、AfterEffects、Animate、Audition、Bridge、CharacterAnimator、Dimension、Dreamweaver、Illustrator、InCopy、InDesign、LightroomClassic、MediaEncoder、Photoshop、PremierePro、AdobeXD......
  • CF1618G Trader Problem 题解
    CF1618GTraderProblem题解题目链接:CF|洛谷提供一个在线做法。分析1我们不妨把\(a\)和\(b\)合并为一个序列,称合并后的序列为\(c\),并将其不降序排序。把玩样例后不难发现:对于一个物品序列\(c_1,c_2,\cdots,c_l\),满足\(\foralli<l,c_{i+1}-c_i\lek\)(即任意......
  • 基于开源IM即时通讯框架MobileIMSDK:RainbowChat v11.5版已发布
    关于MobileIMSDKMobileIMSDK是一套专门为移动端开发的开源IM即时通讯框架,超轻量级、高度提炼,一套API优雅支持UDP 、TCP 、WebSocket 三种协议,支持iOS、Android、H5、小程序、Uniapp、标准Java平台,服务端基于Netty编写。工程开源地址是:1)Gitee码云地址:https://gitee.com/ja......