首页 > 其他分享 >obloader 基于典型场景数据导入

obloader 基于典型场景数据导入

时间：2023-05-24 12:44:59浏览次数：44  
标签：24 INFO 场景 05 -- 09 导入 obloader 10

作者：刘书盛

热衷技术分享、编写技术文档

原创作品

oceanbase 数据库

原创内容未经授权不得随意使用，转载请联系小编并注明来源,谢谢！

预处理函数：

函数签名返回类型描述
LOWER(char) String 对参数值中的字母转换为小写。 参数值可以是列名、常量或者嵌套表达式。当参数值是常量时，请使用单引号。 示例：LOWER('A')。
LTRIM(char[,set]) String 对参数值从左到右进行匹配并截断操作。 参数 char 的值可以是列名、常量或函数表达式。参数 set 的值是常量。若省略参数 set，则默认按照空格进行匹配。 示例：LTRIM(' abc ')。
RTRIM(char[,set]) String 对参数值从右到左进行匹配并截断操作。 参数 char 的值可以是列名、常量或函数表达式，参数 set 的值是常量。若省略参数 set，则默认按照空格进行匹配。 示例：RTRIM(' abc ')。
SUBSTR(char,position[,length ]) String 对参数值根据起始位置与长度进行截断。 参数 char 的值可以是列名、常量或函数表达式，参数 position 的值是数值型常量，参数 length 的值是数值型常量。 示例：SUBSTR('abc',0,3)。
TRIM(char) String 对参数值的左右两端进行空格截断。参数 char 的值可以是列名、常量或函数表达式。 示例：TRIM(' abc ')。
REVERSE(char) String 对参数值进行逆序操作。 示例：REVERSE("C1") 将颠倒 C1 列值的字符串顺序。
UPPER(char) String 对参数值中的字母转换为大写。 参数 char 的值可以是列名、常量或者嵌套表达式。当值为常量时，请使用单引号。 示例：UPPER('a')。
NANVL(char, default) String 对参数值进行数值合法验证，若验证失败，则返回默认值。 参数 char 的值可以是列名、常量或函数表达式，参数 default 的值是常量。 示例：NANVL('1','1')。
REPLACE(char,search[,replacement ]) String 对参数值根据搜索条件进行替换。 参数 char 的值可以是列名、常量或函数表达式，参数 search 的值是常量，参数 replacement 的值是常量。 示例：REPLACE('abc','a','A')。
NVL(char, default) String 对参数值进行判空，若为空，则返回默认值。 参数 char 的值可以是列名、常量或函数表达式，参数 default 的值是常量。 示例：NVL('a','--')。
TO_TIMESTAMP(char,fmt1[,fmt2]) String 对参数值进行日期格式化，若转换失败返回 NULL。 参数 char 的值可以是列名、常量或函数表达式，参数 fmt1 的值是日期解析模板，可选参数 fmt2 的值是日期格式化模板。 参数 fmt2 返回值的默认格式：yyyy-MM-dd HH:mm:ss.SSS。
LENGTH(char) String 对参数值进行长度计算。 参数 char 的值可以是列名、常量或函数表达式。
LPAD(char,length[,pad_string]) String 对参数值从左侧追加指定长度的字符，若指定的长度小于参数长度则截断。 参数 char 的值可以是列名、常量或函数表达式，参数 length 和 pad_string 的值是常量，且参数 pad_string 的值要求传入单字节字符。 示例：LPAD('a',1,'x')。
RPAD(char,length[,pad_string]) String 对参数值从右侧追加指定长度的字符，指定的长度小于参数长度则截断。 参数 char 的值可以是列名、常量或函数表达式，参数 length 和 pad_string 的值是常量，且参数 pad_string 的值要求传入单字节字符。 示例：RPAD('a',1,'x')。
CONVERT(char,charset1[,charset2]) String 对参数值进行字符编码转换。 参数 char 的值可以是列名、常量或函数表达式，参数 charset1 和 charset2 的值是常量。 示例：CONVERT('a','utf-8','gbk')。
CONCAT(char1,char2) String 对参数值进行拼接。 参数 char1 和 char2 的值可以是列名、常量或函数表达式。 示例：CONCAT('a','b')。
NONE String 对参数不作任何处理，直接返回参数值。
SYSTIMESTAMP String 对参数不作任何处理，直接返回当前机器的时间戳。 默认格式：yyyy-MM-dd HH:mm:ss.SSS。
SYSDATE String 对参数不作任何处理，直接返回当前机器的日期。 默认格式：yyyy-MM-dd HH:mm:ss。
CONSTANT(char) String 对参数不作任何处理，直接返回定义的常量值。参数 char 的值是常量。 示例：CONSTANT('1')。
TMSFMT(char,fmt1,default,fmt2) String 对参数进行日期格式验证，若验证失败，则返回默认的日期格式。 示例：TMSFMT(c1,'yyyyMMddHHmmssSSS','2021-03-10 00:00:00.000','yyyy-MM-dd HH:mm:ss.SSS')。
LPADB(char,byte_size[,pad_char]) String 对参数值从左侧追加指定长度的字节，指定的长度小于参数长度则截断。 参数 char 的值可以是列名、常量或函数表达式，参数 byte_size 和 pad_char 的值是常量。 示例：LPADB('a',1,'x')。
RPADB(char,byte_size[,pad_char]) String 对参数值从右侧追加指定长度的字节，指定的长度小于参数长度则截断。 参数 char 的值可以是列名、常量或函数表达式，参数 byte_size 和 pad_char 的值是常量。 示例：RPADB('a',1,'x')。
MASK(string str[, string upper[, string lower[, string number]]]) String 对字段中的大小写字母、数字进行脱敏操作。 示例：MASK("C1"，A，a，b) ，将 C1 列的大写字母转换为字母 A，小写字母转化为 a，数字转换为 b。
MASK_FIRST_N(string str[, int n]) String 指定对字段值的前 n 个字符进行脱敏操作。 示例：MASK_FIRST_N("C1"，'A','a','b'，5)，将 C1 列的前 5 个字符中的大写字母转换为字母 A，小写字母转化为 a，数字转换为 b。
MASK_LAST_N(string str[, int n]) String 指定对字段值的后 n 个字符进行脱敏操作。 示例：MASK_LAST_N("C1"，'A','a','b'，5)，将 C1 列的后 5 个字符中的大写字母转换为字母 A，小写字母转化为 a，数字转换为 b。
MASK_SHOW_FIRST_N(string str[, int n]) String 指定对除前 n 个字符之外的所有字符进行脱敏操作。 示例：MASK_SHOW_FIRST_N("C1"，'A','a','b'，5)，将 C1 列的除前 5 个字符之外的所有字符中的大写字母转换为字母 A，小写字母转化为 a，数字转换为 b。
MASK_SHOW_LAST_N(string str[, int n]) String 指定对除后 n 个字符之外的所有字符进行脱敏操作。 示例：MASK_SHOW_LAST_N("C1"，'A','a','b'，5)，将 C1 列的除后 5 个字符之外的所有字符中的大写字母转换为字母 A，小写字母转化为 a，数字转换为 b。
SEQUENCE(int m,int n) String 对指定的列生成递增的序列值，m 代表初始值，n 代表递增值。 示例：SEQUENCE(100,1) 生成初始值为 100，递增值为 1 的序列。
DB_SEQUENCE(string sequence) String 指定数据库中已定义的序列导入数据。 示例：DB_SEQUENCE(seq01)，指定序列值为 seq01。说明 OBLOADER 4.1.0 及之后的版本支持该功能。

场景1. 文件中的字段比数据表中的字段多

通过Obloader 控制文件对导入数据进行处理
#文件模板.ctl
lang=java 
(
  列名 字节偏移位置(可选) "预处理函数"（可选） 映射定义（可选）,
  列名 字节偏移位置(可选) "预处理函数"（可选） 映射定义（可选）,
  列名 字节偏移位置(可选) "预处理函数"（可选） 映射定义（可选）,
  列名 字节偏移位置(可选) "预处理函数"（可选） 映射定义（可选）
);
​
#举例
lang=java
server=mysql|oracle (     
    c1 "nvl(c1, 'not null')" map(field_position),     
    c2 "none" map(field_position)
);
注意：
field_position 为导入的数据文件中预处理数据的列位置。
控制文件的命名规范为 <表名>.ctrl。
对于 --cut, --csv, --sql 格式数据，无需定义字节偏移位置。
预处理函数定义请参考 预处理函数
#导入文件
[root@10-186-63-38 bin]# cat /tmp/backup/data/test/TABLE/t1.1.0.csv
'a','b','c','d'
1,66662,111111111,555
3,44444,111111111,555
5,33336,111111111,555
6,22226,111111111,555
7,66664,111111111,555
8,88882,111111111,555
​
#t1表定义
obclient [test]> desc t1;
+-------+---------+------+-----+---------+-------+
| Field | Type    | Null | Key | Default | Extra |
+-------+---------+------+-----+---------+-------+
| a     | int(11) | NO   | PRI | NULL    |       |
| b     | int(11) | YES  | MUL | NULL    |       |
| c     | int(11) | YES  |     | NULL    |       |
+-------+---------+------+-----+---------+-------+
3 rows in set (0.037 sec)
​
#定义obloader控制文件t1.ctl    文件路径：/tmp/t1.ctl
vi /tmp/t1.ctl
lang=java
server=mysql|oracle (          
    a "none" map(1),     
    b "none" map(2),
    c "none" map(4)
);
​
控制文件解释：
server  指定数据库为mysql或者oracle，不写也行
a、b、c为表定义实际列
map(1)、map(2)、map(3) 为导入数据文件中实际列，1为第一列，2位第二列，3位第三列
#导入数据，导入数据文件列多余数据库表列
确认数据为空
obclient [test]> select * from t1;
Empty set (0.025 sec)
​
导入数据，--column-splitter 
./obloader -h 10.186.63.38 -P 2883 -uroot -p 'aaAA11__' --sys-password='Wa33Wa33?*' -c demo -t ten_mysql -D test --csv --column-splitter ',' --replace-data  --ctl-path '/tmp/t1.ctl' --table 't1' -f /tmp/backup/
#参数解释
--column-splitter   指定列分隔符
--replace-data      标识替换重复的数据
--ctl-path          控制文件位置
​
[root@10-186-63-38 bin]# ./obloader -h 10.186.63.38 -P 2883 -uroot -p 'aaAA11__' --sys-password='Wa33Wa33?*' -c demo -t ten_mysql -D test --csv --column-splitter ',' --replace-data  --ctl-path '/tmp/t1.ctl' --table 't1' -f /tmp/backup/
2023-05-24 09:57:09 [INFO] Parsed args:
[--csv] true
[--ctl-path] /tmp/t1.ctl
[--file-path] /tmp/backup/
[--column-splitter] ,
[--host] 10.186.63.38
[--port] 2883
[--user] root
[--tenant] ten_mysql
[--cluster] demo
[--password] ******
[--database] test
[--sys-user] root
[--sys-password] ******
[--table] [t1]
[--replace-data] true
2023-05-24 09:57:09 [INFO] Load jdbc driver class: "com.oceanbase.jdbc.Driver" finished
2023-05-24 09:57:09 [INFO] Manifest: "/tmp/backup/data/MANIFEST.bin" has been saved
2023-05-24 09:57:10 [INFO] Parse ctrl definition: "/tmp/t1.ctl" success
2023-05-24 09:57:10 [INFO] File: "/tmp/backup/data/test/TABLE/t2.3.0.csv" is not contained, ignore it
2023-05-24 09:57:10 [INFO] Binding table: "t1" to the file: "/tmp/backup/data/test/TABLE/t1.1.0.csv" finished
2023-05-24 09:57:10 [INFO] File: "/tmp/backup/data/test/TABLE/t2.2.0.csv" is not contained, ignore it
2023-05-24 09:57:10 [INFO] File: "/tmp/backup/data/test/TABLE/t2.4.0.csv" is not contained, ignore it
2023-05-24 09:57:10 [INFO] Find 1 resources in local path: "/tmp/backup" success. Elapsed: 57.43 ms
2023-05-24 09:57:10 [INFO] Split 1 data files to 1 subfiles by 64.0 MB success. Elapsed: 20.05 ms
2023-05-24 09:57:10 [INFO] Ignore to clean any tables as --truncate-table or --delete-from-table is not specified
2023-05-24 09:57:10 [INFO] Query table entry and primary key for table: "t1" finished. Remain: 0
2023-05-24 09:57:10 [INFO] Query the leader location of "t1" finished. Remain: 0
2023-05-24 09:57:10 [INFO] Calculate leader: 10.186.63.39:2881 of table "t1", part: 0. Remain: 0
2023-05-24 09:57:10 [INFO] Waiting to refresh observer load status ......
2023-05-24 09:57:10 [INFO] Refresh observer load status success. Table: "t1". Remain: 0
2023-05-24 09:57:10 [INFO] Refresh observer load status finished. Elapsed: 46.46 ms
2023-05-24 09:57:10 [INFO] Use c.l.d.LiteBlockingWaitStrategy as available cpu(s) is 4
2023-05-24 09:57:10 [INFO] Create 16 slots for ring buffer finished. [10.186.63.39:2881]
2023-05-24 09:57:10 [INFO] Start 8 database writer threads finished. [10.186.63.39:2881]
2023-05-24 09:57:10 [INFO] Start 8 record file reader threads success
2023-05-24 09:57:10 [INFO] File: "/tmp/backup/data/test/TABLE/t1.1.0.csv" has been parsed finished
2023-05-24 09:57:11 [INFO] Wait for the all the workers to drain of published events then halt the workers
2023-05-24 09:57:11 [INFO] Close connection count: 5 of the DataSource. Key: BIZ
2023-05-24 09:57:11 [INFO] Close connection count: 25 of the DataSource. Key: SYS
2023-05-24 09:57:11 [INFO] Shutdown task context finished
2023-05-24 09:57:11 [INFO] ----------   Finished Tasks: 1       Running Tasks: 0        Progress: 100.00%       ----------
2023-05-24 09:57:11 [INFO]
All Load Tasks Finished:
----------------------------------------------------------------------------------------------------------------------------
        No.#        |        Type        |             Name             |            Count             |       Status
----------------------------------------------------------------------------------------------------------------------------
         1          |       TABLE        |              t1              |            6 -> 6            |      SUCCESS
----------------------------------------------------------------------------------------------------------------------------
Total Count: 6          End Time: 2023-05-24 09:57:11
2023-05-24 09:57:11 [INFO] Load record finished. Total Elapsed: 1.891 s
2023-05-24 09:57:11 [INFO] System exit 0
​
#查看导入数据
obclient [test]> select * from t1;
+---+-------+------+
| a | b     | c    |
+---+-------+------+
| 1 | 66662 |  555 |
| 3 | 44444 |  555 |
| 5 | 33336 |  555 |
| 6 | 22226 |  555 |
| 7 | 66664 |  555 |
| 8 | 88882 |  555 |
+---+-------+------+
6 rows in set (0.002 sec)

场景2. 文件中的字段比数据表中的字段少 

#导入数据
[root@10-186-63-38 bin]# cat /tmp/backup/data/test/TABLE/t2.2.0.csv
'a','b','c','d'
1,66662,111111111,555
3,44444,111111111,555
5,33336,111111111,555
6,22226,111111111,555
7,66664,111111111,555
8,88882,111111111,555
#表结构
obclient [test]> desc t2;
+-------+---------+------+-----+---------+-------+
| Field | Type    | Null | Key | Default | Extra |
+-------+---------+------+-----+---------+-------+
| c1    | int(11) | NO   | PRI | NULL    |       |
| c2    | int(11) | YES  |     | NULL    |       |
| c3    | int(11) | YES  |     | NULL    |       |
| c4    | int(11) | YES  |     | NULL    |       |
| c5    | int(11) | YES  |     | NULL    |       |
+-------+---------+------+-----+---------+-------+
5 rows in set (0.100 sec)
#编写控制文件,导入数据列少于表定义列，如果对多不处理，则c5列不写，数据为空NULL
vi /tmp/t2.ctl
lang=java
server=mysql (
    c1 "none" map(1),
    c2 "none" map(2),
    c3 "none" map(4),
    c4 "none" map(3),
    c5 "none" map(2)
);
#确认数据为空
obclient [test]> select * from t2;
Empty set (0.097 sec)
​
#导入数据
 cd /root/ob-loader-dumper-4.2.1-RELEASE/bin
 ./obloader -h 10.186.63.38 -P 2883 -uroot -p 'aaAA11__' --sys-password='Wa33Wa33?*' -c demo -t ten_mysql -D test --csv --column-splitter ',' --replace-data  --ctl-path '/tmp/t2.ctl' --table 't2' -f /tmp/backup/
[root@10-186-63-38 bin]# ./obloader -h 10.186.63.38 -P 2883 -uroot -p 'aaAA11__' --sys-password='Wa33Wa33?*' -c demo -t ten_mysql -D test --csv --column-splitter ',' --replace-data  --ctl-path '/tmp/t2.ctl' --table 't2' -f /tmp/backup/
2023-05-24 10:21:07 [INFO] Parsed args:
[--csv] true
[--ctl-path] /tmp/t2.ctl
[--file-path] /tmp/backup/
[--column-splitter] ,
[--host] 10.186.63.38
[--port] 2883
[--user] root
[--tenant] ten_mysql
[--cluster] demo
[--password] ******
[--database] test
[--sys-user] root
[--sys-password] ******
[--table] [t2]
[--replace-data] true
​
2023-05-24 10:21:07 [INFO] Load jdbc driver class: "com.oceanbase.jdbc.Driver" finished
2023-05-24 10:21:07 [INFO] Manifest: "/tmp/backup/data/MANIFEST.bin" has been saved
2023-05-24 10:21:07 [INFO] Parse ctrl definition: "/tmp/t2.ctl" success
2023-05-24 10:21:07 [INFO] Found 1 empty tables before executing.... Elapsed: 42.03 ms
2023-05-24 10:21:07 [INFO] File: "/tmp/backup/data/test/TABLE/t1.1.0.csv" is not contained, ignore it
2023-05-24 10:21:08 [INFO] Binding table: "t2" to the file: "/tmp/backup/data/test/TABLE/t2.2.0.csv" finished
2023-05-24 10:21:08 [INFO] Find 1 resources in local path: "/tmp/backup" success. Elapsed: 18.52 ms
2023-05-24 10:21:08 [INFO] Split 1 data files to 1 subfiles by 64.0 MB success. Elapsed: 24.21 ms
2023-05-24 10:21:08 [INFO] Ignore to clean any tables as --truncate-table or --delete-from-table is not specified
2023-05-24 10:21:08 [INFO] Query table entry and primary key for table: "t2" finished. Remain: 0
2023-05-24 10:21:08 [INFO] Query the leader location of "t2" finished. Remain: 0
2023-05-24 10:21:08 [INFO] Calculate leader: 10.186.63.38:2881 of table "t2", part: 1. Remain: 0
2023-05-24 10:21:08 [INFO] Waiting to refresh observer load status ......
2023-05-24 10:21:08 [INFO] Refresh observer load status success. Table: "t2". Remain: 0
2023-05-24 10:21:08 [INFO] Refresh observer load status finished. Elapsed: 43.75 ms
2023-05-24 10:21:08 [INFO] Use c.l.d.LiteBlockingWaitStrategy as available cpu(s) is 4
2023-05-24 10:21:08 [INFO] Create 4 slots for ring buffer finished. [10.186.63.38:2881]
2023-05-24 10:21:08 [INFO] Start 8 database writer threads finished. [10.186.63.38:2881]
2023-05-24 10:21:08 [INFO] Use c.l.d.LiteBlockingWaitStrategy as available cpu(s) is 4
2023-05-24 10:21:08 [INFO] Create 4 slots for ring buffer finished. [10.186.63.40:2881]
2023-05-24 10:21:08 [INFO] Start 8 database writer threads finished. [10.186.63.40:2881]
2023-05-24 10:21:08 [INFO] Use c.l.d.LiteBlockingWaitStrategy as available cpu(s) is 4
2023-05-24 10:21:08 [INFO] Create 4 slots for ring buffer finished. [10.186.63.39:2881]
2023-05-24 10:21:08 [INFO] Start 8 database writer threads finished. [10.186.63.39:2881]
2023-05-24 10:21:08 [INFO] Start 8 record file reader threads success
2023-05-24 10:21:09 [INFO] File: "/tmp/backup/data/test/TABLE/t2.2.0.csv" has been parsed finished
2023-05-24 10:21:09 [INFO] Wait for the all the workers to drain of published events then halt the workers
2023-05-24 10:21:09 [INFO] Close connection count: 5 of the DataSource. Key: BIZ
2023-05-24 10:21:09 [INFO] Close connection count: 27 of the DataSource. Key: SYS
2023-05-24 10:21:09 [INFO] Shutdown task context finished
2023-05-24 10:21:09 [INFO] ----------   Finished Tasks: 1       Running Tasks: 0        Progress: 100.00%       ----------
2023-05-24 10:21:09 [INFO]
All Load Tasks Finished:
----------------------------------------------------------------------------------------------------------------------------
        No.#        |        Type        |             Name             |            Count             |       Status
----------------------------------------------------------------------------------------------------------------------------
         1          |       TABLE        |              t2              |            6 -> 6            |      SUCCESS
----------------------------------------------------------------------------------------------------------------------------
Total Count: 6          End Time: 2023-05-24 10:21:09
2023-05-24 10:21:09 [INFO] Load record finished. Total Elapsed: 2.214 s
2023-05-24 10:21:09 [INFO] System exit 0
​
#确认数据
obclient [test]> select * from t2;
+----+-------+------+-----------+-------+
| c1 | c2    | c3   | c4        | c5    |
+----+-------+------+-----------+-------+
|  7 | 66664 |  555 | 111111111 | 66664 |
|  1 | 66662 |  555 | 111111111 | 66662 |
|  6 | 22226 |  555 | 111111111 | 22226 |
|  3 | 44444 |  555 | 111111111 | 44444 |
|  8 | 88882 |  555 | 111111111 | 88882 |
|  5 | 33336 |  555 | 111111111 | 33336 |
+----+-------+------+-----------+-------+
6 rows in set (0.022 sec)

场景3. 生成自定义字段数据 

#修改控制文件
[root@10-186-63-38 bin]# cat  /tmp/t1.ctl
lang=java
server=mysql (
    a "none" map(1),
    b "replace('33336','3','9')" map(2),
    c "concat('888','666')" map(3),
    d "lower('AAA')" map(4)
    
#参数解释：
b "replace('33336','3','9')" map(2)    #导入b列数据为33336,将3用9替换插入b列
c "concat('888','666')" map(3)         #拼接888666插入c列中    
d "lower('AAA')" map(4)                #将d列中所有AAA转换为aaa插入d列
​
#导入数据文件
[root@10-186-63-38 bin]# cat  /tmp/backup/data/test/TABLE/t1.1.0.csv
'a','b','c','d'
1,66662,111111111,'AAA'
3,44444,111111111,'AAA'
5,33336,111111111,'AAA'
6,22226,111111111,'AAA'
7,66664,111111111,'AAA'
8,88882,111111111,'AAA'
​
#导入数据
[root@10-186-63-38 bin]# ./obloader -h 10.186.63.38 -P 2883 -uroot -p 'aaAA11__' --sys-password='Wa33Wa33?*' -c demo -t ten_mysql -D test --csv --column-splitter ',' --replace-data  --ctl-path '/tmp/t1.ctl' --table 't1' -f /tmp/backup/
2023-05-24 11:18:47 [INFO] Parsed args:
[--csv] true
[--ctl-path] /tmp/t1.ctl
[--file-path] /tmp/backup/
[--column-splitter] ,
[--host] 10.186.63.38
[--port] 2883
[--user] root
[--tenant] ten_mysql
[--cluster] demo
[--password] ******
[--database] test
[--sys-user] root
[--sys-password] ******
[--table] [t1]
[--replace-data] true
​
2023-05-24 11:18:47 [INFO] Load jdbc driver class: "com.oceanbase.jdbc.Driver" finished
2023-05-24 11:18:47 [INFO] Manifest: "/tmp/backup/data/MANIFEST.bin" has been saved
2023-05-24 11:18:47 [INFO] Parse ctrl definition: "/tmp/t1.ctl" success
2023-05-24 11:18:48 [INFO] Binding table: "t1" to the file: "/tmp/backup/data/test/TABLE/t1.1.0.csv" finished
2023-05-24 11:18:48 [INFO] File: "/tmp/backup/data/test/TABLE/t2.2.0.csv" is not contained, ignore it
2023-05-24 11:18:48 [INFO] Find 1 resources in local path: "/tmp/backup" success. Elapsed: 42.81 ms
2023-05-24 11:18:48 [INFO] Split 1 data files to 1 subfiles by 64.0 MB success. Elapsed: 20.61 ms
2023-05-24 11:18:48 [INFO] Ignore to clean any tables as --truncate-table or --delete-from-table is not specified
2023-05-24 11:18:48 [INFO] Query table entry and primary key for table: "t1" finished. Remain: 0
2023-05-24 11:18:48 [INFO] Query the leader location of "t1" finished. Remain: 0
2023-05-24 11:18:48 [INFO] Calculate leader: 10.186.63.39:2881 of table "t1", part: 0. Remain: 0
2023-05-24 11:18:48 [INFO] Waiting to refresh observer load status ......
2023-05-24 11:18:48 [INFO] Refresh observer load status success. Table: "t1". Remain: 0
2023-05-24 11:18:48 [INFO] Refresh observer load status finished. Elapsed: 34.41 ms
2023-05-24 11:18:48 [INFO] Use c.l.d.LiteBlockingWaitStrategy as available cpu(s) is 4
2023-05-24 11:18:48 [INFO] Create 16 slots for ring buffer finished. [10.186.63.39:2881]
2023-05-24 11:18:48 [INFO] Start 8 database writer threads finished. [10.186.63.39:2881]
2023-05-24 11:18:48 [INFO] Start 8 record file reader threads success
2023-05-24 11:18:48 [INFO] File: "/tmp/backup/data/test/TABLE/t1.1.0.csv" has been parsed finished
2023-05-24 11:18:49 [INFO] Wait for the all the workers to drain of published events then halt the workers
2023-05-24 11:18:49 [INFO] Close connection count: 5 of the DataSource. Key: BIZ
2023-05-24 11:18:49 [INFO] Close connection count: 23 of the DataSource. Key: SYS
2023-05-24 11:18:49 [INFO] Shutdown task context finished
2023-05-24 11:18:49 [INFO] ----------   Finished Tasks: 1       Running Tasks: 0        Progress: 100.00%       ----------
2023-05-24 11:18:49 [INFO]
​
All Load Tasks Finished:
​
----------------------------------------------------------------------------------------------------------------------------
        No.#        |        Type        |             Name             |            Count             |       Status
----------------------------------------------------------------------------------------------------------------------------
         1          |       TABLE        |              t1              |            6 -> 6            |      SUCCESS
----------------------------------------------------------------------------------------------------------------------------
Total Count: 6          End Time: 2023-05-24 11:18:49
2023-05-24 11:18:49 [INFO] Load record finished. Total Elapsed: 1.639 s
2023-05-24 11:18:49 [INFO] System exit 0
​
#确认数据，数据插入OK
obclient [test]> select * from t1;
+---+-------+--------+------+
| a | b     | c      | d    |
+---+-------+--------+------+
| 1 | 99996 | 888666 | aaa  |
| 3 | 99996 | 888666 | aaa  |
| 5 | 99996 | 888666 | aaa  |
| 6 | 99996 | 888666 | aaa  |
| 7 | 99996 | 888666 | aaa  |
| 8 | 99996 | 888666 | aaa  |
+---+-------+--------+------+
6 rows in set (0.002 sec)
#参数解释：
b "replace('33336','3','9')" map(2)    #导入b列数据为33336,将3用9替换插入b列
c "concat('888','666')" map(3)         #拼接888666插入c列中    
d "lower('AAA')" map(4)                #将d列中所有AAA转换为aaa插入d列

场景4. 文件是定长数据，如何导入

#修改控制文件
[root@10-186-63-38 bin]# cat /tmp/t1.ctl
lang=java
server=mysql (
    a "none" map(1),
    b "substr(b,1,2)" map(2),
    c "concat('999','555')" map(3),
    d "substr(d,1,1)" map(4)
);
​
    
#参数解释：
b "substr(b,1,2)" map(2),              #截取b列数据第一位开始，截取2位
c "concat('999','555')" map(3)         #拼接888666插入c列中    
d "substr(d,1,1)" map(4)               #截取d列数据第一位开始，截取2位
​
#导入数据文件
[root@10-186-63-38 bin]# cat  /tmp/backup/data/test/TABLE/t1.1.0.csv
'a','b','c','d'
1,66662,111111111,'AAA'
3,44444,111111111,'AAA'
5,33336,111111111,'AAA'
6,22226,111111111,'AAA'
7,66664,111111111,'AAA'
8,88882,111111111,'AAA'
​
#导入数据
[root@10-186-63-38 bin]# ./obloader -h 10.186.63.38 -P 2883 -uroot -p 'aaAA11__' --sys-password='Wa33Wa33?*' -c demo -t ten_mysql -D test --csv --column-splitter ',' --replace-data  --ctl-path '/tmp/t1.ctl' --table 't1' -f /tmp/backup/
2023-05-24 12:09:02 [INFO] Parsed args:
[--csv] true
[--ctl-path] /tmp/t1.ctl
[--file-path] /tmp/backup/
[--column-splitter] ,
[--host] 10.186.63.38
[--port] 2883
[--user] root
[--tenant] ten_mysql
[--cluster] demo
[--password] ******
[--database] test
[--sys-user] root
[--sys-password] ******
[--table] [t1]
[--replace-data] true
​
2023-05-24 12:09:02 [INFO] Load jdbc driver class: "com.oceanbase.jdbc.Driver" finished
2023-05-24 12:09:02 [INFO] Manifest: "/tmp/backup/data/MANIFEST.bin" has been saved
2023-05-24 12:09:02 [INFO] Parse ctrl definition: "/tmp/t1.ctl" success
2023-05-24 12:09:02 [INFO] Binding table: "t1" to the file: "/tmp/backup/data/test/TABLE/t1.1.0.csv" finished
2023-05-24 12:09:02 [INFO] File: "/tmp/backup/data/test/TABLE/t2.2.0.csv" is not contained, ignore it
2023-05-24 12:09:02 [INFO] Find 1 resources in local path: "/tmp/backup" success. Elapsed: 52.84 ms
2023-05-24 12:09:02 [INFO] Split 1 data files to 1 subfiles by 64.0 MB success. Elapsed: 33.91 ms
2023-05-24 12:09:02 [INFO] Ignore to clean any tables as --truncate-table or --delete-from-table is not specified
2023-05-24 12:09:03 [INFO] Query table entry and primary key for table: "t1" finished. Remain: 0
2023-05-24 12:09:03 [INFO] Query the leader location of "t1" finished. Remain: 0
2023-05-24 12:09:03 [INFO] Calculate leader: 10.186.63.39:2881 of table "t1", part: 0. Remain: 0
2023-05-24 12:09:03 [INFO] Waiting to refresh observer load status ......
2023-05-24 12:09:03 [INFO] Refresh observer load status success. Table: "t1". Remain: 0
2023-05-24 12:09:03 [INFO] Refresh observer load status finished. Elapsed: 64.82 ms
2023-05-24 12:09:03 [INFO] Use c.l.d.LiteBlockingWaitStrategy as available cpu(s) is 4
2023-05-24 12:09:03 [INFO] Create 16 slots for ring buffer finished. [10.186.63.39:2881]
2023-05-24 12:09:03 [INFO] Start 8 database writer threads finished. [10.186.63.39:2881]
2023-05-24 12:09:03 [INFO] Start 8 record file reader threads success
2023-05-24 12:09:03 [INFO] File: "/tmp/backup/data/test/TABLE/t1.1.0.csv" has been parsed finished
2023-05-24 12:09:04 [INFO] Wait for the all the workers to drain of published events then halt the workers
2023-05-24 12:09:04 [INFO] Close connection count: 5 of the DataSource. Key: BIZ
2023-05-24 12:09:04 [INFO] Close connection count: 24 of the DataSource. Key: SYS
2023-05-24 12:09:04 [INFO] Shutdown task context finished
2023-05-24 12:09:04 [INFO] ----------   Finished Tasks: 1       Running Tasks: 0        Progress: 100.00%       ----------
2023-05-24 12:09:04 [INFO]
All Load Tasks Finished:
----------------------------------------------------------------------------------------------------------------------------
        No.#        |        Type        |             Name             |            Count             |       Status
----------------------------------------------------------------------------------------------------------------------------
         1          |       TABLE        |              t1              |            6 -> 6            |      SUCCESS
----------------------------------------------------------------------------------------------------------------------------
Total Count: 6          End Time: 2023-05-24 12:09:04
2023-05-24 12:09:04 [INFO] Load record finished. Total Elapsed: 1.700 s
2023-05-24 12:09:04 [INFO] System exit 0
#确认数据
obclient [test]> select * from t1;
+---+------+--------+------+
| a | b    | c      | d    |
+---+------+--------+------+
| 1 |   66 | 999555 | A    |
| 3 |   44 | 999555 | A    |
| 5 |   33 | 999555 | A    |
| 6 |   22 | 999555 | A    |
| 7 |   66 | 999555 | A    |
| 8 |   88 | 999555 | A    |
+---+------+--------+------+
6 rows in set (0.002 sec)
 

标签：24,INFO,场景,05,--,09,导入,obloader,10
From： https://www.cnblogs.com/linuxmysql/p/17427956.html

相关文章

  • vue自动导入组件和自动导入类库 api
    vue3项目中，使用vue常用的api比如vuex的api或者ref,reactive等，以及导入多个自定义组件、UI组件库的组件，都需要反复的手动导入，注册，很是影响开发体验，这里推荐antfu开源的两个插件，上链接：自动导入组件https://github.com/antfu/unplugin-vue-components自动导入类库a......
  • 浅析EasyCVR视频能力在自然灾害风险预警场景中的应用意义
    一、方案背景我国是自然灾害多发的国家，夏季也是灾害多发季节，山洪、泥石流、洪涝、冰雹、飓风、地震等自然灾害每年都给国家经济带来巨大的损失。建设自然灾害风险预警视频监控系统，实现对自然灾害的可视化预警监测和监管，并提供数据分析、设备管理、智能分析、实时告警等功能，辅助和......
  • RocketMQ 在小米的多场景灾备实践案例
    作者：邓志文、王帆01为什么要容灾？在小米内部，我们使用RocketMQ来为各种在线业务提供消息队列服务，比如商城订单、短信通知甚至用来收集IoT设备的上报数据，可以说RocketMQ的可用性就是这些在线服务的生命线。作为软件开发者，我们通常希望服务可以按照理想状态去运行：在没有Bug的......
  • 浅析EasyCVR视频能力在自然灾害风险预警场景中的应用意义
    一、方案背景我国是自然灾害多发的国家，夏季也是灾害多发季节，山洪、泥石流、洪涝、冰雹、飓风、地震等自然灾害每年都给国家经济带来巨大的损失。建设自然灾害风险预警视频监控系统，实现对自然灾害的可视化预警监测和监管，并提供数据分析、设备管理、智能分析、实时告警等功能，辅助和提......
  • BootStrap导入excel
    BootStrap_实现导入Excel（BootStrap-InputFile）【实例】weixin_40877388于2020-03-3114:52:47发布5505收藏19分类专栏：BootStrap版权BootStrap专栏收录该内容2篇文章0订阅订阅专栏一、前言在批量加入学生信息的时候，我们通常采用Excel导入的方式，方便，快......
  • js导入excel&导出excel
    js导入excel&导出excel Excel导入html代码<buttonstyle={{color:'#1890ff',fontSize:'14px',cursor:'pointer'}}onClick={()=>{upFile();}}>导入</button><inputid="upFile"type="fil......
  • Redis常见场景问题和解决方案
    缓存穿透（查不到数据）概述当用户想要查询一个数据，发现Redis中不存在，也就是所谓的缓存没有命中，于是这个数据请求就会打到数据库中。结果数据库中也不存在这条数据，那么结果就是什么都没查询出来。那么当用户很多时候的查询，缓存中都没有数据，请求直接打到数据库中，这样就会给数据库造成很......
  • 浅析视频技术与AI智能识别技术在智慧矿山场景中的应用
    一、背景分析 能源与矿业是我国国民经济的重要物质生产部门和支柱产业之一，同时也是一个安全事故多发的高危行业，施工阶段的现场管理对工程成本、进度、质量及安全等至关重要。国家矿山安监局陆续发布(矿安〔2022)128号)文、(矿安综〔2023〕5号)文推动矿山重大灾害风险防控，山西、......
  • 导入文件的目录路径
    earth-forecasting-transformer/src/earthformer/config.pyscripts/cuboid_transformer/enso/train_cuboid_enso.py在这种情况下，你可以使用以下代码在"train_cuboid_enso.py"中导入"cfg"：from.......
  • 浅析视频技术与AI智能识别技术在智慧矿山场景中的应用
    一、背景分析能源与矿业是我国国民经济的重要物质生产部门和支柱产业之一，同时也是一个安全事故多发的高危行业，施工阶段的现场管理对工程成本、进度、质量及安全等至关重要。国家矿山安监局陆续发布(矿安〔2022)128号)文、(矿安综〔2023〕5号)文推动矿山重大灾害风险防控，山西、贵州......

赞助商

阅读排行

网站主页关于我们联系我们网站地图

本网站内容转载自其他媒体，侵权联系[admin##ips99.com]。

Copyright © 2020-2023 IPS99 版权所有 IPS99