首页 > 数据库 >datax从mysql迁移数据到OceanBase

datax从mysql迁移数据到OceanBase

时间:2024-03-09 22:12:10浏览次数:32  
标签:03 22 OceanBase 09 job datax mysql

datax部署

下载datax

datax下载地址

安装datax

tar -zxvf datax.tar.gz

使用datax

使用配置文件

{
    "job": {
        "setting": {
            "speed": {
                "channel": 4 
            },
            "errorLimit": {
                "record": 0,
                "percentage": 0.1
            }
        },
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "username": "inno_clu",
                        "password": "***",
                        "column": ["*"],
                        "connection": [
                            {
                                "table": ["titles"],
                                "jdbcUrl": ["jdbc:mysql://192.168.56.20:3306/employees?useUnicode=true&characterEncoding=utf8"]
                            }
                        ]
                    }
                },
                "writer": {
                    "name": "oceanbasev10writer",
                    "parameter": {
                        "obWriteMode": "insert",
                        "column": ["*"],
                        "preSql": ["truncate table titles"],
                        "connection": [
                            {
                                "jdbcUrl": "jdbc:oceanbase://192.168.56.20:2883/employees?",
                                "table": ["titles"]
                            }
                        ],
                        "username": "datax@mq_t1",
                        "password":"***",
                        "writerThreadCount":10,
                        "batchSize": 1000,
                        "memstoreThreshold": "0.9"
                    }
                }
            }
        ]
    }
}
  • 第一个username/password是mysql的用户名和密码,第二个username/password是ob的用户名和密码
  • 第一个table是mysql源端的表名,第二个table是ob目标端的表名.
  • 第一个jdbcUrl是mysql源端的连接信息,第二个jdbcUrl是ob目标端的连接信息.
  • preSql表示迁移数据前要执行的sql

执行迁移命令

[root@innodb-cluster01 job]# python ../bin/datax.py myjob.json
         [total cpu info] => 
                averageCpu                     | maxDeltaCpu                    | minDeltaCpu                    
                -1.00%                         | -1.00%                         | -1.00%
                        

         [total gc info] => 
                 NAME                 | totalGCCount       | maxDeltaGCCount    | minDeltaGCCount    | totalGCTime        | maxDeltaGCTime     | minDeltaGCTime     
                 PS MarkSweep         | 1                  | 1                  | 1                  | 0.027s             | 0.027s             | 0.027s             
                 PS Scavenge          | 7                  | 7                  | 7                  | 0.096s             | 0.096s             | 0.096s             

2024-03-09 22:01:08.150 [job-0] INFO  JobContainer - PerfTrace not enable!
2024-03-09 22:01:08.151 [job-0] INFO  StandAloneJobContainerCommunicator - Total 443308 records, 14171912 bytes | Speed 1.35MB/s, 44330 records/s | Error 0 records, 0 bytes |  All Task WaitWriterTime 6.103s |  All Task WaitReaderTime 0.721s | Percentage 100.00%
2024-03-09 22:01:08.151 [job-0] INFO  JobContainer - 
任务启动时刻                    : 2024-03-09 22:00:56
任务结束时刻                    : 2024-03-09 22:01:08
任务总计耗时                    :                 11s
任务平均流量                    :            1.35MB/s
记录写入速度                    :          44330rec/s
读出记录总数                    :              443308
读写失败总数                    :                   0

!注意

datax不会在目标端创建表,因此需要提前把表结构创建好.

标签:03,22,OceanBase,09,job,datax,mysql
From: https://www.cnblogs.com/idealx/p/18063474

相关文章

  • mysqldump从mysql迁移数据到OceanBase
    使用mysqldump导出数据/usr/bin/mysqldump--single-transaction-Bemployees-S/data/mysql/mysql.sock-uroot-p>dump.sqlob使用source加载obclient-P2883-h192.168.56.20-uroot@mq_t1-A校验数据使用统计信息两个数据库收集统计信息的命令相同收集统计信息an......
  • mysql基础知识整理
    事务1.1事务的四大特性原子性(Atomicity):事务包含的所有操作要么全部成功,要么全部失败回滚一致性(Consistency):一个事务执行之前和执行之后都必须处于一致性状态隔离性(Isolation):跟隔离级别相关,如readcommitted,一个事务只能读到已经提交的修改持久性(Durability):一个事务一旦被......
  • Mysql之查询语句
    前言:Mysql中查询语句是日常使用最频繁和复杂的语句,Mysql查询有单表查询和多表连接查询,以下通过案例来熟悉Mysql的查询语句。一、单表查询现有hellodb数据库和students等表mysql>SHOWDATABASES;+--------------------+|Database|+--------------------+|i......
  • 开启 mysql 的 general_log
    在做等保评测时,会要求mysql开启general_log日志,该日志会记录所有的数据库动作,增长幅度非常大,因此适合于在出现问题时临时开启一段时间,待问题排查解决后再进行关闭,否则日志文件的增长速度会超出你的想象。1、首先来看一下关于general_log的几个参数: mysql>showvariable......
  • 多节点oceanbase 集群部署
    安装前准备硬件要求CPU最少2核磁盘最少19G文件系统EXT4戓XFS关闭透明大页echonever>/sys/kernel/mm/redhat_transparent_hugepage/enabled确认操作系统版本是否支持[root@innodb-cluster01~]#cat/etc/redhat-releaseRedHatEnterpriseLinuxServerrelease7.9......
  • MySql中SUM函数计算错误问题
    前言今天一个很久前做的项目突然找到我,说是之前做的项目中,页面上数据汇总和列表中的数据的总数存在对不上的问题。说是列表是对的,但是根据列表统计出来的数据要比正常小很多。排查这个项目已经好几年了,之前用了很久都是正常的,不可能会突然出问题了;我觉得这个统计肯定是没问题了......
  • MYSQL学习笔记22: 多表查询
    多表查询单表查询查询emp表select*fromemp;查询dept表select*fromdept;笛卡尔积(全组合)#emp表有4条记录,dept表有6条记录#笛卡尔积有4*6=24条记录select*fromemp,dept;消除无效的笛卡尔积(emp和dept通过dept_id连接)select*fromemp,deptw......
  • MySQL 入门指南
    目录1.简介和基础概念1.1.MySQL是什么?1.2.数据库管理系统(DBMS)的基本概念1.3.SQL(StructuredQueryLanguage)的作用和重要性2.安装和配置MySQL2.1.在Linux下使用Docker进行MySQL的安装和配置2.2.Windows、MacOS下的安装步骤(待补充)3.SQL基础3.1.SQL的基本语法......
  • MYSQl学习笔记19: 外键约束
    外键约束用来让两张表的数据之间建立连接,从而保证数据的一致性和完整性具有外键的表(emp)称为子表外键关联的表(dept)称为父表外键约束创建表时添加createtable表名(字段名数据类型,[constrain][外键名称]foreignkey(外键字段名)references主表(主表......
  • MYSQL学习笔记20: 外键约束(删除/更新行为)
    外键约束删除/更新行为setdefault在mysql的默认引擎innodb中不支持CASCADEaltertable表名addconstraint外键名称foreignkey(外键字段)references主表名(主表字段名)onupdatecascadeondeletecascade;建立外键约束#如果父表和子表建立外键的字段有不同的......