首页 > 系统相关 >Linux使用DataX3.0 ~笔记-持续更新中

Linux使用DataX3.0 ~笔记-持续更新中

时间:2023-03-07 15:33:56浏览次数:38  
标签:同步 查看 示例 python DataX3.0 笔记 datax Linux DataX

 

一、Liunx 上安装DataX

  1. 查看当前系统版本
  • 查看系统的名称,命令:uname
  • 查看具体的系统版本,命令:cat /etc/redhat-release

查看是否具备jdk和python环境:

  • 查看jdk版本,命令:java -version
  • 查看python的版本,命令(大写V):python -V

注意:

  • JDK(1.6以上,1.8即可)
  • Python(一般2.7都可以)一定要为python2,因为后面执行datax.py的时候,里面的python的print会执行不了,导致运行不成功,会提示你print语法要加括号,python2中加不加都行 python3中必须要加,否则报语法错

descript

DataX下载地址:http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz

  1. 下载后使用文件传输工具传输到linux上的opt目录下,解压

解压命令:

  1. DataX自检

解压成功后,进入bin目录,开始自检,命令:

出现以下界面说明DataX安装成功

descript

二、Job作业 JOSN文件配置模板

  • “writeMode”: “insert”:表示数据是新增,可改为update,但是表中要有唯一主键
  • preSql:预先执行的sql,在其他操作之前执行

三、实操示例:MySql 同步到 MySql

#将mysql dataxhub库下c_jkgl_area表(21行内的查询结果)同步到c_jkgl_area_copy1

为避免MySQL关键字为字段名的情况,而造成DataX报错,column中的字段需用 “ ”双引号包起来。

descript

1、将编辑好后的json文件【job_mysqlTomysql.json】放入安装目录下/datax/job目录
2、再进入datax/bin目录 执行以下命令运行,即可将读库中的表数据写入写库的表中:

descript

3、查询目标表查看

与读出总数一致。

descript

但是中文字段展示为了 ??? 符号。

descript

经排查:连接池地址(url)后要加上:

完整jdbcUrl示例:

MySQL8.0以上版本,url需要添加相关配置

  • 指定时区:serverTimezone=Asia/Shanghai
  • 指定字符编码:characterEncoding=utf8
  • 安全套接字协议:useSSL=false (false:就是通过账号密码进行连接, true:就是一般通过证书或者令牌进行安全验证)
4、完整JSON示例:

完善了jdbcurl

重新执行后,表中中文字段部分展示正常了。

descript

四、实操示例:Oracle 同步到 MySql

1、Oracle表同步到Mysql表 json示例:
2、增量同步参考

oracle同步mysql(全量和增量)

标签:同步,查看,示例,python,DataX3.0,笔记,datax,Linux,DataX
From: https://www.cnblogs.com/Williamls/p/17188268.html

相关文章

  • Linux常用的20个命令(上)
    无论你是后端程序员还是前端程序员,都避免不了和Linux打交道。Linux的命令有很多,这里仅介绍常用的20个,方便快速查看,也欢迎大家作补充。1.mkdir命令makedirectories的缩......
  • Linux安装gitlab(yum方式、rpm方式)
    目录一、概述二、安装0、前置条件1、配置yum源2、更新本地yum缓存3、安装gitlab社区版 4、更改配置文件参数1)更改默认端口2)配置邮箱3)修改root管理员密码4)......
  • react业务开发笔记1
    自定义table空数据import{ConfigProvider,Table,}from'antd'//定义空数据展示constrenderEmpty=()=>(<EmptyimageStyle={{he......
  • oracle小笔记
    selectCASEWHENASCIISTR(name)LIKE'%\%'ANDLENGTH(name)=2THEN'*'||SUBSTR......
  • 网络安全实践笔记
    网络安全实践密码学概述通信中的参与者发送者(Alice,爱丽丝):在双方交互中合法的信息发送实体。接受者(Bob,鲍勃):在双方交互中合法的信息接受实体。分析者(Eve,伊夫):破坏接受......
  • TypeScript 学习笔记 — 交叉类型、条件类型和条件分发(八)
    目录交叉类型条件类型1.直接传入判断的条件2.把条件当成泛型传入3.多重条件判断4.判断接口中的类型extends父子关系(类型等级)条件分发机制实际开发中如何避免?<T,U>判断......
  • Linux下查看某个进程占用的CPU、内存
    1、用top命令指定固定的PIDtop-p10997结果如下所示: 查询指定进程的PIDps-ef|grepzookeeper2、使用ps查询指定进程名或者PID的占用情况ps-aux|grepz......
  • Linux系统巡检、等保安全检查脚本
    以下shell脚本适合linux分支中的redhat、centos使用,运行脚本将结果输出到自定义的文件中,可将巡检脚本以root用户登录放在/usr/local/sbin的目录下执行。脚本只是一个检查......
  • Linux中gdal的使用
    四:Ubuntu中GDAL的使用(JavaWeb项目使用)1:整理文件,把生成的文件放置到gdal/java目录cp/home/zcx/Desktop/XQ/gdal-3.2.1/swig/java/gdal.jar/usr/local/pgsql/plugin/gd......
  • OMV学习笔记(二)——OMV-extras插件安装
    作为PT下载机使用一段时间后,发现需要实现冗余备份还是需要OMV-extras中的docker和其他插件。只好重新下载。omv-extras插件安装根据omv-extras官方指南,OMV6现在只有一......