DataX，Data-Web 搭建以及同步数据

DataX服务搭建

环境配置

• jdk

1. 下载jdk包(centos下载tar包)

2. 解压到指定目录
  root# tar -zxvf jdk-8u291-linux-x64.tar.gz -C /usr/local/environment

3. 配置jdk环境信息
  root# vi /etc/profile
  添加
  export JAVA_HOME=/usr/local/environment/jdk1.8.0_291
  export PATH=$JAVA_HOME/bin:$PATH
  export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib

4. 检查是否安装成功
  java -version
  出现以下即成功
  java version "1.8.0_291"
  Java(TM) SE Runtime Environment (build 1.8.0_291-b10)
  Java HotSpot(TM) 64-Bit Server VM (build 25.291-b10, mixed mode)

datax安装

下载datax安装包

1. 解压到指定目录
root# tar -zxvf datax.tar.gz -C /usr/local/ware

2. 执行测试用例
root# python datax.py ../job/job.json

DataX-Web服务搭建

下载datax-web安装包

1. 解压到指定目录
root# tar -zxvf datax-web-2.1.2 -C /usr/local/ware

2. 配置DataX-Web数据源
[root@localhost datax-web-2.1.2]# vi modules/datax-admin/conf/bootstrap.properties
修改
#Database
DB_HOST=101.37.119.129
DB_PORT=3306
DB_USERNAME=root
DB_PASSWORD=password
DB_DATABASE=dataxweb

3. 指定datax运行脚本
[root@localhost datax-web-2.1.2]# vi modules/datax-executor/bin/env.properties
修改
## PYTHON脚本执行位置
#PYTHON_PATH=/home/hadoop/install/datax/bin/datax.py
PYTHON_PATH=/usr/local/ware/datax/bin/datax.py

4. 查看数据库驱动是否一致，保证mysql驱动与同步的mysql版本一致
[root@localhost ware]# find datax/ -name "mysql-conn*"
datax/plugin/reader/mysqlreader/libs/mysql-connector-java-8.0.22.jar
datax/plugin/writer/mysqlwriter/libs/mysql-connector-java-8.0.22.jar

同步数据

• 登录
  http://192.168.48.132:9527/index.html
  

• 配置数据源信息
  

• 新建项目管理
  

• 新建datax任务模板
  

• 新建任务
  
  
  

• 任务管理->执行调度任务
  

• 查看执行日志