centos7-datax和datax-web安装以及安装中问题的解决

一、下载这些软件（见）

系统变量设置（安装maven和jdk略）

vi /etc/profile

JAVA_HOME=/usr/local/jdk1.8.0_40

CLASSPATH=$JAVA_HOME/lib/

PATH=$PATH:$JAVA_HOME/bin

DATAX_HOME=/usr/local/datax

PATH=$PATH:$DATAX_HOME/bin

export MAVEN_HOME=/usr/local/apache-maven-3.6.3

export PATH=$PATH:$MAVEN_HOME/bin

生效系统变量

source /etc/profile

yum install python

二、安装配置datax

wget http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz

tar -zxvf datax.tar.gz && mv datax /usr/local/ cd /usr/local/datax/bin/ python datax.py /usr/local/datax/job/job.json

报错：

com.alibaba.datax.common.exception.DataXException: Code:[Common-00], Describe:[您提供的配置文件存在错误信息，请检查您的作业配置 .] - 配置信息错误，您提供的配置文件[/usr/local/datax/plugin/reader/._drdsreader/plugin.json]

进入查询，删除文件

cd /usr/local/datax/plugin/reader

ll -a

[root@Data1 reader]# ll -a

total 76

drwxr-xr-x 21 502 games 4096 Feb 19 21:05 .

drwxr-xr-x  4 502 games   66 Feb 19 21:05 ..

drwxr-xr-x  3 502 games  224 Feb 19 21:05 cassandrareader

-rwxr-xr-x  1 502 games  212 Oct 12  2019 ._cassandrareader

....

删除._开头语文件

rm -f ._*

cd /usr/local/datax/plugin/writer/

rm -f ._*

再次运行成功安装完成：

python /usr/local/datax/bin/datax.py  /usr/local/datax/job/job.json

由于/etc/profile中加了DATAX_HOME的环境变量，也可以用下面语句测试dataX是否安装成功：

[root@node-4 bin]# python $DATAX_HOME/bin/datax.py $DATAX_HOME/job/job.json

安装datax-web

centos7安装DataX可视化工具DataX-web

三、安装环境：Centos7,JDK1.8, Python 2.7.5,Datax 最新版本，Datax-web-2.1.2

1、下载datax-web免编译压缩包

datax-web压缩包：https://pan.baidu.com/s/13yoqhGpD00I82K4lOYtQhg 提取码：cpsk

2、解压压缩包

tar -xvf  datax-web-2.1.2.tar.gz

3、安装

cd datax-web-2.1.2/bin

./install.sh  #一键安装

会有交互 提示，一路输入 y就行

4、配置

cd  datax-web-2.1.2/modules/datax-execute/bin

cd /usr/local/datax-web-2.1.2/modules/datax-admin/bin

配置datax-web的数据库：

四、在navicat里面执行sql文件

MySQL8.0及以上版本创建数据库并分配用户授权

1）create database `datax_web` character set utf8mb4;

2）CREATE USER 'root'@'%' IDENTIFIED BY 'jysj@123456';

3）flush privileges;

4）grant all privileges on *.* to root@'%' with grant option;

5）ALTER USER 'root'@'%' IDENTIFIED WITH mysql_native_password BY 'jysj@123456';

6）flush privileges;

执行一键安装脚本
进入解压后的目录，找到bin目录下面的install.sh文件，如果选择交互式的安装，则直接执行

./bin/install.sh

在交互模式下，对各个模块的package压缩包的解压以及configure配置脚本的调用，都会请求用户确认,可根据提示查看是否安装成功，如果没有安装成功，可以重复尝试； 如果不想使用交互模式，跳过确认过程，则执行以下命令安装

./bin/install.sh --force

启动datax-web服务

cd datax-web-2.1.2/bin

./start-all.sh

访问web页面：http://192.168.100.4:9527/index.html

默认admin/123456

5、

报错：[odpsreader,mysqlwriter]加载失败，1s后重试... Exception:Code:[Common-00], Describe:[您提供的配置文件存在错误信息，请检查您的作业配置 .] - 配置信息错误，

您提供的配置文件[/home/lijixin/datax/datax/plugin/reader/._oraclereader/plugin.json]不存在. 请检查您的配置文件.

经DataX智能分析,该任务最可能的错误原因是:

com.alibaba.datax.common.exception.DataXException: Code:[Common-00], Description:[您提供的配置文件存在错误信息，请检查您的作业配置。].

 -配置信息错误 ,您提供的配置文件:/Users/hn/datax/plugin/reader/.DS_Store/plugin.json]不存在，请检查您的配置文件。

查看plugins里是否有clickhouse的writer和reader的文件夹，文件夹里面是jar包，下载从百度网盘

里面找到文件夹上传到对应的centos7上的对应文件夹里面，并且保证里面没有垃圾文件，全部是文件夹，没有._的开头的文件。