首页 > 其他分享 >DataX + DataXWeb 初使用过程记录

DataX + DataXWeb 初使用过程记录

时间:2024-09-02 08:53:19浏览次数:8  
标签:记录 Job datax 版本 Mysql DataXWeb DataX

版本:DataX v202309  DataXWeb 2.1.3预发布版

DataX:

Github:https://github.com/alibaba/DataX

 功能介绍文档:https://github.com/alibaba/DataX/blob/master/introduction.md

文档上虽然只写了Linux系统,但实际部署Windows也可以

JDK版本使用1.8即可

Python如果环境的版本可以选择的话,可以使用2.6或者2.7,我这边使用的是3.12.5

Maven 3.x是编译时需要的条件

一开始下载的是v202308版本,安装包下载路径:https://datax-opensource.oss-cn-hangzhou.aliyuncs.com/202308/datax.tar.gz

因为要Python3.x,所以替换DataX /bin目录下py文件(替换的文件在:DataXWeb:doc/datax-web/datax-python3/)

由于DataX对Mysql 只支持5.x,但是我这边的Mysql DB是 8.x的

所以下载了v202309的源码,调整代码使其支持mysql 8.x

(修改代码的步骤:https://blog.csdn.net/weixin_41640312/article/details/132019719)

 然后按照github中的步骤打包即可

问题:

打包过程中发现oceanbasev10writer报错,项目的libs下缺少特定jar文件,

解决:

去master分支找到了这个jar,下载后复制,即可打包成功(打包过程非常慢,不知道是不是网络的问题)

问题:

创建了Mysql 数据源之间的迁移Job(文档中并没有说mysql的限制版本,也就没有想到支持的Mysql版本这么低)

配置是正确的,但dataX一直报错

解决:

去搜索了一下,才发现版本限制,所以切换了版本

问题:

打包好最新版后,运行Mysql Job还是报错(在有总bps限速条件下,单个channel的bps值不能为空,也不能为非正数)

 解决:

在打包后的datax\conf\core.json 中core.transport.speed.byte由-1修改为2000000

 

DataXWeb:

众所周知,DataX是使用Python命令行运行Job的Json文件配置来同步数据源

所以使用DataXWeb来搭配使用

一开始使用的是DataXWeb v2.1.2版本,但是配置字段映射方面有点不太容易理解,就换了最新的版本,也就是2.1.3预发布版

1. 下载源码

2. 运行datax-admin&datax-executor(按需修改配置文件)

配置文件都有说明,按照说明配置DB,以及datax.py的路径等即可。

相对来讲新版的配置比旧版更容易理解,但是,页面的数据不是很即使,操作时,还是需要刷新,不知道以后会不会调整

至于DataX创建Job的步骤我就不提了,使用DataXWeb,可以很容易创建一个Job

其他:

附上DataX支持的数据源(github上都有)

 DataX的核心架构

Job通过源端切分策略,切分为多个Task,然后调用Schedule模块,根据配置的并发参数等,将Task划分为TaskGroup(默认一个TaskGroup5个Task)

每一个Task中启用一个线程,完成Reader->Channel->Writer流程

 

标签:记录,Job,datax,版本,Mysql,DataXWeb,DataX
From: https://www.cnblogs.com/uoky/p/18392063

相关文章

  • 保存模型 & 记录参数
    保存的模型在你提供的代码中,模型保存的条件如下:验证阶段(_valid_epoch方法):在每个epoch结束后,模型会进行验证,即使用验证数据集(self.valid_loader)计算验证指标(valid_metric)。通过self.valid_step方法计算每个batch的验证指标,最终将这些指标的平均值保存在valid_metric......
  • 语文套卷练习记录
    目录语文套卷练习记录202412024.8.272023年9月南京零模——仅练习语文套卷练习记录202412024.8.272023年9月南京零模——仅练习【总结】整体上这张试卷难度不大,题目出的感觉有点小烂。连考了两题语言表达的特色,不知道出题人在想啥。好多答案简单的莫名其妙的,都不像真的。......
  • 记录elasticsearch-analysis-dynamic-synonym从8.7.0升级到8.15.0所遇到的问题
    记录elasticsearch-analysis-dynamic-synonym从8.7.0升级到8.15.0所遇到的问题一、问题伊始今天打算用elasticsearch最新版本来学点东西,发现安装es插件就遇到了许多问题,于是便通过此篇博客来记录问题的整个过程。去年我学习用的elasticsearch版本为8.7.0,当时GitHub有一个大佬直......
  • AtCoder Beginner Contest 369 补题记录
    A-369题意:给定A和B,求有多少个x可以和A,B构成等差数列思路:分三种情况讨论A==B则x不得不与A和B想等x位于A和B中间只有B-A为偶数才有这种情况存在x位于A和B两边可以在左边也可以在右边,只要A!=B这种情况总会存在voidsolve(){inta=read(),b=read();......
  • AtCoder Beginner Contest 369 补题记录(A~G)
    AconstintN=1000100;inta[N];signedmain(){intx,y;cin>>x>>y;if(x==y)cout<<"1\n";elseif(x%2==y%2)cout<<"3\n";elsecout<<"2\n";}BconstintN=1000100;inta[N];sign......
  • codeforces做题记录(1924B)& 回顾线段树
    1924B.SpaceHarbour题意:n个点排成一行,其中某些点上面建有港湾,港湾有一个权值,对每个点我们定义点的权值为“左边(包括自己)第一个港湾上的权值\(\times\)到右边(包括自己)第一个港湾的距离”(保证在一开始1号和n号点上都有港湾)。有q次操作:操作1给定x和v,表示在x点上建立权值为v的......
  • 【杂谈】字幕压制首次尝试记录
    字幕压制首次尝试记录使用软件字幕制作:Aegisub字幕压制:MeGUI2896+AviSynth2.6.0其中MeGUI解压即用,AviSynth需要安装,在安装中选择安装内容那步我全选了(也可能无关紧要)MeGUI如果用的是29xx的版本,很可能在添加字幕文件的时候报错Pluginwasdesignedforalaterversiono......
  • HJ19 简单错误记录 || 字符串模拟
    就是字符串模拟和处理。最大的问题就是题面题意写得真的挺模糊的,好多地方有点表意不明。。1#include<bits/stdc++.h>2usingnamespacestd;3constintmaxn=110;4chara[maxn][maxn];5intb[maxn],num_qc=0,cnt[maxn],ans[maxn],num_ans=0;6boolfg[maxn],f[ma......
  • 记录vue3写项目遇到的奇奇怪怪怪的小问题(持续更新)
    <el-table:header-cell-style="{color:'#fff',background:'rgba(78,131,211,0.8)'}"//设置table表头样式></el-table>表头居中:cell-style="{text-align:center}"表行居中<el-......
  • vivo手机导出微信聊天记录方法
    1,先在手机上打开“开发人员选项”并将USB调试功能打开。再将手机通过数据线连接到电脑,打开电脑上已经安装好的“互传备份助手”(点击此处进入下载页面),再点击界面上的新建备份。注意:在电脑上运行互传备份助手时,会提醒手机上也要安装互传助手,按提示安装即可。 2,在互传备份助手窗......