Kettle：跨库（SQLServer->PostgreSQL）同步多张表数据的详细设计过程

〇、参考地址

1、多个Excel实现同步

​​https://www.wangt.cc/2021/05/kettle%E5%A4%9A%E4%B8%AA%E8%A1%A8%E4%B8%80%E8%B5%B7%E8%BF%81%E7%A7%BB-%E9%80%9A%E8%BF%87%E9%85%8D%E7%BD%AE%E6%96%87%E4%BB%B6%E9%85%8D%E7%BD%AE%E9%9C%80%E8%A6%81%E5%90%8C%E6%AD%A5%E7%9A%84%E5%AD%97/​​

一、整体设计

1、介绍

客户数据到ods同步多张表的归档数据（也可以实现同步全部数据）

2、前提：ods建表

ods有对应的表结构，可以直连客户数据库（如SqlServer），使用本人在gitee上上传的项目，自动生成目标库（如PostgreSQL）的建表语句，可以选择生成单张表或同时生成多张表

地址：​​https://gitee.com/ljhahu/autoddl.git​​

截图：

3、建立映射表async_table

src为源表（客户数据库）表名，tt为目标表（ods）表名，手动填入需要同步的多张表表名

ps：与上一步对应，ods中要包含tt中的表（结构）

4、任务编排

（1）整体任务

（2）归档任务编排

二、job设计-get（转换-transformation）

1、转换编排

2、表输入设计

3、结果复制（无需配置）

四、job设计-push（作业-job）

（一）整体子作业

1、作业编排

2、设置迭代取数据

即每个输入行执行一次

（二）迭代取表名（转换-transformation）

1、转换编排（从作业->转换）

2、结果中获取记录

每次取一行的两个字段

3、设置变量

后续取值方式：${src}、${tt}，且

（三）基于变量中的表名传输数据

1、转换编排

2、表输入

即从客户的库中查询所有数据

3、表输出

五、取差集数据

1、思路

通过业务主键进行full join，取结果集中ods源表为空的数据插入ods表

2、SQL

insert into ods.table_name 
select b.*
from (
    select * 
    from ods.table_name
    where dt = to_char(CURRENT_DATE,'yyyymmdd')
) a
full JOIN ods.table_name_archive b
on a.fbillno=b.fbillno
where a.fbillno is null;

六、验证

1、日志验证

查看xxl-job调度后打印的kettle日志

2、表中验证

由于表中加入了分区dt字段，查看有无当日分区数据即可

作者：​​哥们要飞​​