上一篇:RestCloud数据集成平台-Windows全量包安装部署详细教程
1. 数据源管理
数据源主要用来建立与用户的数据库的链接。数据源管理主要用来对用户添加的所有数据链接进行管理,主要包括新建数据源、测试链接、修改链接、复制链接、查询链接和删除链接等功能。
1.1. 创建链接
进入【数据源管理】页面,点击数据源列表左上方的【新建数据源】可以创建新的链接。
目前连接支持的数据库类型包括:
1、关系型数据库:Oracle、SQL Server、MySQL 、PostgreSQL、Greenplum、Sybase、GaussDB、ClickHouse、OceanBase
2、消息型数据库:Kafka、MQTT、JMS、RabbitMQ、阿里云RocketMQ
3、大数据库数据库:MongoDB、Redis、Elasticsearch、HBase、Hive、Phoenix、Impala、Kylin
4、对象储存:OSS、COS、OBS
1.2. 测试链接
平台的数据源列表会提供对应数据源分类下的数据源链接参考示例,按照示例配置,最后保存并测试链接,提示成功即可完成新建数据源。
2. 数据库表开启CDC
详见可跳转俺的这篇文章,这里我们开启SQLServer某表的CDC即可,后续对此表进行数据同步。
CDC实时数据集成-MySQL和SQLServer数据库开启CDC详细教程
3. CDC创建使用传输给ETL流程方式的监听器进行库表同步
注意:使用监听器功能需要提前开启好监听数据库表的CDC,并在平台配置好相应的数据源!
3.1. 系统应用-离线数据集成
3.2. 数据集成应用-新建应用
注:平台提供示例应用,可根据自身需要参考该应用里的示例使用或者新建应用。
3.3. 数据集成流程-新建流程
3.4. 数据集成流程-流程设计
注意:我们这个案例,库表同步至MongoDB需要使用指定的MongoDB输出组件,其他依据自身情况设计流程,可参考该平台的官方文档。
注意:这里选择字段ID作为关键字段。注意:目标表一定要选择关键字段,否则会导致更新失败!
最后保存即可
可选择该页面的工具进行运行调试,其他工具的使用感兴趣的话可以自己探索一下~
3.5. 系统应用-实时数据集成
3.6. 数据库监听器-新增监听器
3.6.1. 监听器配置
设置监听器名称、源数据库、数据库、监听表等。
3.6.2. 接收端配置
数据库数据同步至MongoDB的数据传输模式选择传输给ETL的流程,并指定ETL流程为上面我们设计好的流程设计。
3.6.3. 监听器保存
3.6.4. 启动监听器
3.6.6. 流程设计调试日志
启动监听后,如若对源表数据进行增、删、改操作,可在流程设计处查看运行日志等相关信息,验证数据同步结果。
3.6.5. 监听器传输记录
监听启动后,可查看相关传输记录和数据统计信息。
3.7. 概览-监听器相关监听数据
可根据类型、连接器等筛选监听数据统计。
标签:RestCloud,流程,MongoDB,数据库,3.6,监听器,数据源,链接 From: https://blog.csdn.net/m0_56259289/article/details/137068175