首页 > 数据库 >RestCloud数据集成平台-监听SqlServer数据库表,并同步数据到MongoDB数据库表详细教程(实战篇)

RestCloud数据集成平台-监听SqlServer数据库表,并同步数据到MongoDB数据库表详细教程(实战篇)

时间:2024-03-27 16:01:56浏览次数:59  
标签:RestCloud 流程 MongoDB 数据库 3.6 监听器 数据源 链接

上一篇:RestCloud数据集成平台-Windows全量包安装部署详细教程

1. 数据源管理

数据源主要用来建立与用户的数据库的链接。数据源管理主要用来对用户添加的所有数据链接进行管理,主要包括新建数据源、测试链接、修改链接、复制链接、查询链接和删除链接等功能。


1.1. 创建链接

进入【数据源管理】页面,点击数据源列表左上方的【新建数据源】可以创建新的链接。

目前连接支持的数据库类型包括:
1、关系型数据库:Oracle、SQL Server、MySQL 、PostgreSQL、Greenplum、Sybase、GaussDB、ClickHouse、OceanBase
2、消息型数据库:Kafka、MQTT、JMS、RabbitMQ、阿里云RocketMQ
3、大数据库数据库:MongoDB、Redis、Elasticsearch、HBase、Hive、Phoenix、Impala、Kylin
4、对象储存:OSS、COS、OBS


1.2. 测试链接

平台的数据源列表会提供对应数据源分类下的数据源链接参考示例,按照示例配置,最后保存并测试链接,提示成功即可完成新建数据源。


2. 数据库表开启CDC

详见可跳转俺的这篇文章,这里我们开启SQLServer某表的CDC即可,后续对此表进行数据同步。

CDC实时数据集成-MySQL和SQLServer数据库开启CDC详细教程


3. CDC创建使用传输给ETL流程方式的监听器进行库表同步

注意:使用监听器功能需要提前开启好监听数据库表的CDC,并在平台配置好相应的数据源!

3.1. 系统应用-离线数据集成

3.2. 数据集成应用-新建应用

注:平台提供示例应用,可根据自身需要参考该应用里的示例使用或者新建应用。

3.3. 数据集成流程-新建流程

3.4. 数据集成流程-流程设计

注意:我们这个案例,库表同步至MongoDB需要使用指定的MongoDB输出组件,其他依据自身情况设计流程,可参考该平台的官方文档

注意:这里选择字段ID作为关键字段。注意:目标表一定要选择关键字段,否则会导致更新失败!

最后保存即可

可选择该页面的工具进行运行调试,其他工具的使用感兴趣的话可以自己探索一下~


3.5. 系统应用-实时数据集成

3.6. 数据库监听器-新增监听器

3.6.1. 监听器配置

设置监听器名称、源数据库、数据库、监听表等。

3.6.2. 接收端配置

数据库数据同步至MongoDB的数据传输模式选择传输给ETL的流程,并指定ETL流程为上面我们设计好的流程设计。

3.6.3. 监听器保存

3.6.4. 启动监听器

3.6.6. 流程设计调试日志

启动监听后,如若对源表数据进行增、删、改操作,可在流程设计处查看运行日志等相关信息,验证数据同步结果。

3.6.5. 监听器传输记录

监听启动后,可查看相关传输记录和数据统计信息。


3.7. 概览-监听器相关监听数据

可根据类型、连接器等筛选监听数据统计。

标签:RestCloud,流程,MongoDB,数据库,3.6,监听器,数据源,链接
From: https://blog.csdn.net/m0_56259289/article/details/137068175

相关文章

  • 使用shell生成数据并插入到redis数据库中
    [root@snortredis]#catset.sh#!/bin/bash#Redis服务器地址和端口REDIS_HOST="localhost"REDIS_PORT="6379"REDIS_PASS="123456"#插入的键值对数量NUM_ENTRIES=1000000#插入的键的前缀KEY_PREFIX="testkey"#生成随机字符串的长度RANDOM_STRING_L......
  • oracle 11G 数据库归档日志清理流程。
    oracle11G数据库归档日志清理流程。链接:ORACLE11g数据库归档日志清理规程-百度文库(baidu.com)......
  • 【实战教程】Spring Boot项目集成华为openGauss数据库的关键步骤与注意事项
    引言:随着国产数据库技术的崛起,华为openGauss凭借其高性能、安全可靠及易用性成为了众多开发者的首选方案。本篇技术文章将聚焦于如何在SpringBoot项目中成功集成华为openGauss数据库,并揭示其中的一些关键步骤与注意事项,助您轻松驾驭这一强大的数据库引擎。正文:一、环境准备......
  • 【数据库】如何利用Python中的petl将PostgreSQL中所有表的外键删除,迁移数据,再重建外键
    一、简介在数据库管理中,外键是一种重要的约束,用于确保数据的一致性和完整性。然而,在某些情况下,我们可能需要删除或修改外键。本文将介绍如何使用Python中的petl库将PostgreSQL中所有表的外键删除,迁移数据,并重新建立外键。二、安装petl和psycopg2首先,我们需要安装petl和psycopg2......
  • 数据库三大范式的学习与数据库表设计的了解
    数据库三大范式的学习与数据库表设计的了解内容简单介绍对于数据库三大范式的理解以及一些设计表示要注意的方面本章内容梳理图数据库三大范式比较官方的定义数据库的三大范式(NormalForms)是关系数据库设计中用于确保数据结构化、减少数据冗余、并提高数据完整性的指导和规......
  • redis 数据库一致性策略
    参考常见的缓存更新策略共有3种:CacheAside(旁路缓存)策略;Read/WriteThrough(读穿/写穿)策略;WriteBack(写回)策略;CacheAside(旁路缓存)策略CacheAside(旁路缓存)策略是最常用的,应用程序直接与「数据库、缓存」交互,并负责对缓存的维护,该策略又可以细分为「读策略」和「写策略」......
  • 非关系型数据库和关系型数据库--一起学习吧之数据库
    非关系型数据库和关系型数据库是两种不同类型的数据库管理系统,它们在设计、数据存储、数据结构和应用场景等方面有着显著的区别。一、概念区别关系型数据库是建立在关系数据库模型基础上的数据库,通过外键关联来建立表与表之间的关系。它使用二维表的形式来存储数据,具有固定的......
  • GeoLite2 geoip数据库下载和使用
            GeoLite2数据库是免费的IP地理定位数据库,与MaxMind的GeoIP2数据库相当,但准确度较低。GeoLite2国家、城市和ASN数据库每周更新两次,即每周二和周五。GeoLite2数据还可作为GeoLite2Country和GeoLite2CityWeb服务中的Web服务提供。GeoLite2......
  • 使用K8S集群运行MongoDB7.0
    参考:https://hub.docker.com/_/mongo创建PVC创建PVC用于数据持久化#catmongodb-pvc.yamlapiVersion:v1kind:PersistentVolumeClaimmetadata:name:mongodb-pvcspec:accessModes:-ReadWriteOnceresources:requests:storage:22Gistorag......
  • php:页面链接数据库(封装),其他页面引入方法
    数据库连接get_db_conn.php//创建连接$conn=mysqli_connect($servername,$username,$password,$dbname);<?php//数据库连接参数define('DB_SERVER','localhost');//数据库服务器的地址define('DB_USERNAME','root');//数据库账户define(......