首页 > 数据库 >flink sql 实时同步及离线同步

flink sql 实时同步及离线同步

时间:2024-06-03 19:13:06浏览次数:20  
标签:jdbc name 数据源 flink 离线 ttab 同步 id

create database test;
use test;

  1. 离线数据源接入
    CREATE TABLE ttab_source (
    id INT,
    name varchar(100),
    PRIMARY KEY (id) NOT ENFORCED
    ) WITH (
    'connector' = 'jdbc',
    'url' = 'jdbc:sqlserver://xx.xx.40.186:1433;DatabaseName=test',
    'table-name' = 'ttab',
    'username' = 'sa',
    'password' = '123456',
    'driver' = 'com.microsoft.sqlserver.jdbc.SQLServerDriver'
    );

查看离线数据源(离线任务不会持续运行)
select * from ttab_source;

  1. 实时数据源接入
    CREATE TABLE ttab_sourcer (
    id INT,
    name VARCHAR(100),
    PRIMARY KEY (id) NOT ENFORCED
    ) WITH (
    'connector' = 'sqlserver-cdc',
    'hostname' = 'xx.xx.40.186',
    'port' = '1433',
    'username' = 'sa',
    'password' = '123456',
    'database-name' = 'test',
    'table-name' = 'dbo.ttab'
    );

查看实时数据源
select * from ttab_source;

实时数据源接入前,数据库及表必须先开启cdc

8.实时数据同步
CREATE TABLE ttab_sink (
id INT,
name varchar(100),
PRIMARY KEY (id) NOT ENFORCED
) WITH (
'connector' = 'jdbc',
'url' = 'jdbc:sqlserver://xx.xx.40.186:1433;DatabaseName=test',
'table-name' = 'ttab_sink',
'username' = 'sa',
'password' = '123456',
'driver' = 'com.microsoft.sqlserver.jdbc.SQLServerDriver'
);

insert into ttab_sink select * from ttab_sourcer;

9.查看实时同步正常
离线同步把source换成jdbc连接器即可。
实时同步source需要时cdc连接器。

标签:jdbc,name,数据源,flink,离线,ttab,同步,id
From: https://www.cnblogs.com/huft/p/18229457

相关文章

  • flink状态和容错
    flink状态与容错容错:在服务器出现问题的情况下,还可以保证数据不丢失(在出错误的情况下,还能保证一个数据只被处理一次)checkpoint为了保证flink的容错,需要为状态添加checkpoint(检查点)。checkpoint使得flink能够恢复状态和在流中的位置,从而向应用提供和无故障执行时一样的语义......
  • redis自学(45)缓存同步
                             整个多级缓存的架构  ......
  • NTP单播+安全认证时间同步
    章节介绍NTP的概念NTP的安全认证NTP的配置-配置设备的时域-年份-日期-月份-时间NTP配置单播时间同步+安全认证———————————————————————————————————————————NTP概念NTP(NetworkTimeProtocol,网络时间协议),主要作用就是实现服......
  • Linux ffmpeg 离线安装
    linux版本下载地址:http://www.ffmpeg.org/releases/4.3.1 下载地址:http://ffmpeg.org/releases/ffmpeg-4.3.1.tar.gz 配套组件yasm下载http://www.tortall.net/projects/yasm/releases/http://www.tortall.net/projects/yasm/releases/yasm-1.3.0.tar.gz yasm安......
  • 内网环境下离线安装Docker
    1、系统要求首先需要确定CentOS7的内核版本号,因为docker安装要求Linux内核版本在3.10及以上。查看内核版本号:uname-r#CentOS7内核版本号为:3.10.0-957.5.1.el7.x86_64查看系统名称:cat/etc/redhat-release#CentOSLinuxrelease7.6.1810(Core)2、下载D......
  • 数据库表的同步
    在C++中实现数据库中表的同步,通常是指保持两个或多个数据库表的数据一致,这可能涉及到数据的复制、更新、删除等操作。实现这一功能时,你可以采用几种策略,包括但不限于定期同步、触发器同步、或使用消息队列等。以下是使用C++实现一种基本的定期同步示例,假设你有两个数据库(源数据......
  • 第二十一届宁波大学程序设计竞赛(同步赛) A,B,D,F,H题解
    链接:第二十一届宁波大学程序设计竞赛(同步赛)_ACM/NOI/CSP/CCPC/ICPC算法编程高难度练习赛_牛客竞赛OJ(nowcoder.com)A:直接输出不多解释B:B-LoveYouGuys_第二十一届宁波大学程序设计竞赛(同步赛)(nowcoder.com)#include<bits/stdc++.h>usingnamespacestd;intx,y......
  • 数据图同步软件ETL
    ETL介绍ETL(Extract,Transform,Load)软件是专门用于数据集成和数据仓库过程中的工具。ETL过程涉及从多个数据源提取数据,对数据进行转换以满足业务需求,然后将数据加载到目标数据库或数据仓库中。以下是ETL软件的一些关键功能和特点:关键功能数据提取(Extract):从各种数据源(如......
  • 为什么windows使用系统缓存时要使用同步阻塞IO,而linux不用?
    在Windows使用系统缓存时,默认情况下会使用同步阻塞I/O,而在Linux中则没有这种强制要求。这个差异主要归结于两个操作系统的设计哲学、文件系统架构、以及缓存管理策略的不同。Windows的设计原因历史设计选择:Windows的文件系统和I/O子系统的设计是基于较早期的操作系......
  • 手机APP令牌离线生成验证码
    手机APP令牌离线生成验证码当手机APP令牌离线生成验证码时,通常是通过以下步骤实现的:用户在手机APP上选择生成验证码选项。系统会生成一个随机的验证码,并将其显示在APP界面上。用户需要将生成的验证码手动输入到需要验证的系统中。这种离线生成验证码的方式通常用于在......