首页 > 其他分享 >65、Flink 的 DataStream Connectors 概述

65、Flink 的 DataStream Connectors 概述

时间:2024-07-11 09:56:10浏览次数:18  
标签:DataStream Flink Amazon source Connectors sink 连接器 Apache

1)概览
1.预定义的 Source 和 Sink

预定义的 data sources 支持从文件、目录、socket,以及 collections 和 iterators 中读取数据。

预定义的 data sinks 支持把数据写入文件、标准输出(stdout)、标准错误输出(stderr)和 socket。

2.附带的连接器

连接器可以和多种多样的第三方系统进行交互,目前支持以下系统。

Apache Kafka (source/sink)
Apache Cassandra (source/sink)
Amazon DynamoDB (sink)
Amazon Kinesis Data Streams (source/sink)
Amazon Kinesis Data Firehose (sink)
DataGen (source)
Elasticsearch (sink)
Opensearch (sink)
FileSystem (sink)
RabbitMQ (source/sink)
Google PubSub (source/sink)
Hybrid Source (source)
Apache Pulsar (source)
JDBC (sink)
MongoDB (source/sink)
3.Apache Bahir 中的连接器

Flink 还有额外的连接器通过 Apache Bahir 发布,包括:

Apache ActiveMQ (source/sink)
Apache Flume (sink)
Redis (sink)
Akka (sink)
Netty (source)
4.连接 Flink 的其他方法
a)异步 I/O

使用 connector 并不是唯一可以使数据进入或者流出 Flink 的方式。

可以从外部数据库或者 Web 服务查询数据得到初始的数据流,然后通过 Map 或者 FlatMap 对初始数据流处理,Flink 提供了异步 I/O API 使这个过程更加简单、高效和稳定。

标签:DataStream,Flink,Amazon,source,Connectors,sink,连接器,Apache
From: https://blog.csdn.net/m0_50186249/article/details/140343375

相关文章

  • OceanBase 实时分析Demo 解析:Flink + OceanBase
    先看看实时分析的Demo效果演示Demo说明:这个汽车下单Demo支持在PC端进行下单操作,同时也支持多人通过手机扫码在线下单订单数据被实时写入OceanBaseTP数据库,并通过FlinkCDC实时同步到OceanBaseAP数据库。Demo中的分析看板从AP库中查询最新的数据进行展示。无论是执行简单......
  • 什么是 Flink SQL 解决不了的问题?
    简介在实时数据开发过程中,大家经常会用FlinkSQL或者FlinkDataStreamAPI来做数据加工。通常情况下选用2者都能加工出想要的数据,但是总会有FlinkSQL覆盖不了的问题,但SQL的易用性又难以让人释怀。所以有些场景在使用FLinkSQL开始就与需要额外注意,下面就介绍一种多......
  • Java版Flink使用指南——定制RabbitMQ数据源的序列化器
    大纲新建工程新增依赖数据对象序列化器接入数据源测试修改Slot个数打包、提交、运行工程代码在《Java版Flink使用指南——从RabbitMQ中队列中接入消息流》一文中,我们从RabbitMQ队列中读取了字符串型数据。如果我们希望读取的数据被自动化转换为一个对象,则需要定制序......
  • Apache/InLong InLong Manager 支持配置 Flink 任务并发度/Adjust sort resources acc
    audit已经实现了对于InLong系统的Agent、DataProxy、Sort模块的入流量、出流量进行实时审计对账。对账的粒度有分钟、小时、天三种粒度。audit的数据缓存在org.apache.inlong.audit.cache的各个类中,有DayCacheHalfHourCache等等请求audit数据的api在org.apache.inlong.audit.......
  • flink提交yarn 集群模式失败
    flink版本1.14.6在通过./bin/flinkrun-application-tyarn-application模式提交到yarn时失败。报错信息:点击查看代码Causedby:java.lang.ClassCastException:cannotassigninstanceoforg.apache.kafka.clients.consumer.OffsetResetStrategytofieldorg.apache.......
  • Flink 窗口触发器(Trigger)(一)
    Flink的窗口触发器(Trigger)是流处理中一个非常关键的概念,它定义了窗口何时被触发并决定触发后的行为(如进行窗口数据的计算或清理)。一、基本概念定义:触发器决定了窗口何时被触发以及触发后的行为。在Flink中,窗口的触发是通过设置定时器来实现的。作用:控制窗口数据的聚合时机......
  • 55、Flink 中使用 Java Lambda 表达式详解
    1)概述1.注意Flink支持对JavaAPI的所有算子使用Lambda表达式,但是,当Lambda表达式使用Java泛型时,需要显式地声明类型信息。2.示例和限制示例:map()函数使用Lambda表达式计算输入值的平方。不需要声明map()函数的输入i和输出参数的数据类型,因为Java编......
  • 56、Flink DataStream 的管理执行配置详解
    1)概述1.执行配置StreamExecutionEnvironment包含了ExecutionConfig,它允许在运行时设置作业特定的配置值。StreamExecutionEnvironmentenv=StreamExecutionEnvironment.getExecutionEnvironment();ExecutionConfigexecutionConfig=env.getConfig();以下是可用......
  • 从0到1Flink的成长之路(二十)-Flink 高级特性(二)之自动重启策略和恢复 ,固定延迟重启策
    从0到1Flink的成长之路(二十)-Flink高级特性(二)之自动重启策略和恢复,,固定延迟重启策略(开发中使用)自动重启策略和恢复1)、重启策略配置方式配置文件在flink-conf.yml中可以进行配置,示例如下:restart-strategy:fixed-delayrestart-strategy.fixed-delay.attempts:3restart-strat......
  • 大数据面试题之Flink(1)
    目录Flink架构 Flink的窗口了解哪些,都有什么区别,有哪几种?如何定义? Flink窗口函数,时间语义相关的问题 介绍下Flink的watermark(水位线),watermark需要实现哪个实现类,在何处定义?有什么作用? Flink的窗口(实现)机制 说下Flink的CEP 说一说Flink的Checkpoint机制 ......