Flink概述

• Apache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行状态计算

Flink特点

事件驱动（Event-driven）

• 事件驱动型应用是一类具有状态的应用，它从一个或多个事件流提取数据，并根据到来的事件触发计算、状态更新或其他外部动作
• 比较典型的就是以kafka为代表的消息队列几乎都是事件驱动型应用
• 应用程序能够对实时数据流做出快速响应
• 例如，假设系统需要识别短时间内先出现小额交易后紧跟大额交易的模式，这可能是信用卡被盗用的迹象，Flink程序会持续监控交易事件流，当检测到这种模式时，就会触发一个警报，并可能阻止进一步的交易，直到情况得到验证

流和批的思想

• 批处理：有界、持久、大量，非常适合需要访问全套记录才能完成的计算工作，一般用于离线统计

• 流处理：无界、实时, 无需针对整个数据集执行操作，而是对通过系统传输的每个数据项执行操作，一般用于实时统计

• 无界数据流：无界数据流有一个开始但是没有结束，它们不会在生成时终止并提供数据，必须连续处理无界流，也就是说必须在获取后立即处理event，处理无界数据通常要求以特定顺序（例如事件发生的顺序）获取event，以便能够推断结果完整性

• 有界数据流：有界数据流有明确定义的开始和结束，可以在执行任何计算之前通过获取所有数据来处理有界流，处理有界流不需要有序获取，因为可以始终对有界数据集进行排序，有界流的处理也称为批处理

Spark VS Flink

• 在spark的世界观中，一切都是由批次组成的，离线数据是一个大批次，而实时数据是由一个一个无限的小批次组成的
• 在flink的世界观中，一切都是由流组成的，离线数据是有界限的流，实时数据是一个没有界限的流，这就是所谓的有界流和无界流

分层API

• Flink提供了分层API，以适应不同类型的数据处理需求和用户偏好

• Stateful Stream Processing：这是最底层的API，提供了ProcessFunction，允许开发者进行有状态的流处理。它提供了对时间和状态的细粒度控制，适用于需要管理复杂状态和定时器的场景

• Core API：包括了DataStream API和DataSet API，这些API提供了数据处理的基本操作，如数据转换、分组、聚合、窗口和状态管理，DataStream API用于流处理，而DataSet API用于批处理

• Table API & SQL：Table API是一个基于表的声明式DSL，它提供了关系型数据模型和类似SQL的操作，如select、project、join、group-by等，Table API可以在流和批数据上以相同的语义执行查询，并产生相同的结果，SQL API则允许用户直接使用SQL语句进行数据处理，而无需编写Java或Scala代码