Flink - [05] 时间语义 & Watermark

题记部分

一、时间语义

Flink中的时间语义分为以下，

（1）Event Time：事件创建的时间

（2）Ingestion Time：数据进入Flink的时间

（3）Processing Time：执行操作算子的本地系统事件，与机器相关

哪种时间语义更重要？

• 不同的时间语义有不同的应用场合，我们往往更关心事件时间（Event Time）
• 某些场合，不应该使用Processing Time
• Event Time可以从日志数据的时间戳（timestamp）中提取

2017-11-02 18:37:15.624 INFO Fail over to rm

1.1、设置Event Time

可以直接在代码中，对执行环境调用setStreamTimeCharacteristic方法，设置流的时间特性

具体的时间，还需要从数据中提取时间戳（timestamp）

val env = StreamExecutionEnvironment.getExecutionEnvironment
env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime)

1.2、乱序数据的影响

（1）当Flink以Event Time模式处理数据流时，它会根据数据里的时间戳来处理基于时间的算子

（2）由于网络、分布式等原因，会导致乱序数据的产生

（3）乱序数据会让窗口计算不准确

二、Watermark（水位线）

（1）怎样避免乱序数据带来计算不正确？

（2）遇到一个时间戳达到了窗口关闭窗口，不应该立刻触发窗口计算，而是等待一段时间，等迟到的数据来了再关闭窗口

Watermark是一种衡量Event Time进展的机制，可以设定延迟触发

Watermark是用于处理乱序事件的，而正确的处理乱序事件，通常用Watermark机制结合window来实现。

数据流中的Watermark用于表示timestamp小于Watermark的数据都已经到达了，因此，window的执行也是由Watermark触发的。

watermark用来让程序自己平衡延迟和结果正确性。

2.1、Watermark的特点

（1）watermark是一条特殊的数据记录

（2）watermark必须单调递增，以确保任务的事件时间时钟在向前推进，而不是在后退

（3）watermark与数据的时间戳相关

2.2、watermark的传递

2.3、watermark的引入

Event Time的使用一定要指定数据源中的时间戳

调用.assignTimestampsAndWatermarks()方法，传入一个BoundedOutOfOrdernessTimestampExtractor，就可以指定watermark

dataStream.assignTimestampsAndWatermarks(
    new BoundedOutOfOrdernessTimestampExtractor[SensorReading]
    (Time.milliseconds(1000)){
        override def extractTimestamp(element: SensorReading): Long = {
            element.timestamp * 1000
        }
    }
)

对于排好序的数据，不需要延迟触发，可以只指定时间戳就行了

dataStream.assignAscendingTimestamps(_.timestmap * 1000)

Flink暴露了TimestampAssigner接口供我们实现，使我们可以自定义如何从事件数据中抽取时间戳和生成watermark

dataStream.assignTimestampsAndWatermarks(new MyAssigner())

MyAssigner可以有两种类型，都继承自TimestampAssigner

2.4、TimestampAssigner

定义了抽取时间戳，以及生成watermark的方法，有两种类型，

（1）AssignerWithPeriodicWatermarks

  ① 周期性的生成watermark：系统会周期性的将watermark插入到流中

  ② 默认周期是200毫秒，可以使用ExecutionConfig.setAutoWatermarkInterval()方法进行设置

  ③ 升序和前面乱序的处理BounderOutOfOrderness，都是基于周期性watermark的

（2）AssignerWithPunctuatedWatermarks：没有时间周期规律，可打断生成watermark

2.5、watermark的设定

  在Flink中，watermark由应用程序开发人员生成，这通常需要对相应的领域有一定的了解。如果watermark设置的延迟太久，收到结果的速度可能就会很慢，解决办法是在水位线到达之前输出一个近似结果。而如果watermark到达太早，则可能收到错误结果，不过Flink处理延迟数据的机制可以解决这个问题。

— 业精于勤荒于嬉，行成于思毁于随 —