首页 > 其他分享 >Flink 中的 Time 有哪几种

Flink 中的 Time 有哪几种

时间:2022-12-28 21:24:43浏览次数:31  
标签:Eventtime 处理 Flink 时间 事件 Time 哪几种

处理时间(Processing Time)

1、Flink程序执行对应操作的系统时间。所有基于时间的操作(例如:时间窗口)都将使用运行相应operator的系统时间。例如:每个小时的处理时间窗口包括在系统时间范围内所有operator接收到的记录。例如:如果应用程序在09:15开始运行,则第一个滚动时间窗口将包括:09:15 – 10:00 之间的处理事件,下一个窗口包括上午10:00 – 11:00之间的处理事件
2、这种处理时间方式实时性是最好的,但数据未必准确

事件时间(Event Time)

1、每个事件发生的时间。这个时间一般是在进入到Flink之前就包含在事件中
2、针对Eventtime,事件被处理的时间以来与事件本身
3、Eventtime必须要指定如何生成Eventtime Watermark(水印)
4、理想情况,不管事件何时到达或者顺序如何,事件时间处理能够得到完整一致地结果。
5、事件处理在等待乱序事件时,会产生一些延迟。这样会对Eventtime的应用性能有一定的影响

摄入时间(Ingestion Time)

1、摄入时间是事件进入Flink的时间
2、在source operator中,每个记录以时间戳的形式获取源的当前时间
3、它在概念是处于事件时间和处理时间中间
4、摄入时间不能处理乱序问题或者延迟数据,摄入时间可以由流式系统自动生成水印

设定时间特性

Flink DataStream 程序的第一部分通常是设置基本时间特性。 该设置定义了数据流源的行为方式(例如:它们是否将分配时间戳),以及像 KeyedStream.timeWindow(Time.seconds(30)) 这样的窗口操作应该使用上面哪种时间概念。

标签:Eventtime,处理,Flink,时间,事件,Time,哪几种
From: https://www.cnblogs.com/msjhw/p/17011299.html

相关文章

  • java localDateTime
    #JAVA-LocalDateTime时间格式化,转换时间戳和源码分析##LocalDateTime`LocalDateTime`作为java8新加的时间类型,也是后面开发中常用的时间类型。作为时间类型,最关注的点......
  • 启科量子或将开源环境部署工具Runtime
    截至2022年底,启科量子已完成开源多款量子计算软件产品,包括Qutrunk、QuBranch以及QuSprout等等。开源产品的行为旨在让更多的开发者、专家学者或爱好者参与到量子技术......
  • 面试官:你说说 js 中实现继承有哪几种方法?
    前言面试官:“你说说JavaScript中实现继承有哪几种方法?”紧张的萌新:“额,class中用extends实现继承,然后...没了...”面试官:“...”······大家好,我是CoderBin,......
  • Multi-Runtime多运行时架构
    概念Multi-RuntimeMulti-Runtime是一种服务端架构思路,把应用里的所有中间件挪到Sidecar里,使得“业务运行时”和“技术运行时”分离开。首先来看ServiceMesh,和传统......
  • java localDataTime
                               ......
  • Windows操作系统TIME_WAIT状态的TCP连接快速回收时间(性能测试时端口不够用)
    https://www.bilibili.com/read/cv16258140大规模Windows环境下,采用Nginx反向代理服务后,操作系统会产生较多TIME_WAIT的TCP(TransmissionControlProtocol)连接,操作系统......
  • Timeline - 自定义轨道
    Playable轨道和自定义轨道的区别1)Playable轨道中,自定义PlayableBehaviour的上一级只能是Playable。自定义轨道中,上一级是我们自定义的Playable2) 自定义轨道可以直......
  • Timeline - PlayableBehavior轨道
    使用Timeline实现CanvasGroup的补间动画1) 创建轨道资源类usingUnityEngine;usingUnityEngine.Playables;[System.Serializable]publicclassCanvasGroupClip:......
  • LocalDateTime转换
    StringstrDate="2022-12-31";StringstrTime="00:00:00";StringstrDateTime=strDate+""+strTime;longtimestamp=1672416000000L;DateTimeFormatter......
  • failed to create shim task: OCI runtime create failed
    报错[root@master1coredns]#kubectl-nkube-systemdescribepodcalico-kube-controllers-798cc86c47-kz9rr.... ....Events:TypeReason......