首页 > 其他分享 >几个场景下用flink如何解决的思考

几个场景下用flink如何解决的思考

时间:2024-08-20 23:26:27浏览次数:12  
标签:flink 窗口 下用 allowedLateness 场景 车辆 5d 称重

车辆GPS流和车辆过地磅重量流union,地磅数据最多晚到5天

使用allowedLateness(5d)可以让窗户等待5天再关闭。

1、第二天flink任务重启了,迟到数据还能处理吗?

image

2、大部分车辆都没有称重数据,如何提前关闭这些窗口,避免过多浪费内存

image
设置allowedLateness(5d)
对于没有称重数据的车辆,当水印 > 窗口最大时间,就可以考虑清除窗口的状态。

1秒内气温升高超过1度,进行报警

利用KeyedProcessFunction中的定时器来实现。
定时器通常用来清除某些key对应的窗口的状态。

标签:flink,窗口,下用,allowedLateness,场景,车辆,5d,称重
From: https://www.cnblogs.com/xushengbin/p/18370565

相关文章

  • FLink1.17-Kafka实时同步到MySQL实践
    1.组件版本组件版本Kafka3.7.0Flink1.17.0MySQL8.0.32 2.Kafka生产数据./kafka-console-producer.sh--broker-listhadoop01:9092,hadoop02:9092,hadoop03:9092--topic  kafka_test_table2>{"id":123,"test_age":33}&......
  • 使用对比!SLS 数据加工 SPL 与旧版 DSL 场景对照
    作者:灵圣概述如前一篇《SLS数据加工全面升级,集成SPL语法》所述,SLS数据加工集成了SLS数据处理语法SPL。与旧版本数据加工DSL相比,SPL在处理非结构化数据的场景中,其语法简洁度上有很多提升,比如中间类型保持、字段引用、无缝兼容SQL函数等。这里我们继续讨论在不同的数......
  • 机架式服务器通常适用于哪些场景?
    随着科技的快速发展,机架式服务器也变成了企业选择比较多的服务器设备之一,那么对于企业来说机架式服务器通常都会应用在哪些场景当中呢?下面就让小编来带领大家一起来了解一下吧!与其它的服务器相比,机架式服务器有着相对统计的尺寸并且都是以相对较高的密度来进行堆叠起来的,特别......
  • iPaaS丨API低代码平台适用的业务场景
    API低代码开发平台在数字化转型加速的当下,API低代码开发平台作为技术创新的前沿阵地,正逐步成为企业构建高效、灵活IT架构的关键支撑。该平台不仅继承了微服务架构的诸多优点,如高内聚、低耦合,还深度融合了低代码开发理念,为开发团队提供了前所未有的便捷与高效。平台通过数据模型......
  • 学懂C++(三十九):网络编程——深入详解 TCP 和 UDP 的区别和应用场景
    目录一、TCP的特点及应用场景1.可靠性2.流控制和拥塞控制3.有序传输4.应用场景二、UDP的特点及应用场景1.无连接2.不可靠性3.轻量级4.支持广播和多播5.应用场景三、TCP和UDP的区别四、TCP和UDP的工作原理1.TCP的工作原理三次握手数据传输......
  • [Flink] Flink 序列化器
    1概述:Flink(反)序列化器简述序列化器:多用于Sink输出时反序列化器:多用于Source读取时依赖包及版本依赖包及版本信息(汇总)org.apache.kafka:kafka-clients:${kafka-clients.version=2.4.1}org.apache.flink:flink-java:${flink.version=1.12.6}org.apache.flink......
  • (八)Flink Join 连接
    在分布式数据处理中,JOIN是一个非常重要的操作。Flink的JOIN是用于将两个数据流按照一定的条件进行连接,生成新的数据流。Flink双流JOIN主要分为两大类:一类是基于窗口的JOIN操作,另一类是基于原生State的Connect算子操作。其中基于窗口的JOIN可细分为WindowJoin......
  • 写作如何适应多变场景?AI工具集,多场景模板,轻松切换。
    迈入2024年,难道仍有人不谙熟AI写作之道吗?诸如日常繁琐的工作汇报、总结等任务,借助AI写作工具,便能迅速完成,有效解决了我们的棘手工作。当然,优质的AI写作工具能够创作出更高水准的文章,诸如学术论文、小说、营销策划案……在此,我并不打算对ChatGPT、文心一言等大型语言模型进行......
  • flink上下游并行度不一致导致的数据乱序问题
    问题描述SingleOutputStreamOperator<Row>aggregatedStream=patrolStream.union(timerGarbageStream).filter(v->v.getFacility()!=null&&(v.getFacility().getType()==11||v.getFacility().getType()==48))......
  • 面试场景题:一次关于线程池使用场景的讨论。
    你好呀,我是歪歪。来一起看看一个关于线程池使用场景上的问题,就当是个场景面试题了。问题是这样的:字有点多,我直接给你上个图你就懂了:前端发起一个生成报表页面的请求,这个页面上的数据由后端多个接口返回,另外由于微服务化了,所以数据散落在每个微服务中,因此需要调用多个下游接......