Flink: Function And Rich Function , 对比 Function ,Rich functions还提供了这些方法:open、close、getRuntimeContext 和 setRuntimeContext
序言
了解了Flink提供的算子,那我们就可以自定义算子了.自定义算子的目的是为了更加灵活的处理我们的业务数据,并将满足条件的结果Sink到目标存储地[email protected]
Function有2中类型即 Function 和 Rich Function .从字面意思我们可以了解 Rich Function 肯定是比Function提供了更多的功能的.
参考版本为: v1.13.2
官网地址:用户自定义 Functions | Apache Flink
Function
以算子Map举例 我们自定义的Function需要实现类(针对其它算子比如Filter,则是实现接口FilterFunction)
MapFunction<?, ?>
举例实现类
- class MyMapFunction implements MapFunction<String, Integer> {
- public Integer map(String value) { return Integer.parseInt(value); }
- };
- data.map(new MyMapFunction());
Rich Functions
Rich functions 对比 Function 还提供了这些方法:open
、close
、getRuntimeContext
和 setRuntimeContext
由上可见一个RichFunctions的调用绝非是一次性买卖,提供了一个生命周期的管理,即从open开始到close结束.同时提供了getRuntimeContext
以获取Flink的上下文环境.
需要注意的是Flink 流数据处理_难得糊涂-CSDN博客_flink数据处理范式 里已经很清楚地表明了,算子是针对窗口的计算执行者,且算子有并行度,则每个算子的生命周期是相互独立的.这个很好理解因为算子的有并行度,且相同算子的可能有多个线程,且分布在不同的服务器上[email protected].
- open()方法: 是rich function的初始化方法,当一个算子例如map或者filter被调用之前open()会被调用。
- close()方法: 是生命周期中的最后一个调用的方法,做一些清理工作。
- getRuntimeContext()方法: 提供了函数的RuntimeContext的一些信息,例如函数执行的并行度,任务的名字,以及state状态
同理针对Map算子,创建我们自己的自定义算子需要实现接口RichMapFunction
- class MyMapFunction extends RichMapFunction<String, Integer> {
- public Integer map(String value) { return Integer.parseInt(value); }
- };
原文链接:Flink: Function And Rich Function
标签:Function,getRuntimeContext,Flink,Rich,算子,close,open
From: https://www.cnblogs.com/sunny3158/p/18095186