首页 > 其他分享 >Flink: Function And Rich Function , 对比 Function ,Rich functions还提供了这些方法:open、close、getRuntimeContext

Flink: Function And Rich Function , 对比 Function ,Rich functions还提供了这些方法:open、close、getRuntimeContext

时间:2024-03-25 19:55:06浏览次数:31  
标签:Function getRuntimeContext Flink Rich 算子 close open

Flink: Function And Rich Function , 对比 Function ,Rich functions还提供了这些方法:open、close、getRuntimeContext 和 setRuntimeContext

序言

       了解了Flink提供的算子,那我们就可以自定义算子了.自定义算子的目的是为了更加灵活的处理我们的业务数据,并将满足条件的结果Sink到目标存储地[email protected]

       Function有2中类型即 Function  和 Rich Function .从字面意思我们可以了解 Rich Function 肯定是比Function提供了更多的功能的.

参考版本为: v1.13.2

官网地址:用户自定义 Functions | Apache Flink

Function

以算子Map举例 我们自定义的Function需要实现类(针对其它算子比如Filter,则是实现接口FilterFunction)

MapFunction<?, ?>

举例实现类

  1. class MyMapFunction implements MapFunction<String, Integer> {
  2. public Integer map(String value) { return Integer.parseInt(value); }
  3. };
  4. data.map(new MyMapFunction());

Rich Functions

Rich functions 对比 Function 还提供了这些方法:openclosegetRuntimeContext 和 setRuntimeContext

由上可见一个RichFunctions的调用绝非是一次性买卖,提供了一个生命周期的管理,即从open开始到close结束.同时提供了getRuntimeContext 以获取Flink的上下文环境.

需要注意的是Flink 流数据处理_难得糊涂-CSDN博客_flink数据处理范式 里已经很清楚地表明了,算子是针对窗口的计算执行者,且算子有并行度,则每个算子的生命周期是相互独立的.这个很好理解因为算子的有并行度,且相同算子的可能有多个线程,且分布在不同的服务器上[email protected].  

  1. open()方法: 是rich function的初始化方法,当一个算子例如map或者filter被调用之前open()会被调用。
  2. close()方法: 是生命周期中的最后一个调用的方法,做一些清理工作。
  3. getRuntimeContext()方法: 提供了函数的RuntimeContext的一些信息,例如函数执行的并行度,任务的名字,以及state状态

同理针对Map算子,创建我们自己的自定义算子需要实现接口RichMapFunction

  1. class MyMapFunction extends RichMapFunction<String, Integer> {
  2. public Integer map(String value) { return Integer.parseInt(value); }
  3. };
原文链接:Flink: Function And Rich Function

标签:Function,getRuntimeContext,Flink,Rich,算子,close,open
From: https://www.cnblogs.com/sunny3158/p/18095186

相关文章

  • Flink API的四层抽象级别是什么?能用实际项目案例讲解一下吗? Flink API的四层抽象级别
    FlinkAPI的四层抽象级别是什么?能用实际项目案例讲解一下吗?首先,FlinkAPI的四层抽象级别是指:最底层抽象:ProcessFunctionAPI、核心API:DataStreamAPI、TableAPI、SQL。这四个抽象级别可以比作烹饪中的不同方式,从简单的速食制作到复杂的大餐烹饪。1.最底层抽象:ProcessFunctionAP......
  • function函数和箭头函数的区别,用法和功能方面的区别
    在JavaScript中,普通函数(functionfunctions)和箭头函数(arrowfunctions)有一些区别,包括用法和功能方面的不同之处:语法:普通函数使用关键字 function 来声明函数,例如:functionmyFunction(){...}。箭头函数使用箭头 => 来声明函数,例如:constmyFunction=()=>{...}......
  • Loss Function: MSELoss, CrossEntropyLoss
    ......
  • AntSK 0.2.1 版本揭秘:动态加载dll,驱动Function Call新境界!
        在.NET的无限宇宙中,动态加载dll似乎一直是操控代码生生不息的魔杖。今天,我将与您探讨如何通过AntSK0.2.1版本灵活运用dll,将FunctionCall的强大功能插拔自如地融入项目之中,我们走入插件化开发的全新篇章。新版本简介       AntSK,这个曾被我们广泛探讨过的......
  • C++ Function Templates (函数模板)
    C++FunctionTemplates[函数模板]1.TemplatesandGenericProgramming(模板与泛型编程)2.DefiningaFunctionTemplates(定义函数模板)2.1.InstantiatingaFunctionTemplate(实例化函数模板)2.2.TemplateTypeParameters(模板类型参数)2.3.Non......
  • find function symbol from .a and .so in a directory
    Ihavepostedamethodtofindclasssymbolfromadirectoryinthepreviousarticle.Todayigotaquestioninfindingfunctionsysbol.Sothefellowscriptcodewascreatedtosolvethequestion.#!/bin/bashdotMaxCnt=200functionprocessLine(){ if......
  • typescript Decorators TypeError: Function expected
    需要启用experimentalDecorators 要启用对装饰器的实验性支持,您必须在命令行或tsconfig.json中启用ExperimentalDecorators编译器选项:commandLine:tsc--targetES5--experimentalDecorators 这个文档说的很有问题,说是要“实验性支持”,而实际上,自ts5之后,启用这个选项实......
  • [计算理论] 1. 图灵机、递归函数与丘奇-图灵论题 Turing Machine, Recursive Function
    图灵机在研究一种自动机时,我们有两种视角语法学(Syntax),描述一个自动机是什么,如分析自动机的组成、结构。语义学(Semantics),描述一个自动机做什么,如分析自动机的语言。换句话说,前者是自动机的视角,后者是形式语言的视角。图灵机的语法图灵机的原始描述如下:一台含......
  • [转]Golang Functional Options Pattern
     原文: https://golang.cafe/blog/golang-functional-options-pattern.html-------------------- GolangFunctionalOptionsPatternTheGo(Golang)FunctionaOptionsPatternisaway,apatternofstructuringyourstructsinGobydesigningaveryexpressivea......
  • WPF RichTextBox 文本超过限定行数移除旧数据
    在使用serilog.sinks.richtextbox显示日志时,会需要移除旧的日志信息的需求,实现打码如下;根据换行符“\n”进行判断; privatevoidCheckAndRemoveText(){intnewLineCount=0;boolremoveText=false;foreach(Paragraphparagraphin_richTex......