首页 > 其他分享 >ETL工具-nifi干货系列 第十七讲 nifi Input Port&Out Port 实战教程

ETL工具-nifi干货系列 第十七讲 nifi Input Port&Out Port 实战教程

时间:2024-04-25 23:24:08浏览次数:25  
标签:nifi 端口 数据流 Input Port Out

1、端口(Port),包含输入端口(Input Port)和输出端口(Out Port )

使用一个或多个处理组构建的数据流需要一种方式将处理组连接到其他数据流组件。

处理组和处理组之间可以通过使用端口来进行连接。这里的端口和kettle中的步骤【复制记录到结果】、【从结果获取记录】是类似的功能。

数据流管理者可以向处理组添加任意数量的输入端口和输出端口(1个或者多个),并适当地命名这些端口。

上图设计处理组【用户信息表同步】流向处理组【交易订单表同步】

处理组【用户信息表同步】中添加一个Out Port。

处理组【交易订单表同步】中添加一个Input Port。

拖动处理组【用户信息表同步】➡️标记至处理组【交易订单表同步】,两个处理组直接进行关联。

假若一个处理组中有多个Input/Out Port的话,拖动➡️进行关联时会弹出关联选择窗体,如下图所示:

2、添加Out Port

双击Process Group进入处理组中。

从顶部工具栏拖动Out Port至画布。

设置处理器至Out Port的连线。

Out Port Name:自定义输出端口名称

Send To:数据流发送目的地选项,有Local connections,Remote connections (site-to-site)两个选项。

Local connections属于同一个nifi实例之间的数据流传输。

Remote connections (site-to-site):不同nifi实例之间的数据流传输。

3、添加Input Port

双击Process Group进入处理组中。

从顶部工具栏拖动Input Port至画布。

设置Input Port至处理器的连线。

 

Input Port Name:自定义输入端口名称

Receive From:数据流来源的选项,有Local connections,Remote connections (site-to-site)两个选项。

Local connections属于同一个nifi实例之间的数据流传输。

Remote connections (site-to-site):不同nifi实例之间的数据流传输。

 4、点击运行nifi 数据流,进入处理组查看溯源信息,如下图所示:

 

标签:nifi,端口,数据流,Input,Port,Out
From: https://www.cnblogs.com/zjBoy/p/18156450

相关文章

  • vue中函数使用、class和style属性、条件渲染、列表渲染、数据的双向绑定、input事件、
    【事件指令中的函数使用】1<!DOCTYPEhtml>2<htmllang="en">3<head>4<metacharset="UTF-8">5<title>Title</title>6<scriptsrc="https://cdn.jsdelivr.net/npm/vue/dist/vue.js"&......
  • vite打包,pdfjs-dist 报错import引入pdfjs-dist报错Top-level await is not available
    Top-levelawaitisnotavailableintheconfiguredtargetenvironment("chrome87","edge88","es2020","firefox78","safari14"+2overrides)node_modules/pdfjs-dist/build/pdf.mjs:17349:53:17349│/****......
  • Python3.8.4 解决 ImportError: urllib3 v2 only supports OpenSSL 1.1.1+, currently
    系统版本:CentOSLinuxrelease7.6.1810(Core)编译安装Python3.8.4[root@hankyoon~]#tar-xvfPython-3.8.4.tgz[root@hankyoon~]#cdPython-3.8.4/[root@hankyoon~]#./configure--prefix=/usr/local/python3.8[root@hankyoon~]#make&&makeinstall[......
  • vue 自动导入unplugin-auto-import
     vue3日常项目中定义变量需要引入ref,reactive等等比较麻烦,可以通过unplugin-auto-import给我们自动引入1、安装npmi-Dunplugin-auto-import2、在vite.config.ts中引入importAutoImportfrom'unplugin-auto-import/vite'并在plugins中配置:exportdefaultdef......
  • export/import
    JavaScript模块的导出与导入:静态特性解析在这篇博客中,我们将探讨JavaScript中的export和import语句的使用,这些语句如何静态地处理代码,以及这种处理方式带来的优势。此外,我们也会探讨不同的函数声明方式,包括匿名函数和具名函数表达式的使用场景和它们的可见性区别。静态导......
  • 什么是自定义导入钩子(import hooks),他的作用
    自定义导入钩子(importhooks)是Python的导入系统中的一种机制,允许开发者自定义模块的查找和加载过程。在Python中,导入模块通常涉及几个步骤:查找模块、加载模块、初始化模块和定义模块。导入钩子可以在这些步骤中的任意一个插入自定义行为。自定义导入钩子的主要作用是扩展或......
  • ETL工具-nifi干货系列 第十六讲 nifi Process Group实战教程,一文轻松搞定
    1、目前nifi系列已经更新了10多篇教程了,跟着教程走的同学应该已经对nifi有了初步的解,但是我相信同学们应该有一个疑问:nifi设计好的数据流列表在哪里?如何同时运行多个数据流?如启停单个数据流?带着这些疑问,今天的主角nifiProcessGroup正式登场,先给大家看个图。2、ProcessGroup(......
  • AWS S3 Lambda Python脚本函数执行时报错AttributeError: module ‘PIL‘ has no attr
    背景代码示例如下importPILdefadd_image(self,tag,img,step):summary=Summary()bio=BytesIO()iftype(img)==str:img=PIL.Image.open(img)eliftype(img)==PIL.Image.Image:passelse:img=scipy.misc.......
  • react报错export ‘Switch‘ (imported as ‘Switch‘) was not found in ‘react-rou
    报如下错,查react-router-dom版本。 因为:react-router-dom从V5升级到V6造成的(1)将Switch重命名为Routes(2)Route的新特性变更,component/render被element替代(3) 嵌套路由变得更简单 ......
  • 3.Exporter概述
    一、Exporter概述    所有可以向Prometheus提供监控样本数据的程序都可以被称为一个Exporter。而Exporter的一个实例称为target,如下所示,Prometheus通过轮询的方式定期从这些target中获取样本数据: 注:安装好Exporter后会暴露一个http://ip:端口/metrics的HTTP服务,通......