一、Apachenifi相关网址https://nifi.apache.org/ 官网https://nifi.apache.org/docs.html 文档https://nifi.apache.org/download.html 下载页##二、Apachenifi本地安装进入https://nifi.apache.org/download.html解压到本地bin目录下有启动和

在当今的数据驱动时代，企业面临着日益复杂的数据处理和工作流管理需求。为了满足这些需求，市场上出现了多种工具，其中DolphinScheduler和SeaTunnel与AirFlow和NiFi是两组经常被提及的解决方案。本文将深入探讨这两组工具的对比，从功能、性能、易用性等多个维度进行分析，以帮助企业选择

大数据处理的第一步是数据的采集与输入。无论是用于批量处理还是实时分析，数据的采集过程都是整个大数据生命周期的基础。数据采集不仅需要高效、实时地从不同来源获取数据，还需要能够处理各种形式的数据，确保其质量和一致性。采集的数据通常来自多个源头，例如传感器数据、系统日志

Flow概览表结构源表与目标表结构(除了表名都相同)CREATETABLEuser_model(idintunsignedNOTNULLAUTO_INCREMENT,id_numbervarchar(20)CHARACTERSETutf8mb4COLLATEutf8mb4_0900_ai_ciNOTNULLCOMMENT'身份证号',namevarchar(20)NOTNULL,phone_numbercha

InstallingasaServiceCurrently,installingNiFiasaserviceissupportedonlyforLinuxandmacOSusers.Toinstalltheapplicationasaservice,navigatetotheinstallationdirectoryinaTerminalwindowandexecutethecommandbin/nifi.shinstallt

1.环境准备准备三台4c8g的centos7服务器，分别安装jdk8，zookeeper-3.5.7(zookeeper-3.4.7版本不行，官网要求不低于3.5.5),如果不用root安装，就直接切换到对应用户(例:afp)。node01node02node032.下载nifi安装包和nifi-toolkit-1.19.1-bin.zip安装包（本教程已验证过1.19.1和1.27

第一次接触这一系统的时候，只有github上的一坨源码和官方的英文文档，用起来只能说是一步一个坑，一踩一个脚印，现在回想那段血泪史，只想***，现在用起来算是有了一些经验和总结，这里就做一下记录。目录对于Nifi的认知Nifi是什么Nifi能干什么Nifi的基本架构Nifi的核心概念 Nifi

Nifi-Processor自定义开发的流程之前说过，大部分的数据处理，我们可以基于ExcuseGroovyScript处理器，编写Groovy脚本去完成（或者Jpython，Js脚本等对应的组件），只能说这是基于Nifi平台的使用层面，还不能算是对于Nifi的开发，真正基于Nifi开发，至少要掌握Nifi扩展自定义组件，即根据实际需求，进

1、端口（Port），包含输入端口（InputPort）和输出端口（OutPort ）使用一个或多个处理组构建的数据流需要一种方式将处理组连接到其他数据流组件。处理组和处理组之间可以通过使用端口来进行连接。这里的端口和kettle中的步骤【复制记录到结果】、【从结果获取记录】是类似的功能。数据

1、目前nifi系列已经更新了10多篇教程了，跟着教程走的同学应该已经对nifi有了初步的解，但是我相信同学们应该有一个疑问：nifi设计好的数据流列表在哪里？如何同时运行多个数据流？如启停单个数据流？带着这些疑问，今天的主角nifiProcessGroup正式登场，先给大家看个图。2、ProcessGroup（

1、处理器QueryDatabaseTableRecord和处理器QueryDatabaseTable比较相似，该组件生成一个SQL查询，或者使用用户提供的语句，并执行它以获取所有在指定的最大值列中值大于先前所见最大值的行。QueryDatabaseTable的查询结果将被转换为Avro，而QueryDatabaseTableRecord的查询结果则被

1、处理器QueryDatabaseTable，该组件生成一个SQL查询，或者使用用户提供的语句，并执行它以获取所有在指定的最大值列中值大于先前所见最大值的行。查询结果将被转换为Avro格式，如下图所示： 本示例通过QueryDatabaseTable处理器连接数据库查询表数据，然后连接到LogMessage打印日志

1、在这里我们重温下nifi里面一个重要的概念FlowFile，如下图所示：FlowFile：FlowFile代表NiFi中的单个数据。nifi数据流中流动的就是flowfile，每个nifi处理器处理的数据也是基于flowfile的。FlowFile由两个组件组成：FlowFile属性(attribute)和FlowFile内容(content)。内容是FlowFile

1、今天我们一起来学习下处理器RouteOnAttribute，此处理器的作用是根据属性值进行路由进而来控制数据流的走向。类似于java中的if-else或者switch-case。如下图所示。 GenerateFlowFile产生测试数据，{"name":"Javax小金刚","id":"2"}JoltTransformJSON转换json结构：{"person":

1、今天我们一起来学习下处理器RouteOnAttribute，此处理器的作用是根据属性值进行路由进而来控制数据流的走向。类似于java中的if-else或者switch-case。如下图所示。 GenerateFlowFile产生测试数据，{"name":"Javax小金刚","id":"2"}JoltTransformJSON转换json结构：{"pers

1、其实这一节课本来按照计划一起学习RouteOnAttribute处理器（相当于java中的ifelse，switchcase控制语句），但是在学习的过程中遇到了一些问题。RouteOnAttribute需要依赖处理器EvaluateJsonPath，所以本节课我们一起来学习下EvaluateJsonPath处理器。如下图所示： 本节课的示例依然

1、本节通过一个小例子来讲解下处理器PutDatabaseRecord，该处理器的作用是将数据写入数据库。如下流程通过处理器GenerateFlowFile生成数据，然后通过处理器JoltTransformJSON转换结构，最后通过处理器PutDatabaseRecord将数据写入数据库。如下图所示 2、处理器GenerateFlowFile

在众多免费的数据集成工具中，我们选出了四个平台，它们分别是Apache Nifi、FineDataLink、kettle、ETLCLoud。现在，让我们快速浏览一下这四个平台的亮点。 Apache Nifi：Apache NiFi 是一款强大的数据集成和处理平台，它由美国国家安全局（NSA）开发并在2014年开源，并于2015年7月成为A

第六讲教程只简单介绍了Jolt的chain转换模式，本节课介绍下Jolt的各种转换模式。点击的处理器JoltTransformJSON高级配置选项，进行测试Jolt的转换模式。 1、Cardinality：更改了输入JSON数据元素的基数，适用于jsonObj和jsonList之间的转换。list转为obj input{"review

第六讲教程只简单介绍了Jolt的chain转换模式，本节课介绍下Jolt的各种转换模式。点击的处理器JoltTransformJSON高级配置选项，进行测试Jolt的转换模式。1、Cardinality：更改了输入JSON数据元素的基数，适用于jsonObj和jsonList之间的转换。list转为objinput{"review

1、处理器作用使用Jolt转换JSON数据为其他结构的JSON,成功的路由到'success',失败的'failure'。处理JSON的实用程序不是基于流的，因此大型JSON文档转换可能会消耗大量内存。Jolt：JSON到JSON转换库，用Java编写，其中转换的"规范"或者描述文件本身就是一个JSON文档。2、属性

1、今天我们一起来学习处理器GenerateFlowFile。这个处理器创建带有随机数据或自定义内容的FlowFiles。GenerateFlowFile对于负载测试、配置和模拟非常有用。从工具栏拖动处理器到画布，然后选择GenerateFlowFile即可。 2、点击add按钮或者双击 GenerateFlowFile可将此处理器

一、在使用nifi的过程中会使用到遇到avroschema、avrodata、avroReader、avroWriter等，所以本节课和大家一起学习下avro相关知识。 二、什么是AvroApacheAvro是hadoop中的一个子项目，也是一个数据序列化系统，其数据最终以二进制格式，采用行式存储的方式进行存储。三、什么

1、nifi服务启动之后，浏览器输入https://localhost:8443/nifi ,匿名登录或者输入用户名密码进入操作页面，如下图所示：2、组件工具栏处理器,鼠标放到图标上提示Processor，里面里面有各种各样的组件，可以实现各种各样的功能。 拖拉处理器到画布中，出现处理器选择列表，可以根据处理

1、nifi简介ApacheNiFi是基于流程编程概念的数据流系统。它支持强大且可扩展的数据路由、转换和系统中介逻辑的有向图。NiFi具有基于Web的用户界面，用于设计、控制、反馈和监控数据流。它在多个服务质量维度上都具有高度可配置性，例如容忍丢失与保证传递、低延迟与高吞吐量、基于