1、我们在学习nifi的过程中有接触到Avro schema，当时我在想kettle应该也支持Avro，果不其然kettle也是支持Avro文件的读和写的。今天我们一起来学习下kettle中如何使用Avro input 读步骤。对Avro 不了解的，可以学习文章ETL工具-nifi干货系列 第四讲 Avro schema 序列化框架。
打开spoon，拖拉Avro input和写日志步骤到画布，然后连线，如下图所示：
2、双击Avro input 步骤进行配置，如下图所示：
Step name:自定义步骤名称
Source-Format：数据来源格式，有Avro file，JSON datum，Binary datum，Avro file(use alternate schema)，本次演示采用Avro file
Avro file（Avro 文件）
源材料位于单个位置。模式嵌入在数据中。
JSON datum（JSON 数据）
源材料位于不同位置。数据以JSON格式包含，并且模式与数据分离。
Binary datum（二进制数据）
源材料位于不同位置。数据以二进制格式包含，并且模式与数据分离。
Avro文件（使用备用模式）
源材料位于不同位置。模式与数据分离。
Source-Source：
from file，通过浏览选择Avro 文件
from field，通过选择前置步骤的字段进行设置
3、Avro fields，本选项卡主要是提取Avro 数据文件中的字段，点击Get fileds之后会自动填充，然后可以继续进行调整设置，如下图所示：
Avro path (Avro type)：Avro源的位置（及其格式类型）。
Indexed values：
Avro路径集合中要使用的索引键。您可以使用此字段进行映射或数组扩展，从而将数组或映射值扩展为返回多行数据。
要返回映射元素，请指定索引键。
要返回数组元素，请指定数组索引号，或者使用星号通配符 (*) 来返回数组的所有元素。
当此字段留空时，不会返回字段的数据。
Name：输入字段的名称。
Type：输入字段的类型，例如String或Date。
Format：输入字段的格式。
Pass through fields from previous step：
选择之后将字段从上一步传递到下一步，同时将当前步骤中的字段传递到下一步。
清除选择不将上一步字段传递到下一步。
Allow null values for missing paths or fields：
选择以使用null值替换传入数据中的缺失字段。
清除选择以不使用null值替换缺失字段。
4、Lookup fields
你可以使用查找字段选项卡创建变量，并将它们映射到特定字段，以在解码时用作对 Avro 结构的查找。
更多细节可以参考官网文档https://docs.hitachivantara.com/r/en-us/pentaho-data-integration-and-analytics/10.1.x/mk-95pdia003/pdi-transformation-steps/avro-input/options/lookup-fields-tab
标签：fields,kettle,Avro,file,第五十一,input,数据 From： https://www.cnblogs.com/zjBoy/p/18114105