1、我们平常在写应用程序的时候，会有去重的业务场景，可以在数据库层面解决，也可以在内存层面解决。
同样kettle也有去重的步骤【唯一行（哈希值）】和【去除重复记录】
唯一行（哈希值）：使用 HashSet 来删除重复行，只保留唯一的行。
去除重复记录（Unique Rows）：删除重复行，只保留唯一的行。这只适用于已排序的输入。如果输入没有排序，则只能正确处理连续的重复行。
2、下面示例比较简单，使用步骤【自定义常量数据】生成3条数据，然后通过步骤【唯一行（哈希值）】进行去重。
3、根据name字段进行去重，hashset的去重逻辑是不存在重复数据插入hashset，存在则不插入，所以name为Java小金刚的数据保留了第一条，如下图所示。
4、使用步骤【自定义常量数据】生成4条数据，然后通过步骤【去除重复记录】进行去重。没有排序的情况下，不相邻的重复数据没有进行去重，如下图所示。
5、使用步骤【自定义常量数据】生成4条数据，然后通过步骤【排序】根据name进行排序，最后通过步骤【去除重复记录】进行去重。排序的情况下，不相邻的重复数据仅保留一条，如下图所示。
标签：kettle,入门,重复,步骤,第四十四,重复记录,排序,数据 From： https://www.cnblogs.com/zjBoy/p/18005551