kafka业务数据到ODS层处理小记
1：kafka消息partition分区，应以表主键为key
2：kafka消息落地后，同一批次数据中取主键+offset最大的一条，再删除基础数据中此批次数据，最后将此批次数据按数据处理类型（delete、insert、update），先insert、update，再delete。
标签：批次,ODS,kafka,数据,主键,小记 From： https://www.cnblogs.com/qsds/p/17339195.html
kafka业务数据到ODS层处理小记
1：kafka消息partition分区，应以表主键为key
2：kafka消息落地后，同一批次数据中取主键+offset最大的一条，再删除基础数据中此批次数据，最后将此批次数据按数据处理类型（delete、insert、update），先insert、update，再delete。
标签：批次,ODS,kafka,数据,主键,小记 From： https://www.cnblogs.com/qsds/p/17339195.html