精确一次性消费是指数据被消费后写入数据库的精确一次性;只要保证从Kafka读取数据之后写入数据库不丢失且不重复就可以。
消费流程:消费端在消费到Kafka数据之后把消费到的数据进行业务处理后写入到数据库,写入成功之后再保存这次消费数据的偏移量。这个流程就可以保证消费到的Kafka数据写入到数据库不会丢失,也就是满足至少一次性消费,设计写入数据库中的唯一key来唯一标识每次写入数据库的记录,当key相同时数据被覆盖或者被抛弃,这样就保证数据库记录的不重复。
补充:消费端写数据库时的精准一次性:消费者读取Kafka数据,然后消费者处理读取到的数据,以及最后向数据库写入处理后的结果。一旦任务(在任意环节)因为各种原因而失败那么任务就只能从头开始,从而重新读取Kafka的数据而为了避免失败后的任务不知道从Kafka的哪个位置开始读取数据,于是在消费端就需要记录每次消费成功之后也即是写入数据库成功后Kafka数据的偏移量;这样就算任务重启也知道从Kafka的哪个地方开始消费,但会有bug就是在一些特殊情况下数据消费完写数据库成功了但Kafka偏移量保存却失败了,或者Kafka的偏移量保存成功了而实际消费到的Kafka数据却并没有成功写入到数据库里。
标签:消费,一次性,数据库,写入,偏移量,Kafka,数据 From: https://blog.csdn.net/2301_79551573/article/details/136663976