你好呀，我是歪歪。 我想再讨论一下上次的这篇文章《哎，被这个叫做at least once的玩意坑麻了》 因为有些朋友看完之后再评论区给出了自己的思考，也有朋友和我私聊，分享了自己的看法，我觉得有些想法很好，所以我决定一鱼两吃，再聊聊这个问题。 假设，我们是一场面试，面试官给你抛出了这样一个问题： 如果一个消费队列由于某些原因，对于某个消息发起了两次。导致一样的数据落库两条，请问你会怎么处理这个问题？ 这题你一拿到手上，应该就立马能分析出是在问如何实现一个幂等机制。 想着这玩意我熟啊，张口就能给出方案： 面试官一听，提示道：你这个方案在多线程的情况下会不会有什么问题呢？ 于是你的小脑瓜子立刻开始转了起来：先查询，再判断，最后保存。 如果两个线程同时过来，都查不到数据，那么就能都走到保存的逻辑里面去，确实拦不住。 于是你扣了一下脑壳，想起了你上家公司针对这个问题，就是在数据库的表结构里面，对业务唯一流水号做了唯一索引，所以不会出现重复插入的情况。 然后你给出了“加唯一索引”的方案，准备绝杀这个问题。 没想到面试官非常不懂事，还在继续追问：我想尽量不要让程序抛出异常，还有没有其他的方案呢？ 你抱着自己的左手，边啃指甲边思考：唯一索引是数据库帮我们保证的逻辑，现在面试官这个老登不想让我用数据库来做这件事情。那就必须要控制在并发的场景下，只有一个请求能抵达数据库。 锁！这不就是锁干的事儿吗？ 于是你飞快的又想到了一个方法： 可以利用业务唯一流水号结合 Redis 来做一个锁，加锁成功的请求才能走到 save 逻辑中。 这样就能解决并发场景下，多个请求穿透到 save 逻辑这一步的问题。 面试官听到你这个方案之后，立马就启动了追问技能：如果放 Redis 成功了，但是还没来得及 save，服务重启了。 这个请求理论上是应该能再次发起的，但是由于 Redis 锁的存在，导致不会走到 save 的逻辑去，怎么办呢？ 于是你又扣了一下脑壳，想起你在上家公司的时候，好像也遇到过这个情况。 当时的解决方案就是人工介入，分析了一波数据，确认了这个消息确实应该被继续处理，于是你找 DBA 帮忙删除了 Redis 对应的 key，流程就通了。 然而这个回答面试官并不满意：人工就显得不优雅了，要不再想想？ 你又抱着自己的右手，边啃指甲边思考：这个老登考虑的确实挺多的，感觉应该在一个很厉害的团队，我得加把劲儿，再想想。 现在要人工介入的原因，是因为我们把第二次的请求拦截住并丢弃了。 如果不丢弃，那么理论上在“过期时间”到了，锁被释放后，第二次的请求拿到锁，就能接着往下走。 所以，这里需要在 Redis 这里加一个加锁失败则等待的逻辑： 但是你一看这个逻辑又不对了：由于有锁等待的逻辑，那么如果两个请求过来，还是有可能会都放入到 Redis 里面，flag 都会为 true，那么 save 方法还是会走两遍。 所以，还得在获取锁成功之后加上一个查询数据库的逻辑： 第一层的 Redis 相当于让请求排队，确保只有一个请求进来。 第二层的 select 才是真正的防止重复的业务逻辑。 同时，如果等待结束后还是未获取到锁，出现这种低概率情况，就预警出来，人工兜底嘛，一旦人工介入，那就是能解决任何问题。 你心想这波应该是稳了，应该是可以换题了。 然而面试官并不打算在这个回合上轻易放过你：这个方案确实是可以解决这个问题，但是在技术实现上引入了 Redis 框架，如果我不使用 Redis，单纯的靠 MySQL 呢？ 听到这个问题的时候你觉得不对啊，最开始的时候不就是说了“加唯一索引”就可以解决这个问题吗？ 于是面试官补充了一下描述： 最开始的加唯一索引是基于业务表来做的，如果出现问题就让其抛出主键冲突异常，这个方案确实是可以实现需求。但是我现在想让你给我设计一个通用的技术组件，不需要基于某个具体的业务场景去设计。我想听听你的思路。 拿到新的题目，你开始觉得这是***难，看着面试官求知的眼神，你又开始怀疑：这个老登不会是来套方案的吧？ 看着自己已经被咬秃了的左右大拇指指甲，感觉自己的灵感和指甲一样都光秃秃的。 开始后悔前面几个回合咬得太快了，原以为可以秒杀这个面试，没想到面试官还在缠斗。你动了使用必杀技来结束战斗的念想。 于是从帽子的缝隙中插进入一根指甲已经秃了的手指，在差不多秃了的头顶，用指腹画圈，给自己头皮按摩，医生说这样的有助于毛囊发育，你想着头发还会长出来，就思如泉涌，这就是必杀技。 你陷入了思考，Redis 在前面的方案中是为了防止有多条数据穿透到 save 方法中去，如果不让用 Redis。MySQL 怎么实现类似的效果呢？ 也加锁吗？for update？ 这玩意一看上去就是性能就拉胯了，为了解决这个偶发的问题，牺牲了接口的性能，这个路线就走的有点远了。 而且这个上锁的逻辑隐藏的有点深，容易留下后患，面试官肯定不会满意的。 那还有什么办法，能把 MySQL 当作锁来用，确保并发情况下只有一个请求能穿过这个锁呢？ 那还是得靠唯一索引的约束才行。 但是这个唯一索引面试官不让用业务表的，那就只能直接搞个“消息消费记录表”，里面有个“消息唯一标识”的字段，这个字段是唯一索引。 这张表面试官问起来，我就说这张表是完全独立于业务的存在，只是为了解决消息幂等这个存粹的技术问题而出现的，基于它，我们就可以设计出一个通用的技术组件，这样应该说的过去。 表有了，技术方法大概的雏形就有了。 然而你还不能开始答题，现在思路还不是特别清晰，你要把方案捋清楚了再张口。 在不知不觉间，你的指腹已经摩擦的有点麻木了，于是你换了一个手，穿过帽子，接着按摩着自己的头顶。 这个表我怎么用呢？ 先校验，再保存，非原子性，这样肯定不行啊， 我们想想一个场景，如果保存数据到消息消费记录表成功，还没来得及 save(业务消息) ，服务重启了，怎么办？ 所以为了保证原子性，我们可以加入事务，把这两步绑定到一起： 这样，如果保存数据到消息消费记录表成功，还没来得及 save(扣款信息) ，服务重启，事务回滚，消息消费记录表就不会真的插入成功。 而 MQ 没有收到这个消息的回执，也会再次进行投递。 由于消息消费记录表里没有这个数据，所以会再次进行消费。 现在你觉得似乎没啥问题了，刚想给面试官说你这个思路，但是立马又想到了另外一个问题：通过引入事务来解决了“非原子性”的问题，但是事务这玩意，一般来说，大家都是能不使用事务的地方就尽量不使用事务，通过最终一致性来保证数据的完整性。 这个老登肯定会在这个地方继续穷追猛打的，我先预判了他，想想这个问题怎么解决。 我们可以在消息消费记录表里面再引入一个“状态”字段，这个字段有两个取值：消费中、消费完成。 同时把唯一索引改成“消息唯一标识+状态”。 首先，MQ 发起请求，数据往消息消费记录表插的时候，状态直接就是“消费中”。 如果插入成功，则说明是第一次消费，进入到业务逻辑中去。 如果插入失败，则说明是重复消费，直接扔掉。 画成流程图上大概是这样的： 顺便提一嘴，上面这个流程图我是用这个网站直接生成的，我觉得这个网站画图还挺舒服的： https://excalidraw.com/ 你感觉这波应该稳了，于是给面试官说出了自己的方案，并在白字上画了流程图。 面试官拿着你的流程图，看了一眼，立马就看出了一个问题：如果一个消息插入失败，你的逻辑是扔掉。那假设这条消息的状态是消费中，业务逻辑执行失败，是不是应该重新消费才对呢？ 于是你立马反映过来，如果插入失败，则说明是重复消费，还需要判断数据的状态。 修改了流程图： 面试官拿着这个流程图，微微一笑： 倘若我业务执行完之后，状态更新之前，服务挂了，阁下又该如何应对？ 巧了，这个问题上一篇文章的评论区也提到了： 所以，还需要针对长时间在“消费中”的数据进行一个监控，人工兜底一下。 此外，为了防止“消费完成”的数据量过多，还应该对于这个状态的数据做一个定时清理的任务。 终于，你看到了面试官脸上那一闪而过的满意表情，在你觉得面试官应该会放过你了的时候，他又提出了另外的问题： 你这个通用组件理论上确实是可行的。 但是，这张表放在哪个库的哪个表里呢？ 是统一放在一个库里呢还是就放在业务服务的库里呢？ 统一放一个库的话太大了怎么办呢是不是要按日期分表？ 万一跟业务库用的数据库不是一个数据库产品那事务不生效咋办呢？ 放在业务库里的话万一业务服务连好几个库那我具体放哪一个呢？ 是不是所有业务库我都得加这么一张表强制绑架他们的数据库？ ... 这一部分问题，也来自上一篇文章评论区。 听到这些问题，你开始觉得这个面试官是在胡搅蛮缠，一气之下，准备拿回简历，结束面试。 但是手上动作稍微大了一点，一不小心掀起了自己的帽子，漏出了“资深的发型”。 面试官也愣住了，看着你“资深的发型”，当即就握住了你的手：你就是我要找的人才。不面了，就你了，明天来报道！ 入职之后你第一件事情就是看看这个公司的代码。 当你看第一个接口的时候，发现根本没有做幂等。 当你看第二个接口的时候，发现就是靠业务表的唯一索引做的幂等。 当你看第三个接口的时候，Redis 的方案跃然纸上。 突然一个哥们气喘吁吁的跑过来找昨天面试你的老登，说：快，又出问题了，帮忙删除一个 Redis key。 于是，你抽过去准备看一下怎么操作。 不经意间看到了老登正在写一个文档，题目叫做《一种分布式系统中数据唯一性的消息幂等保障策略》。 老登看到你过来了，说：正好，你来写这个文档，我已经把名字给你想好了，你就按照这个写，把你昨天的思路写清楚，到时候我去汇报。 你兴奋的问：汇报过了之后我们要按照这个方案落地吗？ 老登说：不不不，落地干啥啊，多麻烦啊，方案汇报嘛，体现一下我们在技术方面的时刻，在领导面前去刷个脸，所以你要多用一些高大上的词，越晦涩难懂越好。哦，对了，我顺便教教你怎么“删除 Redis key”，以后就让他们找你了。这帮老登，大半夜的，老是给我打电话。
业务消息 = select(业务唯一流水号);
if(业务消息 == null){
save(业务消息);
}Redis
flag = redis(业务唯一流水号,过期时间);
if(flag){
save(业务消息);
}flag = redis(业务唯一流水号,过期时间,获取不到则等待);
if(flag){
save(业务消息);
}flag = redis(业务唯一流水号,过期时间,获取不到则等待);
if(flag){
业务消息 = select(业务唯一流水号);
if(业务消息 == null){
save(业务消息);
}
}else{
//等待结束后还是未获取到锁,发送预警
monitor(预警信息);
}回到 MySQL
业务消息 = select(业务唯一流水号);//select *** for update
if(业务消息 == null){
save(业务消息);
}if(保存数据到消息消费记录表){//出现主键冲突就返回false
save(业务消息);
}开启事务；
if(保存数据到消息消费记录表){//出现主键冲突就返回false
save(业务消息);
}
提交事务；
入职
