首页 > 其他分享 >分布式【分布式事务】

分布式【分布式事务】

时间:2023-10-27 17:25:39浏览次数:32  
标签:阶段 事务 2PC 消息 提交 参与者 分布式

一、事务

       事务实现应该具备原子性、一致性、隔离性和持久性。即ACID。

       原子性(Atomicity),可以理解为一个事务内的所有操作要么都执行,要么都不执行。

       一致性(Consistency),可以理解为数据是满足完整性约束的,也就是不会存在中间状态的数据,比如你账上有400,我账上有100,你给我打200块,此时你账上的钱应该是200,我账上的钱应该是300,不会存在我账上钱加了,你账上钱没扣的中间状态。

       隔离性(Isolation),指的是多个事务并发执行的时候不会互相干扰,即一个事务内部的数据对于其他事务来说是隔离的。

       持久性(Durability),指的是一个事务完成了之后数据就被永远保存下来,之后的其他操作或故障都不会对事务的结果产生影响。

      小结:事务就是为了使得一些更新操作要么都成功,要么都失败。

      联想:Redis事务中的某个命令失败了,之后的命令还是会被处理,Redis 不会停止命令,意味着也不会回滚。官方解释为如果命令出错那都是语法使用错误,是编程出错,而且这种情况应该在开发的时候就被检测出来,不应在生产环境中出现。然后 Redis 就是为了快!不需要提供回滚。

二、2pc

       2PC(Two-phase commit protocol),中文叫二阶段提交。 二阶段提交是一种强一致性设计。

       2PC 引入一个事务协调者的角色来协调管理各参与者(也可称之为各本地资源)的提交和回滚,二阶段分别指的是准备(投票)和提交两个阶段,即准备阶段提交/回滚阶段。

       注意这只是协议或者说是理论指导,只阐述了大方向,具体落地还是有会有差异的。

       流程:

       准备阶段协调者会给各参与者发送准备命令,你可以把准备命令理解成除了提交事务之外啥事都做完了。

        同步等待所有资源的响应之后就进入第二阶段即提交阶段(注意提交阶段不一定是提交事务,也可能是回滚事务)。

        假如在第一阶段所有参与者都返回准备成功,那么协调者则向所有参与者发送提交事务命令,然后等待所有事务都提交成功之后,返回事务执行成功。

        

                    

 

假如在第一阶段有一个参与者返回失败,那么协调者就会向所有参与者发送回滚事务的请求,即分布式事务执行失败。

                     

  如果是第二阶段提交失败情况:

  【第二阶段执行的是回滚事务操作】:答案是不断重试,直到所有参与者都回滚了,不然那些在第一阶段准备成功的参与者会一直阻塞着。

  【第二阶段执行的是提交事务操作】:答案也是不断重试,因为有可能一些参与者的事务已经提交成功了,这个时候只有一条路,就是头铁往前冲,不断的重试,直到提交成功,到最后真的不行只能人工介入处理。

       细节: 2PC 是一个同步阻塞协议,像第一阶段协调者会等待所有参与者响应才会进行下一步操作,当然第一阶段的协调者有超时机制,假设因为网络原因没有收到某参与者的响应或某参与者挂了,那么超时后就会判断事务失败,向所有参与者发送回滚命令。

       在第二阶段协调者的没法超时,因为按照我们上面分析只能不断重试!

       关键字:单点故障、网络分区

     【小结】: 2PC 是一种尽量保证强一致性的分布式事务,因此它是同步阻塞的,而同步阻塞就导致长久的资源锁定问题,总体而言效率低,并且存在单点故障问题,在极端条件下存在数据不一致的风险。

                当然具体的实现可以变形,而且 2PC 也有变种,例如 Tree 2PC、Dynamic 2PC。

                2PC 适用于数据库层面的分布式事务场景,而我们业务需求有时候不仅仅关乎数据库,也有可能是上传一张图片或者发送一条短信。

三、3PC

       3PC 的出现是为了解决 2PC 的一些问题,相比于 2PC 它在参与者中也引入了超时机制,并且新增了一个阶段使得参与者可以利用这一个阶段统一各自的状态。

       3PC 包含了三个阶段,分别是准备阶段、预提交阶段和提交阶段,对应的英文就是:CanCommit、PreCommit 和 DoCommit。      

       看起来是把 2PC 的提交阶段变成了预提交阶段和提交阶段,但是 3PC 的准备阶段协调者只是询问参与者的自身状况,比如你现在还好吗?负载重不重?这类的。

       而预提交阶段就是和 2PC 的准备阶段一样,除了事务的提交该做的都做了。

       提交阶段和 2PC 的一样。

                      

 

    不管哪一个阶段有参与者返回失败都会宣布事务失败,这和 2PC 是一样的(当然到最后的提交阶段和 2PC 一样只要是提交请求就只能不断重试)。

四、TCC

        2PC 和 3PC 都是数据库层面的,而 TCC 是业务层面的分布式事务,就像我前面说的分布式事务不仅仅包括数据库的操作,还包括发送短信等,这时候 TCC 就派上用场了。

        TCC 指的是Try - Confirm - Cancel

  1.  Try 指的是预留,即资源的预留和锁定,注意是预留
  2. Confirm 指的是确认操作,这一步其实就是真正的执行了
  3.  Cancel 指的是撤销操作,可以理解为把预留阶段的动作撤销了

        其实从思想上看和 2PC 差不多,都是先试探性的执行,如果都可以那就真正的执行,如果不行就回滚。

        我们来看下流程,TCC模型还有个事务管理者的角色,用来记录TCC全局事务状态并提交或者回滚事务。

         

    

 

   可以看到流程还是很简单的,难点在于业务上的定义,对于每一个操作你都需要定义三个动作分别对应Try - Confirm - Cancel

   因此 TCC 对业务的侵入较大和业务紧耦合,需要根据特定的场景和业务逻辑来设计相应的操作。

   还有一点要注意,撤销和确认操作的执行可能需要重试,因此还需要保证操作的幂等。

   相对于 2PC和3PC ,TCC 适用的范围更大,但是开发量也更大,毕竟都在业务上实现,而且有时候你会发现这三个方法还真不好写。不过也因为是在业务上实现的,所以TCC可以跨数据库、跨不同的业务系统来实现事务。

五、本地消息表     

       本地消息表其实就是利用了各系统本地的事务来实现分布式事务。

       本地消息表顾名思义就是会有一张存放本地消息的表,一般都是放在数据库中,然后在执行业务的时候 将业务的执行和将消息放入消息表中的操作放在同一个事务中,这样就能保证消息放入本地表中业务肯定是执行成功的。

        然后再去调用下一个操作,如果下一个操作调用成功了好说,消息表的消息状态可以直接改成已成功。

        如果调用失败也没事,会有 后台任务定时去读取本地消息表,筛选出还未成功的消息再调用对应的服务,服务更新成功了再变更消息的状态。

        这时候有可能消息对应的操作不成功,因此也需要重试,重试就得保证对应服务的方法是幂等的,而且一般重试会有最大次数,超过最大次数可以记录下报警让人工处理。

       可以看到本地消息表其实实现的是最终一致性,容忍了数据暂时不一致的情况

六、消息事务

       RocketMQ 就很好的支持了消息事务,让我们来看一下如何通过消息实现事务。      

      第一步先给 Broker 发送事务消息即半消息,半消息不是说一半消息,而是这个消息对消费者来说不可见,然后发送成功后发送方再执行本地事务。

      再根据本地事务的结果向 Broker 发送 Commit 或者 RollBack 命令。     

      并且 RocketMQ 的发送方会提供一个反查事务状态接口,如果一段时间内半消息没有收到任何操作请求,那么 Broker 会通过反查接口得知发送方事务是否执行成功,然后执行 Commit 或者 RollBack 命令。

      如果是 Commit 那么订阅方就能收到这条消息,然后再做对应的操作,做完了之后再消费这条消息即可

      如果是 RollBack 那么订阅方收不到这条消息,等于事务就没执行过。

      可以看到通过 RocketMQ 还是比较容易实现的,RocketMQ 提供了事务消息的功能,我们只需要定义好事务反查接口即可。

        

 可以看到消息事务实现的也是最终一致性。

七、最大努力通知

       其实我觉得本地消息表也可以算最大努力,事务消息也可以算最大努力。

       就本地消息表来说会有后台任务定时去查看未完成的消息,然后去调用对应的服务,当一个消息多次调用都失败的时候可以记录下然后引入人工,或者直接舍弃。这其实算是最大努力了。       

       事务消息也是一样,当半消息被commit了之后确实就是普通消息了,如果订阅者一直不消费或者消费不了则会一直重试,到最后进入死信队列。其实这也算最大努力。

        所以最大努力通知其实只是表明了一种柔性事务的思想:我已经尽力我最大的努力想达成事务的最终一致了。

        适用于对时间不敏感的业务,例如短信通知。

八、总结       

       可以看出 2PC 和 3PC 是一种强一致性事务,不过还是有数据不一致,阻塞等风险,而且只能用在数据库层面。

       而 TCC 是一种补偿性事务思想,适用的范围更广,在业务层面实现,因此对业务的侵入性较大,每一个操作都需要实现对应的三个方法。

       本地消息、事务消息和最大努力通知其实都是最终一致性事务,因此适用于一些对时间不敏感的业务

 

 

 

 

 

 

 

标签:阶段,事务,2PC,消息,提交,参与者,分布式
From: https://www.cnblogs.com/xiaobaicai12138/p/17792804.html

相关文章

  • SQL Server事务及隔离级别
    事务的并发操作可能出现的问题中文英文描述脏读DirtyReads事务2读到了事务1未提交的事务,事务1随后回滚,但事务2读到了事务1的“中间数据”。在ReadUncommitted隔离级别下会发生,其它级别不会。(update&read)丢失更新LostUpdates两个事务对同一个行分别进行......
  • 大事务导致数据库恢复时间长​
    背景客户的一套系统从凌晨开始出现运行缓慢,重启SQLServer服务后一个主要的数据库一直处在正在恢复的状态,多次重启SQLServer服务和服务器无果后请我们协助处理。现象在SSMS中看到数据库是正在恢复的状态,而且不能被访问。分析启动SQLServer服务时数据库恢复要经过分析、重做和撤销......
  • [26章]Java主流分布式解决方案多场景设计与实战
    点击下载:[26章]Java主流分布式解决方案多场景设计与实战 提取码:q5p5 Java主流分布式解决方案多场景设计与实战课程,计划26章,同步更新中。随着互联网数据井喷式的发展,分布式技术应运而生。分布式因其高性能、高可用、高扩展的特点,成为微服务项目的基石。本课程针对分布式六大主流问......
  • Revit 自定义事务进行自动管理事务DBTrans实现
    第一步:自定义事务对象自定义事务对象///<summary>///自定义事务///</summary>publicclassDBTrans:IDisposable{#region私有字段privatebooldisposedValue;privatebool_commit;///<summary>......
  • 分布式链路追踪系统zipkin【杭州多测师_王sir】
    一、部署zipkin环境的方式==》1.docker  2、java-jar   3、运行源码二、分别可以在Linux系统和Windows系统里面运行zipkin三、在地址栏输入:http://127.0.0.1:9411四、zipkin的流程图由上图可以看出,应用的代码(User Code)发起 Http Get 请求(请求路径 /foo),经过 Zipkin......
  • 事务,python连接mysql 索引等
    1.python连接MySQLMySQL本身就是一款C/S架构,有服务端、有客户端,自身带了有客户端:mysql.exepython这门语言成为了MySQL的客户端(对于一个服务端来说,客户端可以有很多)"""SQL的由来"""操作步骤:1.先链接MySQLhost、port、username、password、charset、库等......
  • Kafka 在分布式系统中的 7 大应用场景
    Kafka介绍Kafka是一个开源的分布式流式平台,它可以处理大量的实时数据,并提供高吞吐量,低延迟,高可靠性和高可扩展性。Kafka的核心组件包括生产者(Producer),消费者(Consumer),主题(Topic),分区(Partition),副本(Replica),日志(Log),偏移量(Offset)和代理(Broker)。Kafka的主要特点有:数据磁盘持久化:Ka......
  • LoadRunner分布式负载(多机器)
    首先调用的负载机器可以没有LoadRunner,但是必须要有AgentConfiguration:全部勾选在LoadRunnerUser的脚本中的接口调用必须使用ip,不能使用localhost。打开Controller: 添加负载机:测试连接:ready打钩表示连接通了。 点击菜单栏的scenario --> Convertscenarioto......
  • 分布式操作系统的必要性及重要性
     总有人在各个平台留言或者私信问LAXCUS分布式操作系统的各种问题,尤其是关于分布式操作系统的应用市场、价值、意义之类的问题。我们团队做LAXCUS分布式操作系统,也不是头脑凭空发热,是基于我们之前的大量产品设计、经验逐渐一步步做起来。当今已经进入智能时代,也是算力时代,人工智......
  • 利用 zookeeper 的分布式锁实现秒杀
    常见的业务场景:x年x月x日x点x分x秒,限时抢购10件商品。前提:分布式的环境,多用户高并发访问。依赖的jar包<projectxmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0htt......