首页 > 编程语言 >分布式系统架构1:共识算法Paxos

分布式系统架构1:共识算法Paxos

时间:2024-12-08 21:43:18浏览次数:6  
标签:架构 共识 算法 分布式系统 提案 Paxos 节点 分布式

1.背景

今天开始更新分布式的文章,工作几年后还没系统的学习分布式的内容,趁着还有时间学习沉淀的时候多输出些文章

2.为什么需要分布式共识算法

思考:现在你有一份随时变动的数据,需要确保它正确存储在网络的几台不同机器上,并且要保证数据是随时可用的,应该怎么做?

在分布式环境下,可以不必去追求系统内所有节点在任何情况下的数据状态都一致,采用“少数服从多数”的原则,认为数据的变化被正确存储在系统中。因此,我们需要一种算法,能够让分布式系统内部暂时容忍节点存在不同的状态,但最终大多数节点的状态能够一致。

这种让系统能最终表现出整体一致性的过程,急救室各个节点的协商共识

3.Paxos算法的历史

简单写下Paxos算法的历史,最早是由Leslie Lamport(就是大名鼎鼎的LaTeX中的“La”)提出的一种基于消息传递的协商共识算法。

Lamport 在 1990 年首次发表了 Paxos 算法,选的论文题目就是“The Part-Time Parliament”。但是由于论文使用了希腊城邦的比喻,使得论文更为晦涩难懂,审稿人要求Lamport进行修改,Lamport 非常不爽,然后干脆就撤稿不发了。 2001 年,Lamport 在“SIGACT News”杂志上发表了这篇论文,并放弃了“希腊城邦”的比喻。

之后,2006 年,Google 的 Chubby、Megastore 和 Spanner 等分布式系统,都使用 Paxos 解决了分布式共识的问题,这才使得Paxos 算法一夜间成为计算机科学分布式这条分支中,最炙手可热网红概念。

4.Basic Paxos算法工作流程

Basic Paxos算法将分布式系统中的节点分为提案节点、决策节点和记录节点三类

  • 提案节点Proposer:提出对某个值进行设置操作的节点,设置值这个行为就像提案,值设置成功后,不可变也不会丢失
  • 决策节点Acceptor:应答提案的节点,需要对提案进行投票,同时需要记住自己的投票历史
  • 记录节点Learner:超过半数决策节点就某个提案达成了共识,那么记录节点就需要接受这个提案,并就该提议作出运算,然后将运算结果返回给客户端

4.1Paxos算法怎么解决并发操作带来的竞争?

分布式环境下,一个节点取得锁后,如果在释放锁之前发生崩溃,整个操作都会被无限期等待阻塞。

Paxos解决竞争分2个阶段:

准备Prepare:提案节点先广播一个Prepare请求,并附带一个全局数字n作为提案ID,决策节点收到请求后,“两个承诺,一个应答”。承诺不在接收提案ID小于等于n的Prepare请求,也承诺不再接收小于n的Accept请求。应答已经批准过的提案中ID最大的那个。

批准Accept:提案节点收到多数派的应答后,会有两种结果:

  • 所有响应的决策节点此前没有批准过这个值,即首次设值的情况,那就自己随意选定值与提案ID,广播给决策节点
  • 响应决策节点中,已有至少一个节点的应答中包含有值了,非首次设值的情况,那么需要从应答中找出提案ID最大的那个值,再广播。协商共识结束

Basic Paxos 只能对单个值形成决议,并且决议的形成至少需要两次网络请求和应答(准备和批准阶段各一次),高并发情况下可能形成活锁。现在只做理论学习就行了。下面讲Multi Paxos算法。

5.Multi Paxos共识算法

5.1核心改进

概念:Multi-Paxos 只是一种思想,这种思想的核心就是通过多个 Basic Paxos 实例就一系列值达成共识。

相比较Basic Paxos算法,Multi Paxos增加了选主的过程:

  • 提案节点发现没有主提案节点时,使用准备、批准两轮网络交互,向其他节点广播自己竞选主节点请求
  • 得到决策节点多数派的批准时,竞选主节点成功。

选主之后,所有客户端请求都会由主节点来完成提案,不再需要准备过程,只需要 执行批准交互即可:

5.2只有主从节点

有了主节点后,角色可以简化,不再区分提案、决策、记录节点。只区分主、从节点。

于是,分布式系统中如何对某个值达成一致 的问题可以分为3部分解决:

  • 如何选主
  • 如何把数据复制到各个节点上
  • 怎么保证过程是安全的

3个问题解决了,就达成共识了。

这里针对问题2和问题3写些内容,用于应对可能的面试:

问题2:数据复制的过程?

  • 主节点将 X 写入自己的变更日志,但先不提交,接着把变更 X 的信息在下一次心跳包中广播给所有的从节点,并要求从节点回复“确认收到”的消息;
  • 从节点收到信息后,将操作写入自己的变更日志,然后给主节点发送“确认签收”的消息;
  • 主节点收到过半数的签收消息后,提交自己的变更、应答客户端并且给从节点广播“可以提交”的消息;
  • 从节点收到提交消息后提交自己的变更,数据在节点间的复制宣告完成。

问题3:过程是安全的?

  • 协定性Safety:保证选主的结果一定有且只有唯一的主节点
  • 终止性Liveness:保证选主过程一定是在某一时刻能够结束的

从极客时间课程原文上没理解清楚这段的解释,先空着吧,后面理解了再修改这段

总结

Paxos 算法不直接应用于工业界,理解原理理论就行。它的变体算法,比如我们今天学习的 Multi Paxos、Raft 算法,以及没有提到的 ZAB 等算法,都是分布式领域中的基石。

标签:架构,共识,算法,分布式系统,提案,Paxos,节点,分布式
From: https://www.cnblogs.com/dnboy/p/18593857

相关文章

  • 【软考速通笔记】系统架构设计师⑱——大数据架构设计理论与实践
    文章目录一、前言二、传统数据库遇到的问题2.1问题的根源2.2传统解决方法三、大数据基础3.1大数据处理技术3.2大数据利用过程3.3大数据处理系统面临的挑战3.4大数据具有的属性和特征四、Lanbda架构4.1批处理层4.2加速层4.3服务层五、Kappa架构5.1实时层5.2......
  • 【架构师从入门到进阶】第四章:前端优化思路——第一节:前端优化概述
    【架构师从入门到进阶】第四章:前端优化思路——第一节:前端优化概述减少不必要的传输该前置的前置该缓存的缓存本篇文章我们来学习前端优化的概述。为什么开始学前端呢?大家思考一下,我们在之前的文章中写过这么一段话。我们优化的点是从用户使用我们系统开始,直到我们响......
  • Bluetooth LE AUDIO架构概述
    背景BluetoothLEAUDIO是蓝牙5.2版本引入,LEAUDIO的引入不仅仅只是在功耗和延迟方面相对于经典蓝牙音频有改善,最大的创新在于应用场景的拓展,尤其是LE广播音频Auracast的引入,丰富了蓝牙Audio的应用场景,下面列举广播音频几个典型的应用场景:场景描述公共场所广播LEAudio广......
  • 一 Home Assistant开发架构
    架构在深入研究HomeAssistant架构之前,让我们先全面了解一下家庭自动化领域的整体情况。这样,我们就能展示HomeAssistant的不同部分是如何融入其中的。家庭控制负责收集信息和控制设备。家庭自动化根据用户配置触发命令。智能家居根据先前的行为触发命令。HomeAs......
  • 从传统IT架构到云原生应用:迈向现代化IT基础设施
    随着数字化转型的浪潮席卷全球,越来越多的企业正在逐步从传统的IT架构迁移到云原生应用架构。云原生技术不仅让企业能够更加灵活地应对市场变化,还为创新、成本效益、可扩展性和敏捷开发提供了新的动力。与传统IT架构相比,云原生架构通过容器化、微服务、自动化编排等技术,使得企......
  • 深入剖析 BitBake 源代码:架构、模块与 Yocto 项目的协同关系
    引言BitBake是Yocto项目的核心任务调度引擎,它通过对元数据的解析和任务依赖图的生成,为嵌入式Linux系统的构建提供了高效的支持。作为Yocto项目的执行核心,BitBake的代码设计逻辑清晰、功能模块划分明确。本文将结合实际代码,从BitBake的架构入手,分析其模块的功能与......
  • 开源架构安全深度解析:挑战、措施与未来
    开源架构安全深度解析:挑战、措施与未来一、引言二、开源架构面临的安全挑战(一)代码漏洞——隐藏的定时炸弹(二)依赖项安全——牵一发而动全身(三)社区安全——开放中的潜在危机三、开源架构的安全措施(一)代码审查——细致入微的安检(二)依赖项管理——精心......
  • 介绍一下 WebApplicationContext 思维导图 代码示例(java 架构)
    WebApplicationContext是Spring框架中的一个接口,它是ApplicationContext的扩展,专门用于Web应用程序。它提供了对Web特定功能的支持,例如解析主题(themes)、管理国际化资源、以及与Servlet容器集成等。下面是一个关于WebApplicationContext的思维导图大纲和一些代码示例。WebAp......
  • 对于前端项目,你是如何做架构设计的?
    前端项目架构设计需要考虑多方面的因素,目标是创建一个可维护、可扩展、高性能和易于协作的应用。以下是我通常会考虑的一些关键方面:1.项目类型和规模:小型项目(例如简单的landingpage,小型工具):可能只需要简单的文件结构,少量JavaScript文件,甚至无需构建工具。中型项......
  • 再用RNN神经网络架构设计生成式语言模型
    上一篇:《用谷歌经典ML方法方法来设计生成式人工智能语言模型》序言:市场上所谓的开源大语言模型并不完全开源,通常只提供权重和少量工具,而架构、训练数据集、训练方法及代码等关键内容并未公开。因此,要真正掌握人工智能模型,仍需从基础出发。本篇文章将通过传统方法重新构建一个语......