1. 为什么使用分布式锁?分布式锁有什么用途?
(1)使用分布式锁的目的
使用分布式锁的目的很简单,就是为了保证在同一时间里面,只有一个 JVM 进程可以实现对于共享资源的操作。
确保数据的一致性
在分布式环境中,多个节点可能会同时访问和修改同一数据或资源。分布式锁可以确保在任何时刻只有一个节点能够对共享资源进行操作,从而避免数据的不一致和冲突。
避免重复执行:有时需要确保某项任务或操作只被执行一次。分布式锁可以用来防止在分布式系统中某项操作被多个节点重复执行,如防止重复发送邮件、重复处理请求等。
协调资源竞争
在分布式系统中,多个节点可能会争夺对某一资源(如文件、数据库记录)的访问权限。分布式锁帮助协调这些竞争,确保资源在同一时间只有一个节点可以访问,从而避免冲突和资源争用。
实现任务调度
在需要协调任务调度的场景下,分布式锁可以确保只有一个节点在某个时间段内执行特定的任务,避免任务的重复执行或调度冲突。
支持高可用性和容错
分布式锁能够处理节点故障和重新选举的场景,在一个节点失败后,锁机制可以使其他节点能够重新获得锁,从而保证系统的高可用性和容错能力。
管理分布式事务
在分布式系统中,处理分布式事务时需要确保多个操作的一致性和原子性。分布式锁可以用于管理事务的执行,确保事务的操作不会被其他节点干扰。
(2)使用分布式锁的用途
分布式锁根据用途,可以大概分为两钟:
- 允许多个客户端操作共享资源,称为共享锁。这种一般使用在对于共享资源具有幂等性操作的场景,主要作用是为了避免重复操作共享资源而频繁加锁从而导致性能开销较大。
- 只允许一个客户端操作共享资源,称为排他锁。这种锁一般使用在对于共享资源操作具有非幂等性操作的场景,也就是需要保证在同一时刻只有一个进程或者线程能够访问这个共享资源。
2. 实现分布式锁的常用方式有哪些?
在说完分布式锁的用途之后,我们来说一下分布式锁的常见实现方式,目前分布式锁最常用的中间件是 Redis 和 Zookeeper,这两种实现方式也是各有差异,接下来我们来说一下这两种实现方式以及其之间的差别。
3. Zookeeper 实现分布式锁的方式
Zookeeper 实现分布式锁的方式有很多,这里使用节点有序的方式来进行实现,如下图所示:
ZooKeeper 是一个分布式协调服务,常用于实现分布式锁。其实现方式主要依赖于 ZooKeeper 的节点(Znode)和监听机制。具体步骤如下:
-
创建锁节点
锁根节点:首先,需要在 ZooKeeper 中创建一个锁的根节点,例如 /locks。这个节点是持久存在的,所有的锁相关节点都在此根节点下创建。
临时顺序节点:每个需要获取锁的客户端在 /locks 下面创建一个临时顺序节点,例如 /locks/lock-00000001。这个节点是临时的(客户端会话结束时自动删除),并且是顺序的,保证每个节点都有一个唯一的序号。
-
获取锁
获取子节点列表:客户端在创建完临时顺序节点后,会获取 /locks 下面的所有子节点列表,并按序号进行排序。
判断最小节点:客户端检查自己创建的节点是否是序号最小的节点,如果是,则表示获取到了锁。
监听前一个节点:如果当前节点不是序号最小的节点,客户端需要找到比自己序号小的前一个节点,并对其注册监听(如 NodeDeleted 事件)。当前一个节点被删除时,ZooKeeper 会通知客户端。
-
释放锁
当客户端完成了对共享资源的操作,需要释放锁时,可以删除自己创建的临时顺序节点。这样会触发监听这个节点的下一个节点,使其重新尝试获取锁。
优点
高可用性:ZooKeeper 本身是高可用的,使用它实现分布式锁也具备高可用性。
可靠性:ZooKeeper 保证节点顺序,确保锁的竞争公平。
简单易用:ZooKeeper 提供了丰富的 API,便于实现和使用分布式锁。
缺点
性能瓶颈:ZooKeeper 的写操作性能较低,如果锁的竞争非常激烈,可能成为瓶颈。
复杂性:实现过程中需要处理节点的监听和重新竞争锁的逻辑,增加了实现的复杂性。
总的来说,利用 ZooKeeper 实现分布式锁是一种可靠且有效的方式,适用于需要高可用性和一致性保证的分布式系统。
4. Redis 实现分布式锁的方式
Redis 是一种常用的内存数据库,其高性能和丰富的特性使其成为实现分布式锁的常用工具。Redis 实现分布式锁的方式有多种,其中一种比较通用的方法是使用 Redis 的 SET 命令和 Lua 脚本来确保原子性和锁的有效性。以下是具体的实现方式:
1、使用 SET 命令实现分布式锁
Redis 2.6.12 及以上版本支持使用 SET 命令的 NX 和 PX 参数来实现分布式锁。
2. 使用 Redisson 实现分布式锁
Redisson 是一个基于 Redis 的 Java 客户端,提供了便捷的分布式锁实现。
3. 使用 Redlock 算法
Redlock 是由 Redis 作者提出的一种分布式锁算法,适用于在多个 Redis 实例上实现可靠的分布式锁。
获取锁
Redlock 算法的步骤如下:
获取当前时间 T1。
尝试在 N 个 Redis 实例上以相同的 key 和 value 获取锁,过期时间相同。
计算获取锁的总时间 T2-T1。
如果在 N/2+1 个实例上成功获取锁,并且总时间小于锁的过期时间,则认为获取锁成功。
释放锁
在所有 Redis 实例上删除锁,使用与上述 Lua 脚本相同的方式。
总结
Redis 实现分布式锁的方法有多种,常用的方式包括直接使用 SET 命令、使用 Redisson 客户端以及采用 Redlock 算法。根据具体的应用场景和需求,可以选择合适的实现方式来确保系统的高可用性和一致性。
5. 方案对比以及总结
在分布式系统中实现分布式锁,常见的解决方案包括使用 ZooKeeper 和 Redis。这两种方式各有优缺点,适用于不同的场景。以下是对这两种方案的对比和总结。
ZooKeeper 实现分布式锁
优点
强一致性保证:ZooKeeper 通过其 Zab 协议(类似于 Paxos)提供强一致性,确保锁的可靠性和一致性。
高可用性:ZooKeeper 具有自动故障恢复能力,确保在节点故障时锁的状态能够正确恢复。
公平性:通过顺序节点机制,ZooKeeper 实现了公平锁,即锁的获取顺序是按照请求顺序来的。
缺点
复杂性:使用 ZooKeeper 实现分布式锁需要处理节点监听和重新竞争锁的逻辑,增加了实现的复杂性。
性能问题:ZooKeeper 的写操作性能较低,特别是在锁竞争激烈的情况下,可能成为性能瓶颈。
Redis 实现分布式锁
优点
高性能:Redis 是内存数据库,读写性能非常高,适用于高并发场景。
简单易用:Redis 的命令简单,使用 SET 命令即可实现分布式锁,结合 Lua 脚本可保证原子性。
丰富的客户端支持:Redis 有很多客户端库,如 Redisson,可以简化分布式锁的实现。
缺点
一致性保证较弱:单节点 Redis 不具备强一致性,虽然 Redlock 算法可以提高一致性,但其实现和部署较复杂。
持久化和高可用性问题:Redis 的数据保存在内存中,虽然有持久化机制,但在极端情况下(如多节点同时故障),可能会丢失数据。
单点故障:如果 Redis 单节点出现故障,需要依赖 Redis 集群或 Sentinel 实现高可用,这增加了部署和运维的复杂性。
标签:Zookeeper,实现,ZooKeeper,Redis,客户端,节点,分布式
From: https://blog.csdn.net/javayoungcoolboy/article/details/140571554