分布式锁、分布式ID
https://www.cnblogs.com/liuqingzheng/p/11080501.html
# 分布式系统中加锁-->悲观锁
-mysql 行锁 性能不高
-需要性能更高的分布式锁
# python 线程锁
# 分布式锁需要的条件
1、在分布式系统环境下，一个方法在同一时间只能被一个机器的一个线程执行；
2、高可用的获取锁与释放锁； 不能轻易的挂掉
3、高性能的获取锁与释放锁；
4、具备可重入特性； 一个线程多次获取同一一个锁时，不会阻塞
5、具备锁失效机制，防止死锁；
6、具备非阻塞锁特性，即没有获取到锁将直接返回获取锁失败。
# 三种方式实现
基于数据库实现分布式锁---mysql的行锁
基于缓存redis等实现分布式锁----redis官方提供
基于zookeeper实现分布式锁：分布式协调服务
#redis实现分布式锁----redlock（其实我们可以自己去实现，不需要使用官方提供的方法）
使用redis实现分布式锁
# pip install redlock-py
from redlock import Redlock
import time
dlm = Redlock([{"host": "localhost", "port": 6379, "db": 0}, ])
# 获得锁
my_lock = dlm.lock("my_resource_name",1000)
# 业务逻辑代码
print('sdfasdf')
time.sleep(20)
# 释放锁
dlm.unlock(my_lock)
# 这个代码可以放在任意的节点上，使用的是分布式锁，某个节点获取到锁后，别的节点获取不到，操作数据，释放锁后，别的节点的线程才能操作数据
自己基于redis实现分布式锁
# 选用redis实现分布式锁原因：
1.redis性能高
2.redis命令对分布式锁的比较支持，实现方便
# 使用的主要命令：在使用Redis实现分布式锁的时候，主要就会使用到这三个命令。
SETNX：
-SETNX key val：当且仅当key不存在时，set一个key为val的字符串，返回1；若key存在，则什么都不做，返回0。
expire
-expire key timeout：为key设置一个超时时间，单位为second，超过这个时间锁会自动释放，避免死锁。
delete
-delete key：删除key
#实现思想：
1.获取锁的时候，使用setnx加锁，并使用expire命令为锁添加一个超时时间，超过该时间则自动释放锁，锁的value值为一个随机生成的UUID，通过此在释放锁的时候进行判断。
2.获取锁的时候还设置一个获取的超时时间，若超过这个时间则放弃获取锁。
3.释放锁的时候，通过UUID判断是不是该锁，若是该锁，则执行delete进行锁释放。
################ 代码
import redis
import uuid
import time
from threading import Thread,get_ident
# 连接redis
redis_client = redis.Redis(host="localhost",
port=6379,
# password=password,
db=10)
# 获取一个锁
# lock_name：锁定名称
# acquire_time: 客户端等待获取锁的时间
# time_out: 锁的超时时间
def acquire_lock(lock_name, acquire_time=10, time_out=10):
"""获取一个分布式锁"""
identifier = str(uuid.uuid4())
end = time.time() + acquire_time
lock = "string:lock:" + lock_name
while time.time() < end:
if redis_client.setnx(lock, identifier):
# 给锁设置超时时间, 防止进程崩溃导致其他进程无法获取锁
redis_client.expire(lock, time_out)
return identifier
elif not redis_client.ttl(lock):
redis_client.expire(lock, time_out)
time.sleep(0.001)
return False
# 释放一个锁
def release_lock(lock_name, identifier):
"""通用的锁释放函数"""
lock = "string:lock:" + lock_name
pip = redis_client.pipeline(True)
while True:
try:
pip.watch(lock)
lock_value = redis_client.get(lock)
if not lock_value:
return True
if lock_value.decode() == identifier:
pip.multi()
pip.delete(lock)
pip.execute()
return True
pip.unwatch()
break
except redis.excetions.WacthcError:
pass
return False
def seckill():
identifier = acquire_lock('resource')
print(get_ident(), "获得了锁")
release_lock('resource', identifier)
if __name__ == '__main__':
for i in range(50):
t = Thread(target=seckill)
t.start()
分布式ID
# 在复杂的分布式系统中，要对系统中的大量数据和消息使用ID唯一标识。比如：用户一个ID只对应一个用户，商品ID仅对应件商品，订单号仅对应一个订单。
# 分布式ID的特点：
1.全局唯一：不能出现重复的ID号，既然是唯一标识，这是最基本的要求。 # uuid
2.趋势递增：在MySQL InnoDB引擎中使用的是聚集索引，由于多数RDBMS（关系型数据库）使用B-tree的数据结构来存储索引数据，在主键的选择上面我们应该尽量使用有序的主键保证写入性能。
3.单调递增：保证下一个ID一定大于上一个ID，例如事务版本号、IM增量消息、排序等特殊需求。
4.信息安全：如果ID是连续的，恶意用户的扒取工作就非常容易做了，直接按照顺序下载指定URL即可；如果是订单号就更危险了，竞对可以直接知道我们一天的单量。所以在一些应用场景下，会需要ID无规则、不规则。
# 生成分布式锁的方案
1.uuid：
2.数据库自增：效率低
3.redis生成ID：时间错+incr
####重点#### 雪花算法
-使用第三方模块snowflake
雪花算法的使用场景就很明确了，用于确保全局唯一的id。还有一个从名字无法看出的特点就是，还能保证id的自增属性。
Snowflake 以 64 bit 来存储组成 ID 的4 个部分：
1、最高位占1 bit，值固定为 0，以保证生成的 ID 为正数；
2、中位占 41 bit，值为毫秒级时间戳；
3、中下位占 10 bit，值为工作机器的 ID，值的上限为 1024；
4、末位占 12 bit，值为当前毫秒内生成的不同 ID，值的上限为 4096；
-美团leaf算法