首页 > 数据库 >Redis学习之分布式全局id生成

Redis学习之分布式全局id生成

时间:2023-10-06 16:23:25浏览次数:48  
标签:Redis long ID 线程 CountDownLatch id 分布式

介绍

为什么需要分布式全局 ID 生成器?

  1. 对于订单这种数据,数据库自增的规律性太明显,会暴露一些信息(比如根据昨日和今日的订单号差值看出销量)

  2. 数据量过大时,不同表的 id 分别自增,容易出现 id 冲突

分布式全局 ID 生成应满足的特点:

  1. 唯一:整个系统每个 id 都是唯一的

  2. 递增:虽然不连续,但整体 ID 保持递增,有利于数据库创建索引(也符合自然规律)

  3. 安全:不能通过 id 看出敏感业务信息

  4. 高可用:作为核心服务,不能挂掉,否则会影响新数据的生成

  5. 高性能:作为频繁调用的服务,性能一定要高

几种常见的 ID 生成方法,建议根据自己的实际需求选择和设计算法:

  • 雪花算法:性能更高,引入机器序号,但依赖全局时钟

  • 数据库自增:单独的自增表,所有 id 全从这个表取。但性能没有 Redis 高

  • UUID:随机生成十六进制字符串,性能高,但是乱序、字符串会占用更多空间

  • Redis 自增 ID:利用 incr 命令实现单 key 的自增

Redis 自增 ID 完全可以满足以上几个分布式全局 ID 的特点。

设计实现

image-20231006160138263

使用Redis 的Incr命令,可以实现后32位的原子性递增。

Redis的key可以设计为[业务]:[类型]:[日期],这样每天都会从1开始生成序列号。如果用单key,可能会出现生成序号数溢出2^32的情况。(key设计为所述类型便于统计订单量)

实现

@Component
public class RedisIdWorker {
    /**
     * 开始时间戳
     */
    private static final long BEGIN_TIMESTAMP = 1640995200L;
    /**
     * 序列号的位数
     */
    private static final int COUNT_BITS = 32;
​
    private StringRedisTemplate stringRedisTemplate;
​
    public RedisIdWorker(StringRedisTemplate stringRedisTemplate) {
        this.stringRedisTemplate = stringRedisTemplate;
    }
​
    public long nextId(String keyPrefix) {
        // 1.生成时间戳
        LocalDateTime now = LocalDateTime.now();
        long nowSecond = now.toEpochSecond(ZoneOffset.UTC);
        long timestamp = nowSecond - BEGIN_TIMESTAMP;
​
        // 2.生成序列号
        // 2.1.获取当前日期,精确到天
        String date = now.format(DateTimeFormatter.ofPattern("yyyy:MM:dd"));
        // 2.2.自增长
        long count = stringRedisTemplate.opsForValue().increment("icr:" + keyPrefix + ":" + date);
​
        // 3.拼接并返回
        return timestamp << COUNT_BITS | count;
    }
}

测试

知识小贴士:关于countdownlatch

countdownlatch名为信号枪:主要的作用是同步协调在多线程的等待于唤醒问题

我们如果没有CountDownLatch ,那么由于程序是异步的,当异步程序没有执行完时,主线程就已经执行完了,然后我们期望的是分线程全部走完之后,主线程再走,所以我们此时需要使用到CountDownLatch

CountDownLatch 中有两个最重要的方法

1、countDown

2、await

await 方法 是阻塞方法,我们担心分线程没有执行完时,main线程就先执行,所以使用await可以让main线程阻塞,那么什么时候main线程不再阻塞呢?当CountDownLatch 内部维护的 变量变为0时,就不再阻塞,直接放行,那么什么时候CountDownLatch 维护的变量变为0 呢,我们只需要调用一次countDown ,内部变量就减少1,我们让分线程和变量绑定, 执行完一个分线程就减少一个变量,当分线程全部走完,CountDownLatch 维护的变量就是0,此时await就不再阻塞,统计出来的时间也就是所有分线程执行完后的时间。

    @Resource
    private RedisIdWorker redisIdWorker;
​
    private ExecutorService es = Executors.newFixedThreadPool(500);
    @Test
    void testIdWorker() throws InterruptedException {
        CountDownLatch latch = new CountDownLatch(300);
​
        Runnable task = () -> {
            for (int i = 0; i < 100; i++) {
                long id = redisIdWorker.nextId("order");
                System.out.println("id = " + id);
            }
            latch.countDown();
        };
        long begin = System.currentTimeMillis();
        for (int i = 0; i < 300; i++) {
            es.submit(task);
        }
        latch.await();
        long end = System.currentTimeMillis();
        System.out.println("time = " + (end - begin));
    }

运行结果

id没有出现重复

image-20231006161103653

标签:Redis,long,ID,线程,CountDownLatch,id,分布式
From: https://www.cnblogs.com/ysk0904/p/17744673.html

相关文章

  • 五年Android开发,在Boss上投了十几个简历,没有一个面试邀请......药丸了
    之前在浏览某论坛时,看到一名程序员发表了如下的吐槽:“坐标杭州,工作五年的Android开发者,技术水平尚可,但最近这边加班太严重了,考虑换一个岗位。然而,在Boss上投了十几个简历,完全没有合适的面试机会。简历是公开的,竟然没有一个公司对我感兴趣。相比之下,前年这个时候,电话邀约面试的电话......
  • webapi 登录接口acctID参数获取SQL
    USEK3DBConfiger20216155555176selectA.FNUMBER,B.FNAME,A.FDATABASENAME,A.FDATACENTERIDFROMT_BAS_DATACENTERASALEFTJOINT_BAS_DATACENTER_LASBONA.FDATACENTERID=B.FDATACENTERIDANDA.FLANGUAGE=B.FLOCALEID FDATACENTERID字段......
  • java——redis随笔——实战——短信登录
    前言: 此章节用到的知识点:mybatisPlus ;参考网址:https://www.bilibili.com/video/BV1Xu411A7tL?p=7&vd_source=79bbd5b76bfd74c2ef1501653cee29d6  正常新建一个接口: 再新建这个接口的实现类:  修改接口: 修改实现类:  然后就可以注入并使用了:   ......
  • 2023-10-06 Warning: [antd: Switch] `value` is not a valid prop, do you mean `che
    该报错意思是你用的这个switch组件对应的属性应该是checked而不是value,后者应该是antd默认设置的属性,可以通过valuePropName来手动指定对应的属性值。如:<FormItemname="status"label="状态"valuePropName="checked"rules={[{required:true}]}><Switch/></FormIte......
  • Redis学习之缓存雪崩、缓存击穿及封装Redis工具类
    缓存雪崩缓存雪崩是指在同一时段大量的缓存key同时失效或者Redis服务宕机,导致大量请求到达数据库,带来巨大压力。解决思路:1.不让key同时失效2.尽量不让Redis宕机具体解决方案:缓存击穿又叫热点key失效:两种解决方案:1.互斥锁:只有一个线程会负责缓存重建,其余线程拿不到锁,就......
  • Redis数据库
    Redis数据库SQL数据库缺陷常见NoSQL数据库Redis特点速度极快Redis的所有数据都是存放在内存中,这是Redis速度快的最主要原因Redis是用C语言实现的,一般来说C语言实现的程序"距离"操作系统更近,执行速度相对会更快Redis使用了单线程架构,预防了多线程可能产生的线程切换和竞......
  • intellijidea下载-intellijidea软件下载 安装包下载方式
    intellijidea官方版特色丰富的导航模式IDEA提供了丰富的导航查看模式,例如Ctrl+E显示最近打开过的文件,Ctrl+N显示你希望显示的类名查找框(该框同样有智能补充功能,当你输入字母后IDEA将显示所有候选类名)。在最基本的project视图中,你还可以选择多种的视图方式。智能的选取在很多时候我......
  • 【创新项目探索】大数据服务omnidata-hive-connector介绍
    omnidata-hive-connector介绍omnidata-hive-connector是一种将大数据组件Hive的算子下推到存储节点上的服务,从而实现近数据计算,减少网络带宽,提升Hive的查询性能。目前支持HiveonTez。omnidata-hive-connector已在openEuler社区开源。OmniData架构OmniData是算子下推的总称。OmniD......
  • Android就业市场究竟怎么样,还能不能坚持下去
    本人毕业于普通本科,计算机专业,从事Android开发已有5年。2021年受疫情影响,互联网行业整体低迷,我所在公司也进行了裁员,但是我也没有被优化。没想到疫情开发后,没等到春风,却成了失业人员之一,真是人生难以预料啊。就这样,我离开了工作了3年多的公司。开启了2023年的面试旅程。如今,选择从......
  • 面试题:Redis和MySQL的事务区别是什么?
    大家好,我是小米!今天我要和大家聊聊一个在技术面试中经常被问到的问题:“Redis和MySQL的事务区别是什么?”这个问题看似简单,但实际上涉及到了数据库和缓存两个不同领域的知识,让我们一起来深入了解一下吧!什么是事务?首先,我们需要明确什么是事务。事务是数据库中的一个重要概念,它是一组数......