10. 基于 Redis 实现消息队列

标签：10 String 队列 Redis 消息 message public

消息队列在分布式系统中非常重要，能够有效解耦系统的各个模块，提供异步处理能力和缓冲能力。Redis作为一个高性能的内存数据库，除了缓存和持久化存储，它还能充当轻量级的消息队列。使用Redis处理消息队列有助于提高系统的吞吐量和可扩展性。

一、使用场景

消息队列的应用场景非常广泛，包括：

异步任务处理：如发送邮件、短信、推送通知等耗时操作，可以通过消息队列异步执行，提升用户体验。
系统解耦：将生产者与消费者解耦，使得两个系统无需直接通信，互相独立。
流量削峰：在高并发场景下，通过消息队列对请求进行排队处理，缓解系统的压力峰值。
日志处理：可以将日志消息推送到队列中，集中处理和存储。

二、原理解析

Redis提供了几种不同的机制来实现消息队列，包括List和Pub/Sub。

1. 基于List的消息队列

Redis的List数据结构是实现队列的基础。常见的操作包括：

LPUSH：将消息推入队列的左端。
RPUSH：将消息推入队列的右端。
RPOP：从队列的右端弹出消息（相当于先进先出，即FIFO）。
BLPOP：阻塞式弹出消息，当队列为空时会等待直到有新的消息。

2. 基于Pub/Sub的发布订阅

Redis的**发布/订阅（Pub/Sub）**是一种不同的消息队列实现方式，支持消息广播。它的机制如下：

发布者发布消息到一个频道（channel）。
所有订阅了该频道的消费者都能接收到消息。

但Pub/Sub的特点是消息不持久化，它更适用于实时消息传递，如果没有订阅者，消息会丢失。

三、实现过程

1. 项目结构

我们的项目基于Spring Boot ，包括以下模块：

Producer：消息生产者，用于将任务或消息推入队列。
Consumer：消息消费者，负责从队列中读取任务并处理。

2. 环境准备

在pom.xml中添加Redis和Web的依赖：

<dependencies>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-data-redis</artifactId>
    </dependency>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-web</artifactId>
    </dependency>
</dependencies>

在application.yml中配置Redis：

spring:
  redis:
    host: localhost
    port: 6379

3. Redis配置类

配置RedisTemplate用于与Redis进行交互：

@Configuration
public class RedisConfig {
    @Bean
    public RedisTemplate<String, Object> redisTemplate(RedisConnectionFactory redisConnectionFactory) {
        RedisTemplate<String, Object> template = new RedisTemplate<>();
        template.setConnectionFactory(redisConnectionFactory);
        return template;
    }
}

4. 基于List的消息队列实现

Producer（消息生产者）

生产者将消息推入队列中，使用LPUSH或RPUSH操作：

@Service
public class MessageProducer {

    @Autowired
    private RedisTemplate<String, Object> redisTemplate;

    private static final String MESSAGE_QUEUE = "message:queue";

    public void produce(String message) {
        redisTemplate.opsForList().leftPush(MESSAGE_QUEUE, message);
    }
}

Consumer（消息消费者）

消费者从队列中阻塞式地弹出消息，并进行处理：

@Service
public class MessageConsumer {

    @Autowired
    private RedisTemplate<String, Object> redisTemplate;

    private static final String MESSAGE_QUEUE = "message:queue";

    @Scheduled(fixedRate = 5000) // 每5秒检查一次队列
    public void consume() {
        String message = (String) redisTemplate.opsForList().rightPop(MESSAGE_QUEUE);
        if (message != null) {
            System.out.println("Consumed message: " + message);
            // 模拟处理消息
        }
    }
}

通过@Scheduled注解，消费者可以定期从Redis队列中拉取消息进行处理。

5. 基于Pub/Sub的消息队列实现

Producer（发布者）

发布者将消息发布到指定频道：

@Service
public class PubSubProducer {

    @Autowired
    private RedisTemplate<String, Object> redisTemplate;

    public void publishMessage(String channel, String message) {
        redisTemplate.convertAndSend(channel, message);
    }
}

Consumer（订阅者）

订阅者监听频道的消息并处理：

@Service
public class PubSubConsumer implements MessageListener {

    @Override
    public void onMessage(Message message, byte[] pattern) {
        System.out.println("Received message: " + new String(message.getBody()));
    }
}

Redis配置订阅监听器

配置订阅器并注册频道：

@Configuration
public class RedisPubSubConfig {

    @Bean
    public MessageListenerAdapter messageListener() {
        return new MessageListenerAdapter(new PubSubConsumer());
    }

    @Bean
    public RedisMessageListenerContainer redisContainer(RedisConnectionFactory connectionFactory,
                                                        MessageListenerAdapter listenerAdapter) {
        RedisMessageListenerContainer container = new RedisMessageListenerContainer();
        container.setConnectionFactory(connectionFactory);
        container.addMessageListener(listenerAdapter, new PatternTopic("pubsub:channel"));
        return container;
    }
}

6. Controller层

为生产者提供API接口：

@RestController
@RequestMapping("/queue")
public class QueueController {

    @Autowired
    private MessageProducer messageProducer;

    @Autowired
    private PubSubProducer pubSubProducer;

    // 将消息放入队列
    @PostMapping("/produce")
    public ResponseEntity<String> produceMessage(@RequestParam String message) {
        messageProducer.produce(message);
        return ResponseEntity.ok("Message produced");
    }

    // 发布消息
    @PostMapping("/publish")
    public ResponseEntity<String> publishMessage(@RequestParam String message) {
        pubSubProducer.publishMessage("pubsub:channel", message);
        return ResponseEntity.ok("Message published");
    }
}

四、测试效果

基于List的消息队列：
- 启动Spring Boot应用后，通过API接口发送消息：
  - POST请求：/queue/produce
  - 参数：message=HelloQueue
- 消费者将在每次调度时从队列中取出消息并打印。
基于Pub/Sub的消息队列：
- 发布消息：
  - POST请求：/queue/publish
  - 参数：message=HelloPubSub
- 订阅者将立即收到消息并处理。

五、总结与优化

Redis虽然不是专门的消息队列工具，但在轻量级、实时性要求高的场景下非常适合使用。通过List实现简单的任务队列，通过Pub/Sub可以实现消息广播。生产环境中，建议使用如下优化措施：

消息持久化：确保重要消息不丢失，可以结合RDB/AOF机制。
队列监控与报警：监控队列长度、处理延迟等指标，防止队列积压。
高可用与容灾：考虑使用Redis集群以保证高可用性。

标签：10,String,队列,Redis,消息,message,public
From： https://blog.csdn.net/imdeity/article/details/143176981