首页 > 其他分享 >Kafka

Kafka

时间:2024-10-28 10:20:17浏览次数:5  
标签:消费者 生产者 Kafka Topic 消息 读取

Kafka

基础

Kafka是一款流行分布式消息分布订阅系统,除Kafka之外还有MQ、Redis等。

image-20241028102516513

把消息队列视为一个管道,管道的两端分别是消息生产者(producer)和消息消费者(consumer),消息生产者产生日志等消息后可以发送到管道中,这时消息队列可以驻留在内存或者磁盘上,直到消费者来把它读走为止。

Producer:消息生产者,负责把产生的消息发送到Kafka服务器上。

Consumer:消息消费者,从Kafka服务器读取消息。

Consumer Group:消费者群组,每个消息消费者可以划分为一个特定的群组。

Topic:这是Kafka使用中非常重要的一个术语,它相当于消息的"身份标识",消息生产者产生消息时会给它贴上一个Topic标签,当消息消费者需要读取消息时,可以根据这个Topic读取特定的数据。

Broker:Kafka集群中包含的服务器。

面试题

标签:消费者,生产者,Kafka,Topic,消息,读取
From: https://www.cnblogs.com/MuxLz/p/18509841

相关文章

  • Kafka基本概念
    消息队列常见场景系统解耦:重要操作完成后,发送消息到Kafka中,由别的服务系统来消费消息完成其他操作(将非核心业务拆分出去缩短核心业务的处理流程和时间)流量削峰:一般用于秒杀或抢购活动中,缓冲系统短时间内高流量带来的压力(防止瞬间流量打崩系统)异步处理:通过异步处理机......
  • Kafka 解决消息丢失、乱序与重复消费
    一、引言在分布式系统中,ApacheKafka作为一种高吞吐量的分布式发布订阅消息系统,被广泛应用于日志收集、流式处理、消息队列等场景。然而,在实际使用过程中,可能会遇到消息丢失、乱序、重复消费等问题,这些问题可能会影响系统的稳定性和可靠性。本文将深入探讨Kafka中这些问题......
  • Kafka学习笔记(已完结)
    Kafka消息中间件官网:https://kafka.apache.org/docker安装kafka教程:https://bugstack.cn/md/road-map/kafka.htmlKafka的几个概念生产者Producer消费者Consumer主题Topic分区Partition一个topic下可以有多个分区。当创建topic时,如果补置顶该topic的partition数量,那么默认......
  • Kafka
    Kafka是由Linkedin公司开发的,它是一个分布式的,支持多分区、多副本,基于Zookeeper的分布式消息流平台,它同时也是一款开源的基于发布订阅模式的消息引擎系统。一消息队列介绍1.Kafka的基本术语消息:Kafka中的数据单元被称为消息,也被称为记录,可以把它看作数据库表中某一行......
  • 解决kafka3.0.0在windows下不能启动的问题
    看到一个问题,说在用java代码发送kafka消息的时候能指定一个partition参数:importorg.apache.kafka.clients.producer.ProducerRecord;publicclassKafkaProducerExample{publicstaticvoidmain(String[]args){Stringtopic="test";intparti......
  • kafka
    1.概述1.消息中间件2.介绍1.概述一个分布式流媒体平台,类似于消息队列或企业消息传递系统2.官网http://kafka.apache.org/3.名词解释producer发布消息的对象称之为主题生产者(Kafkatopicproducer)topicKafka将消息分门别类,每一类的消息称之为一个主题(Topic)consumer......
  • 部署 KRaft 模式下的 Kafka
    环境介绍kafka1:192.168.174.100kafka2:192.168.174.101kafka3:192.168.174.102下载kafka#wgethttps://dlcdn.apache.org/kafka/3.8.0/kafka_2.13-3.8.0.tgz解压kafka#tarxfkafka_2.13-3.8.0.tgz-C/usr/local#ln-sv/usr/local/kafka_2.13-3.8.0/usr/local......
  • confluent kafka
    1.ApachekafkafundementalsProducer->Kafka<-Consumerdataproducer: dataconsumer: producer&consumerisdecoupledproducersenddata(logorfileorotherdata)tokafkainsteadofconsumersidethatmorescalabilityforbothproduce......
  • 隨筆 Kafka 异步发送机制解析
    Kafka异步发送机制解析与比喻        Kafka是一个高效的分布式消息系统,异步发送是其实现高吞吐量和低延迟的关键机制之一。为了更好地理解Kafka生产者的异步发送过程,我们将其比作一个旅客乘飞机前往目的地的故事。在这个故事中,生产者就像一个机场,负责将旅客(数据)送......
  • 为什么说Kafka还不是完美的实时数据通道
     本文主要谈谈Kafka用于实时数据通道场景的缺陷,以及如何在架构上进行弥补。Kafka归属于消息队列类产品,其他竞品还有RabbitMQ、RocketMQ等,总的来说它们都是基于生产者、中介和消费者三种角色,提供高并发、大数据量场景下的消息传递。Kafka诞生自Hadoop生态,与生态中的其他组件......