首页 > 系统相关 >Linux CentOS 7 Kafka 单机版安装

Linux CentOS 7 Kafka 单机版安装

时间:2024-08-21 15:27:28浏览次数:13  
标签:单机版 消费者 CentOS broker kafka topic Kafka leader

Kafka 从 2.6.0 开始,默认使用 Java 11 , 3.0.0 开始,不再支持 Java 8,详见:https://kafka.apache.org/downloads

image

  • Producer:消息生产者,就是向 kafka broker 发消息的客户端:
  • Consumer:消息消费者,向 kafka broker 取消息的客户端;
  • ConsumerGroup:消费者组,由多个consumer 组成。消费者组内每个消费者负责消费不同分区的数据,一个分区只能由一个组内消费者消费;消费者组之间互不影响。所有的消费者都属于某个消费者组,即消费者组是逻辑上的一个订阅者。
    不同的组可以消费同一个消息,且只能被消费组内的一个消费者消费
  • Broker :一台 kafka 服务器就是一个 broker。一个集群由多个 broker 组成。一个 broker可以容纳多个 topic。
  • Topic :可以理解为一个队列,生产者和消费者面向的都是一个 topic;
  • Partition:为了实现扩展性,一个非常大的 topic 可以分布到多个 broker(即服务器)上,一个 topic 可以分为多个 partition,每个 partition 是一个有序的队列;
  • Replica: 副本,为保证集群中的某个节点发生故障时,该节点上的 partition 数据不丢失,且 Kafka 仍然能够继续工作,kafka提供了副本机制,一个topic的每个分区都有若干个副本,一个 Leader 和 若干个 follower
  • leader:每个分区多个副本的“主”,生产者发送数据的对象,以及消费者消费数据的对象都是 leader。
  • follower:每个分区多个副本中的“从”,实时从 leader 中同步数据,保持和 leader 数据的同步。leader 发生故障时,某个 follower 会成为新的 follower。

下载 Kafka 2.8.2
https://archive.apache.org/dist/kafka/2.8.2/kafka_2.13-2.8.2.tgz

安装

单节点部署,可以使用 kafka 包中内置的 Zookeeper,集群部署,要单独安装 Zookeeper

标签:单机版,消费者,CentOS,broker,kafka,topic,Kafka,leader
From: https://www.cnblogs.com/vipsoft/p/18371739

相关文章

  • centos7中aspera软件的安装
     001、查看系统[liujiaxin01@PC1aspera]$cat/etc/redhat-releaseCentOSLinuxrelease7.6.1810(Core) 002、下载安装包[liujiaxin01@PC1aspera]$ls[liujiaxin01@PC1aspera]$wget-chttps://download.asperasoft.com/download/sw/connect/3.8.3/ibm-aspera-......
  • CentOS7设置默认免密登录用户root
    CentOS7设置默认免密登录用户root步骤1、打开要更改的CentOS系统2、切换到root用户2、reboot重启系统步骤1、打开要更改的CentOS系统2、切换到root用户2、reboot重启系统......
  • FLink1.17-Kafka实时同步到MySQL实践
    1.组件版本组件版本Kafka3.7.0Flink1.17.0MySQL8.0.32 2.Kafka生产数据./kafka-console-producer.sh--broker-listhadoop01:9092,hadoop02:9092,hadoop03:9092--topic  kafka_test_table2>{"id":123,"test_age":33}&......
  • Linux(CentOS7)安装MySQL8全过程
    下载官方地址:https://dev.mysql.com/downloads/mysql/选择版本前需先看一下服务器的glibc版本ldd--version  上传将下载好的tar包上传到服务器上,这里演示上传到了/usr/local/文件夹下 解压tar -Jxvfmysql-8.0.36-linux-glibc2.17-x86_64.tar.xz ......
  • CentOS Python 3.12安装
    之前从来没想到我会在安装Python这点上卡住,事实上最近就是在一个CentOS测试机上安装Python时遇到了问题,因此记一下。以往我们使用yum安装python时非常简单:yuminstallpythonoryuminstallpython3最多额外再加装个pip以及python-devel,就算需要某个特定的、yum无法覆盖的......
  • Centos 7.9系统 源码安装MySQL5.7版本
    mysql5.7安装详细一、MySQL5.7源码安装部署1.1安装环境准备相关依赖包的作用:cmake:由于从MySQL5.5版本开始弃用了常规的configure编译方法,所以需要CMake编译器,用于设置mysql的编译参数,如:安装目录、数据存放目录、字符编码、排序规则等。boost库:从MySQL5.7.5开......
  • Centos 7.9系统 源码安装MySQL8.0
    1.编译安装1.1下载编译所需包#检查重复包、卸载rpm-qa|grepmariadb*|xargsrpm-e--nodeps#下载所需软件包cd/usr/local/src/wgethttps://mirrors.ustc.edu.cn/gnu/gmp/gmp-6.1.2.tar.xzwgethttps://mirrors.ustc.edu.cn/gnu/mpfr/mpfr-4.0.2.tar.gzwget......
  • Linux(CentOS)挂载数据盘(小于2T)
    将网站文件,数据库等信息放在数据盘中,万一需要重装系统时,数据还在。就像我们的电脑,把资料放在D盘,重装C盘后资料还在一样。安全又方便。购买数据盘后默认是没有挂载的,需要手工挂载。以下是挂载数据盘的操作步骤。本教程服务器环境为LinuxCentOS,运营商为腾讯云,数据盘小于2T(......
  • Redis在Linux(Centos7)单机部署和集群部署
    目录一、单机部署1、软件准备 2、安装配置3、启动Redis二、Redis集群2.1、主从模式2.1.1、作用 2.1.2、规划图2.1.3、具体配置准备工作 主从配置启动测试 2.1.4、主从复制原理主从全量复制主从增量同步(slave重启或后期数据变化)2.1.5、缺点 2.2、哨兵......
  • 性能测试之中间件:告诉你什么是 kafka 和 MQ ?
    在如今这个数据驱动的时代,中间件在性能测试中扮演着至关重要的角色。你是否曾听说过Kafka和MQ,却不清楚它们在实际应用中具体的作用是什么?让我们一起来揭开它们的神秘面纱。Kafka和MQ究竟是什么?它们在性能测试中如何发挥作用,又为何成为现代分布式系统中的关键组成部分? Kafka是......