首页 > 其他分享 >Kafka抛弃Zookeeper后如何启动?

Kafka抛弃Zookeeper后如何启动?

时间:2024-07-07 18:29:04浏览次数:8  
标签:zookeeper 启动 Zookeeper kafka 抛弃 3.7 Kafka properties

Kafaka如何下载

官网地址
目前Kafka最新的版本就是3.7.1

我们可以看到下面这两个版本信息?什么意思呢?

  • Scala 2.12 - kafka_2.12-3.7.1.tgz (asc, sha512)
  • Scala 2.13 - kafka_2.13-3.7.1.tgz (asc, sha512)
    我们应该知道,一个完整的Kafka实例,至少包含了3部分:
  • 生产者-Producer
  • Broker
  • 生产者-Consumer
    其中生产者和消费者是使用Java语言,Broker则是使用的Scala语言,这样是不是就明白了。2.12和2.13其实就是说的Scala的版本,3.7.1就是Kafka真正的正式版本号。

Kafka的安装

我们需要先保证我们的服务器安装了Java环境:

java -version

下载kafka:
通过 -o 指定我们存放的路径

wget -O /usr/local/kafka_2.13-3.7.1.tgz https://downloads.apache.org/kafka/3.7.1/kafka_2.13-3.7.1.tgz

解压:

tar -zxvf  kafka_2.13-3.7.1.tgz

Kafka的配置和启动

小贴士
Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。
Kafka在之前的版本中,如果没有ZooKeeper,Kafka将无法运行。
用过kafka的开发者应该知道,每次启动kafka服务时,都是需要先把Zookeeper启动,然后启动kafka,步骤相当繁琐。
Kafka在在发布的2.8版本里,让用户可在完全不需要ZooKeeper的情况下运行Kafka,该版本将依赖于ZooKeeper的控制器改造成了基于Kafka RaftQuorm控制器(KRaft模式)。

通过ZooKeeper启动

查看配置文件:

connect-console-sink.properties
connect-console-source.properties
connect-distributed.properties
connect-file-sink.properties
connect-file-source.properties
connect-log4j.properties
connect-mirror-maker.properties
connect-standalone.properties
consumer.properties
kraft
log4j.properties
producer.properties
server.properties
tools-log4j.properties
trogdor.conf
zookeeper.properties

1:修改ZooKeeper配置

vim zookeeper.properties  
## 配置地址用于存放zookeeper数据存储位置,不存在会自动创建
dataDir=/usr/local/kafka_data/zookeeper_data

2:启动ZooKeeper
进入kafka的bin目录:

#启动zookeeper
../bin/zookeeper-server-start.sh -daemon ./config/zookeeper.properties 
# 查看zookeeper进程是否启动  
ps -ef | grep zookeeper

3:启动Kafka

vim ../config/server.properties  
#修改log.dirs地址
log.dirs=/usr/local/kafka_data/kafka_data
#启动Kafka
../bin/kafka-server-start.sh -daemon ../config/server.properties 
#通过jps命令可以查看是否启动成功,看到下面的结果表示我们的zookeeper和Kafka都启动成功了
[root@qingshan bin]# jps
7297 Jps
1592 QuorumPeerMain
7241 Kafka

查看启动log
如果执行启动命令之后,使用JPS命令没有看到Kafka的进程,则可能是启动失败了。可以到对应的路径下查看启动日志,路径替换为自己Kafka的路径下即可
/usr/local/kafka_2.13-3.7.1/bin/hs_err_pid***.log

KRaft模式下启动Kafka

打开我们Kafka的Config目录下,有一个KRaft文件夹。
1:修改我们修改数据存储位置

vim config/kraft/server.properties
log.dirs=/usr/local/kafka_data/kafka_KRaft_data

2:生成存储目录唯一ID
kafka的bin目录下有一个kafka-storage.sh文件

./kafka-storage.sh random-uuid 
#结果
bxoRVvPvR0qjT307GQ6Gag

3:格式化存储目录

# 将上一步生成的唯一ID替换成自己的,启动使用kraft下的配置文件
./kafka-storage.sh  format -t bxoRVvPvR0qjT307GQ6Gag   -c  /usr/local/kafka_2.13-3.7.1/config/kraft/server.properties

执行结果:


4:启动Kafka

#执行启动命令。
./kafka-server-start.sh -daemon ../config/kraft/server.properties

标签:zookeeper,启动,Zookeeper,kafka,抛弃,3.7,Kafka,properties
From: https://blog.csdn.net/f_yuqing/article/details/140250079

相关文章

  • Kafka集群部署(手把手部署图文详细版)
    1.1.1部署zookpeer在node02下载并解压zookeeper软件包cd/usr/localwgethttps://archive.apache.org/dist/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz或者:[email protected]:/home/cat/zookeeper-3.4.6.tar.gz/tmp(注意目录)mvzookeeper-3.4.6.tar.gz......
  • zookeeper 与 Eureka的区别
    ZooKeeper和Eureka是两种流行的服务发现和注册中心,它们在设计目标、使用场景和实现方式上有显著的区别。下面详细解释两者的区别:ZooKeeper简介ApacheZooKeeper是一个分布式协调服务,旨在管理大型分布式系统的配置、同步和命名。主要特性分布式协调服务:ZooKeeper本质上......
  • kafka消息积压处理办法
    首先分析一下它为什么会积压,无非是以下几种情况,写个思路代码中消费者处理消费效率低、kafka参数使用默认、消费者消费能力不足(生产者生产能力过盛)、网络带宽、服务器性能等1、代码质量问题(消费者处理逻辑复杂等)这个问题运维并不好直接验证,处理消费的速度慢,或者说处理的流程相对......
  • Linux 下 zookeeper 集群部署
    目录1.zookeeper下载2.环境准备3.zookeeper部署3.1 修改系统配置文件3.2开放端口3.3安装zookeeper3.4 验证4.设置服务开机自启动本文将以三台服务器为例,介绍在linux系统下zookeeper的部署方式。1.zookeeper下载  下载地址:Indexof/dist/zookeeper(a......
  • 消息队列选型之 Kafka vs RabbitMQ
    在面对众多的消息队列时,我们往往会陷入选择的困境:“消息队列那么多,该怎么选啊?Kafka和RabbitMQ比较好用,用哪个更好呢?”想必大家也曾有过类似的疑问。对此本文将在接下来的内容中以Kafka和RabbitMQ为例分享消息队列选型的一些经验。一、什么是消息队列消息队列即Messag......
  • kafka 和Zookeeper 集群架构设计对比分析
    kafka和Zookeeper集群架构设计对比分析Kafka和Zookeeper是两个关键的分布式系统组件,它们在集群架构设计上有显著的差异。下面是对它们在集群架构设计方面的对比分析。1.Kafka集群架构设计1.1基本架构Kafka是一个分布式消息系统,由多个Broker组成。每个Broke......
  • 关于锁的使用,千万不要踩这个坑!(附带Synchronized详解和ZooKeeper、Redis等分布式锁详解
    1、分布式锁在分布式系统中,我们经常会使用各种锁来保证数据的一致性和并发安全。一些常见的分布式锁实现包括:基于ZooKeeper的分布式锁:使用ZooKeeper节点的特性来实现分布式锁。基于Redis的分布式锁:利用Redis的原子性操作和过期时间特性来实现分布式锁。Redlock算法:由......
  • Zookeeper安装、配置与基本操作指南
    ApacheZookeeper安装、配置与基本操作指南ApacheZookeeper是一个分布式协调服务,用于维护配置信息、命名、提供分布式同步以及提供组服务。本文结合两篇详细的技术文档,介绍Zookeeper的安装、配置以及基本操作。一、Zookeeper的安装与配置1.环境准备在安装Zookeeper之......
  • Zookeeper-Zookeeper Watcher
    ZookeeperWatcher机制–数据变更通知   ZookeeperWatcher机制是Zookeeper中的一种机制,用于实现数据变更的通知。当一个客户端连接到Zookeeper服务器并注册一个Watcher时,它将收到与指定路径相关的数据变更的通知。Watcher是一个回调函数,当路径上的数据发生变化时,Zoo......
  • 深度分析Kafka与RocketMQ:定义、优缺点、使用场景及选型指南
    在大数据处理和分布式系统中,消息中间件扮演着至关重要的角色。ApacheKafka和ApacheRocketMQ是两种广泛使用的分布式消息系统,本文将深入分析它们的定义、优缺点、使用场景,并提供选型指南和使用注意事项。一、Kafka与RocketMQ的定义Kafka:ApacheKafka是一个分布式流处理......