首页 > 其他分享 >三台服务器配置简易Kafka集群+debug记录

三台服务器配置简易Kafka集群+debug记录

时间:2023-07-14 15:00:11浏览次数:40  
标签:三台 zookeeper 9092 kafka 2181 IP debug Kafka server

使用了3台阿里云服务器做实验,搭建kafka集群,可以通过java程序生产消息到云服务器。中途遇到许多问题,仅在此记录一些配置信息,安装过程省略。

服务器信息

host name 私网IP 公网IP
server001 172.24.16.132 60.205.217.197
server002 172.17.67.38 59.110.155.165
server003 172.22.192.85 60.205.221.167

host name需要自己修改

注意:2181端口以及9092端口一定要开放,先telnet端口进行连接测试

hosts配置

格式为:私网IP host.name

172.24.16.132 server001
172.17.67.38 server002
172.22.192.85 server003

Zookeeper配置

配置过程略去,此处仅提供zookeeper/conf/zoo.cfg文件的配置:

server.1=server001:2888:3888
server.2=server002:2888:3888
server.3=server003:2888:3888

Kafka配置

server.properties

#其他两台为1、2
broker.id=0

#listeners=PLAINTEXT://本机的私网IP:9092
listeners=PLAINTEXT://172.24.16.132:9092

#advertised.listeners=PLAINTEXT://本机的公网IP:9092
advertised.listeners=PLAINTEXT://60.205.217.197:9092

#主机名:2181
zookeeper.connect=server001:2181,server002:2181,server003:2181

delete.topic.enable=true

producer.properties以及consumer.properties

#添加bootsraps.servers,此处填写公网IP
bootstrap.servers=60.205.217.197:9092,59.110.155.165:9092,60.205.221.167:9092

配置文件修改完成后在server001创建生产者,server002创建消费者进行测试:

连接成功。

其他问题debug过程

1 kafka启动后自动关闭

查看kafka/logs/server.log日志文件中是否有ERROR,可能报的错误:

a. Unable to connect to zookeeper server within timeout: 6000

→检查端口是否开放

→我的情况:之前配置kafka时zookeeper.connect设置为公网IP,报了这个错误。

改为私网IP后产生了新的错误:

b. Socket server failed to bind to 公网IP:9092: Cannot assign requested address.

之前server.properties中没有写listeners,遂添加

listeners=PLAINTEXT://本机私网IP:9092

kafka可以正常启动。

!!也可能是因为服务器内存过低,导致kafka无法正常运行。

2 topic中leader为-1

解决办法:手动指定leader。

进入zookeeper:

zookeeper/bin/zkCli.sh -server server001:2181

查看topic信息:

get /brokers/topics/test-topic2/partitions/0/state

修改leader:

set /brokers/topics/test-topic2/partitions/0/state {"controller_epoch":25,"leader":2,"version":1,"leader_epoch":20,"isr":[2]}

最后重启kafka服务。

3 命令行创建生产者消费者时失败

报错:Error while fetching metadata with correlation id : {LEADER_NOT_AVAILABLE}

说明配置中listener等不正确,我的情况是服务器端口没有开放,导致连接不了。

标签:三台,zookeeper,9092,kafka,2181,IP,debug,Kafka,server
From: https://www.cnblogs.com/rthete/p/17553723.html

相关文章

  • librdkafka的rdk:broker-1线程cpu百分百问题分析
    问题调用栈:(gdb)bt#00x000000000068307cinrd_kafka_q_pop_serve(rkq=0x1ff31a0,timeout_ms=<optimizedout>,version=version@entry=0,cb_type=cb_type@entry=RD_KAFKA_Q_CB_RETURN,callback=callback@entry=0x0,opaque=opaque@entry=0x0)atrdkafka_que......
  • (二)kubernetes部署kafka
    与前面的zookeeper一样需要持久化存储,因此还是先创建PV,然后再部署kafka。2、配置nfs创建需要作为nfs共享的目录mkdir/home/nfs/kafka-0添加权限chmod777/home/nfs/kafka-0编辑配置root@ubuntu:#vim/etc/export#/etc/exports:theaccesscontrollistforfilesyste......
  • springboot整合kafka
    一、引入依赖(kafka的版本和springboot的版本对不上的话,启动会报错,包类不存在)<dependency><groupId>org.springframework.kafka</groupId><artifactId>spring-kafka</artifactId><version>2.5.1.RELEASE</version></de......
  • kafka基础命令
    查看所有topickafka-topics--list--zookeeperhost:2181/kafka查看所有topic详情,若要查看单个,在--describe后加具体topic名kafka-topics--describe--zookeeperhost:2181/kafka删除topic(确保delete.enable.topic=true)kafka-topics--delete--topictopic_name--......
  • IDEA远程Debug调试
    查看虚拟机ip选择EditConfigurations..点击Addnew选择RemoteJVMDebug配置服务名称,主机地址,端口以Resin服务为例,须在Resin服务的JVM参数中新增JVM参数配置Resin低版本相关配置文件目录为Resin/conf/resin.conf<jvm-arg>-agentlib:jdwp=transport=dt_socket,serve......
  • 2023-07-10:Kafka如何做到消息不丢失?
    2023-07-10:Kafka如何做到消息不丢失?答案2023-07-10:Kafka采用多种机制来确保消息的不丢失,其中包括副本机制、ISR(In-SyncReplicas)机制以及ACK机制等。1.副本机制Kafka通过副本机制来确保消息不会丢失。在Kafka中,每个分区都可以配置多个副本,每个副本保存分区的完整拷贝。当一个副本宕......
  • 2023-07-10:Kafka如何做到消息不丢失?
    2023-07-10:Kafka如何做到消息不丢失?答案2023-07-10:Kafka采用多种机制来确保消息的不丢失,其中包括副本机制、ISR(In-SyncReplicas)机制以及ACK机制等。1.副本机制Kafka通过副本机制来确保消息不会丢失。在Kafka中,每个分区都可以配置多个副本,每个副本保存分区的完整拷贝。当一个......
  • Kafka 存储
    目录逻辑存储持久化物理存储LogLogSegment文件格式索引清理删除事件逻辑存储持久化持久化是Kafka的一个重要特性。Kafka集群持久化保存(使用可配置的保留期限)所有发布记录——无论它们是否被消费。但是,Kafka不会一直保留数据,也不会等待所有的消费者读取了消息才删除消息......
  • Kafka 集群
    目录Kafka和ZooKeeper控制器如何选举控制器控制器的作用Topic管理(创建、删除、增加分区)分区重分配选举Leader集群成员管理数据服务副本机制Kafka副本角色ISR选举LeaderUnclean领导者选举处理请求元数据请求生产请求消费请求其他请求总结副本机制选举机制Kafka和ZooKeepe......
  • 吊炸天的 Kafka 图形化工具 Eagle,必须推荐给你
    Kafka是当下非常流行的消息中间件,据官网透露,已有成千上万的公司在使用它。最近实践了一波Kafka,确实很好很强大。今天我们来从三个方面学习下Kafka:Kafaka在Linux下的安装,Kafka的可视化工具,Kafka和SpringBoot结合使用。希望大家看完后能快速入门Kafka,掌握这个流行的消息中间件!Kaf......