Kafka的部分初始化参数的学习与整理

背景

前段时间跟同事一起处理过kafka的topic offset的retention 时间与 log 的retention时间不一致. 
导致消息还有, 但是offset 没有, 导致重复消费的问题. 

发现很多产品其实参数很复杂, 不能只看一个参数就立马进行修改. 
应该完整细致的了解各种参数再做处理才可以. 

又因为上个月比较忙, 很多东西没有系统的整理. 现在已经11月了.想着重新整理一下之前遇到的问题, 备忘. 

部分参数汇总

# 需要注意这些参数主要是单节点的测试验证环境, 所以不能直接用于生产环境. 
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
retention.ms=604800000
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
message.max.bytes=52428800
replica.fetch.max.bytes=62914560

部分参数的学习与使用-留存时间

log.retention.minutes=10080
offsets.retention.minutes=10080
注意 这两个参数是配置文件里面用的
如果是使用命令行创建需要使用如下的参数: 
retention.ms=604800000

这两个参数最好一致起来, 避免出现背景里面的问题. 
也需要根据系统要求和容量空间进行权衡, 一定要避免出现消息对视的情况. 
磁盘满可能会hang住系统, 但不是致命的
如果数据被删掉了, 可能就是很致命的问题了. 

参数的使用方式:
1. 可以放到: 
/kafka/config/kraft/server.properties
里面 作为所有topic的默认参数 

2. 可以使用 kafka-topics.sh 脚本进行创建
bin/kafka-topics.sh  --bootstrap-server 192.168.254.206:9092 --create --topic test  --partitions 1  --replication-factor 1 \
--config retention.ms=604800000

查看具体topic的信息
bin/kafka-topics.sh --describe -topic test --bootstrap-server 192.168.254.206:9092
效果为:
Configs: segment.bytes=1073741824,retention.ms=604800000,max.message.bytes=52428800
一个解释: 

消息保留多长时间通过以下配置项进行设置：
log.retention.hours
log.retention.minutes
log.retention.ms
解释：以上三个配置项控制一条消息数据被保存多长时间。优先级 ms>minutes>hours 。

log.retention.hours=168表示默认保存 7 天的数据，自动删除 7 天前的数据。

Topic级别配置项：
retention.ms=604800000
Topic级别参数会覆盖broker级别参数，显然对所有topic统一留存7天的设置是不合理的。
Topic级别参数的配置，可以通过bin/kafka-topics.sh、bin/kafka-configs.sh在创建 Topic 时或修改 Topic 时进行设置：
bin/kafka-topics.sh --bootstrap-server localhost:9092 --create --topic test --partitions 3 --replication-factor 1 --config retention.ms=100000000000

部分参数的学习与使用-消息大小设置

配置文件里面的参数是:
message.max.bytes=52428800

但是使用命令的话 是这一个:
bin/kafka-topics.sh  --bootstrap-server 192.168.254.206:9092 --create --topic test3  --partitions 1  --replication-factor 1 \
--config retention.ms=604800000  --config  max.message.bytes=52428899

查看具体信息:
bin/kafka-topics.sh --describe -topic test3 --bootstrap-server 192.168.254.206:9092

验证 topic级别的参数可以覆盖 broker 配置节里面的参数. 

参数的修改

可以修改已经参数的配置

bin/kafka-configs.sh --bootstrap-server 192.168.254.206:9092 -topic test --alter --add-config retention.ms=1234567890
bin/kafka-configs.sh --bootstrap-server 192.168.254.206:9092 -topic test --alter  --add-config max.message.bytes=9999999

修改之前查看的信息为: 
bin/kafka-topics.sh --describe -topic test --bootstrap-server 192.168.254.206:9092
修改之前为: 
Configs: segment.bytes=1073741824,retention.ms=604800000,max.message.bytes=52428800
修改之后为:
segment.bytes=1073741824,retention.ms=1234567890,max.message.bytes=9999999

注意一次只能够修改增加一个参数, 不能多个参数一起增加.