首页 > 其他分享 >13_Kafka高级_生产者分区策略

13_Kafka高级_生产者分区策略

时间:2022-11-17 12:35:27浏览次数:40  
标签:13 hash 生产者 分区 指定 Kafka 键值 key


刚才主要讲的是存储的内容,主要的index和.log两个文件。

kafka的生产者:有个分区策略:

13_Kafka高级_生产者分区策略_数据


分区的原因:

1、可以以partition为单位进行读写

2、提高集群的负载能力。生产者分区的原则:

13_Kafka高级_生产者分区策略_键值对_02


13_Kafka高级_生产者分区策略_键值对_03


可以在生产数据的时候,

1、指定分区号,指定将来这条消息进入到哪个分区。

2、当然,也可以不指定分区号,但是又KV键值对。是按照key的hash值再%当前主题分区的个数。和MR hash分区规则一样。

3、既没有指定要发到哪个分区,也没有指定key,key=null,那就轮询。但是第一条给谁不清楚,随机发。

所以一共有三个分区规则。

13_Kafka高级_生产者分区策略_kafka_04


标签:13,hash,生产者,分区,指定,Kafka,键值,key
From: https://blog.51cto.com/u_15881639/5860644

相关文章

  • 09_Kafka入门_数据日志分离
    关闭kafka但是会有延时,关闭的比较慢。之后再看一下就没了,需要等待一下。我们删除每台机器的logs文件夹:我们希望把数据和logs分开来放。这时候,就相当于kafka新装的一样......
  • 15_Kafka高级_生产者ACk机制
    3)ack应答机制对于某些不太重要的数据,对数据的可靠性要求不是很高,能够容忍数据的少量丢失,所以没必要等ISR中的follower全部接收成功。所以Kafka为用户提供了三种可靠性级别......
  • 16_Kafka高级_数据一致性问题
    (1)follower故障follower发生故障后会被临时踢出ISR,待该follower恢复后,follower会读取本地磁盘记录的上次的HW,并将log文件高于HW的部分截取掉,从HW开始向leader进行同步。等......
  • 【2022-11-13】家庭力量
    20:00路虽迩,不行不至;事虽小,不为不成。                                        ......
  • zk,kafka,redis哨兵,mysql容器化
    1.zookeeper,kafka容器化1.1zookeeper+kafka单机docker模式dockerpullbitnami/zookeeper:3.6.3-debian-11-r46dockerpullbitnami/kafka:3.1.1-debian-11-r36dock......
  • UVA1331 题解
    前言题目传送门!更好的阅读体验?计算几何、区间DP。思路......
  • 20221320_获奖感言与学习心得
    获奖感言:这其实应该是娄老师第二次给我发奖品,第一次就在娄老师那里收获了一本《暗时间——思维改变生活》。很高兴能够得到娄老师的再次认可,让我在学习《计算机科学概论》......
  • 大数据Hadoop之——EFAK和Confluent KSQL简单使用(kafka listeners 和 advertised.list
    目录一、EFAK概述和安装二、listeners和advertised.listeners配置详解三、KSQL使用1)KSQL架构2)Confluent安装(ZK/KAFKA/KSQL)1、下载confluent2、配置环境变量3、创建log和dat......
  • CentOS 7 调整 XFS 格式的 LVM 分区大小
    XFS是centos7预装的操作系统,XFS只能扩大不能缩小,所以需要利用xfsdump/xfsrestore工具在必须缩小lvm的情况下,备份与还原资料需求:把/vg-home分区缩小至20G,把多出的容......
  • 工作总结:kafka踩过的坑
    餐饮系统每天中午和晚上用餐高峰期,系统的并发量不容小觑。公司规定各部门都要轮流值班,防止出现线上问题时能够及时处理。后厨显示系统属于订单的下游业务。用户点完菜......