首页 > 其他分享 >kafka复习:(11)auto.offset.reset的默认值

kafka复习:(11)auto.offset.reset的默认值

时间:2023-10-31 11:32:55浏览次数:36  
标签:11 reset offset kafka org apache import 默认值 ConsumerConfig


在ConsumerConfig这个类中定义了这个属性的默认值,如下图

kafka复习:(11)auto.offset.reset的默认值_java


也就是默认值为latest,它的含义是:如果没有客户端提交过offset的话,当新的客户端消费时,把最新的offset设置为当前消费的offset.

默认是自动提交位移的,每5秒进行一次提交。可以通过参数配置手动提交。

手动提交offset的示例

import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.common.PartitionInfo;
import org.apache.kafka.common.TopicPartition;
import org.apache.kafka.common.serialization.StringDeserializer;
import org.apache.kafka.common.serialization.StringSerializer;

import java.time.Duration;
import java.time.temporal.TemporalUnit;
import java.util.*;
import java.util.concurrent.TimeUnit;
/*
设置手动提交offset
 */

public class KafkaTest08 {

    private static Properties getProperties(){
        Properties properties=new Properties();

        properties.setProperty(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
        properties.setProperty(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
        properties.setProperty(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG,"xx.xx.xx.xx:9092");
        properties.setProperty(ConsumerConfig.GROUP_ID_CONFIG,"testGroup8");
        //设置手动提交位移
        properties.setProperty(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG,"false");
        return properties;
    }
    public static void main(String[] args) {

        KafkaConsumer<String,String> myConsumer=new KafkaConsumer<String, String>(getProperties());
        myConsumer.subscribe(Arrays.asList("student"));

        int i=0;


        while(true){
            ConsumerRecords<String,String> consumerRecords=myConsumer.poll(Duration.ofMillis(5000));
            for(ConsumerRecord record: consumerRecords){
                System.out.println(record.value());
                System.out.println("record offset is: "+record.offset());

            }

            myConsumer.commitSync();
            
            if(i==0){
                //myConsumer.commitSync();
                i ++;
            }
            else {
                i ++;
            }

        }



    }
}


标签:11,reset,offset,kafka,org,apache,import,默认值,ConsumerConfig
From: https://blog.51cto.com/amadeusliu/8102882

相关文章

  • P1156 垃圾陷阱
    P1156垃圾陷阱考虑设计状态转移方程\(dp_{ij}=\;?\)本题一共有四个参数:物品、高度、生命值、时间,然后考虑如何定义\(i\)、\(j\)和\(dp_{ij}\)。于是可以按照垃圾的出现时间来排序,而物品作为第一维\(i\)表示考虑前\(i\)个垃圾。然后就剩下了[高度、生命值]两个值了,因......
  • AtCoder Beginner Contest(abc) 311
    B-VacationTogether难度:⭐题目大意给定n个人的工作计划,'o'表示这天休息,'x'表示工作;请找出一段最长的所有人都休息的连续休息的天数;解题思路数据不大,暴力即可;神秘代码#include<bits/stdc++.h>#defineintlonglong#defineIOSios::sync_with_stdio......
  • [sql]使用sql语句增加列,并且设置默认值
    有的时候,我们需要对已存在的表进行插入列的情况,当然,可以使用navicat等工具直接可视化操作,命令行的话,如下:altertable表名 add column列名 数据类型 default默认值 ;demo:altertableT_DB_AutoBackupaddcolumnbOpenint(4)default0; ......
  • Docker_报错:Host key for 47.116.79.175 has changed and you have requested strict
    Hostkeyfor47.116.79.175haschangedandyouhaverequestedstrictchecking.Hostkeyverificationfailed. 问题原因用OpenSSH的人都知ssh会把你每个你访问过计算机的公钥(publickey)都记录在~/.ssh/known_hosts。当下次访问相同计算机时,OpenSSH会核对公钥。如果公......
  • openGauss学习笔记-110 openGauss 数据库管理-管理用户及权限-Schema
    openGauss学习笔记-110openGauss数据库管理-管理用户及权限-SchemaSchema又称作模式。通过管理Schema,允许多个用户使用同一数据库而不相互干扰,可以将数据库对象组织成易于管理的逻辑组,同时便于将第三方应用添加到相应的Schema下而不引起冲突。每个数据库包含一个或多个Schema。......
  • 代码随性训练营第十七天(Python)| 110.平衡二叉树、257. 二叉树的所有路径、404.左叶子之
    110.平衡二叉树1、递归法classSolution:defisBalanced(self,root:Optional[TreeNode])->bool:ifself.get_height(root)!=-1:#-1代表高度差大于1returnTrueelse:returnFalsedefget_height(self,root):......
  • 2023年第 4 期《Python 测试平台开发》进阶课程(11月14号开学)
    2023年第4期《Python测试平台开发》进阶课程主讲老师:上海-悠悠上课方式:微信群视频在线教学,方便交流本期上课时间:11月14号(每周二、四晚上21:00-22:30)报名费:报名费3800一人(之前学过《python接口+测试开发》课程的同学可优惠!)联系微信/QQ:283340479课程环境:1.pycharm+pytho......
  • 11
    importtorchimporttorch.nnasnnclassBasicConv(nn.Module):def__init__(self,in_channel,out_channel,kernel_size,stride,bias=True,norm=False,relu=True,transpose=False):super(BasicConv,self).__init__()ifbiasandnorm:......
  • 学年(2023-2024-1)学号(20231311)《计算机基础与程序设计》第5周学习总结
    2023-2024-120231311《计算机基础与程序设计》第5周学习总结作业信息这个作业属于哪个课程2023-2024-1-计算机基础与程序设计这个作业要求在哪里2022-2023-1计算机基础与程序设计第五周作业这个作业的目标下载Pep/9虚拟机,学习机器语言与汇编语言,算法与伪代码等......
  • 11月第一周学习计划(2023/10/29 )
    科目大类学习科目 言语标题填入  态度理解  道理解释  词句理解  提炼关键词 逻辑推理逻辑论证之归因论证 申论分析理解题目 每项需要完成事件1.看完相关网课,每一个部分整理笔记并且形成博......