• 2024-01-18kafka消费
    多线程消费方式方式1:一个线程对应一个消费者消费者数量不大于分区数,最好也能对等起来方式2:多线程消费同一个分区位移提交和顺序控制的处理非常复杂,不推荐方式1:消费者==分区数intthreadNum=4;for(inti=0;i<threadNum;i++){ newKafkaConsumer(config,"tcp_link
  • 2023-09-25IntelliJ Idea编译报错:请使用 -source 7 或更高版本以启用 diamond 运算符
    最近在使用IntelliJIdea遇到了挫折,分享出来给大家,问题由来是我导入了外部的java文件,结果就报错了错误的句子也提示出来了:KafkaConsumer<String,String>kafkaConsumer=newKafkaConsumer<>(props);网上搜了各种解决方法都不行,崩溃的节奏啊,终于皇天不负有心人,让我同事解决了,希
  • 2023-09-05Flink kafka source
    kafkasource接收kafka的数据<!--Kafka相关依赖--><dependency><groupId>org.apache.kafka</groupId><artifactId>kafka-clients</artifactId><version>2.8.0</version>
  • 2023-05-24【Kafka从入门到成神系列 八】Kafka 多线程消费者及TCP连接
  • 2023-04-23【flink】重启kafka消费者
    publicclassKafkaConsumerJob{publicstaticvoidmain(String[]args)throwsException{StreamExecutionEnvironmentenv=StreamExecutionEnvironment.getExecutionEnvironment();Propertiesprops=newProperties();props.setPro
  • 2023-02-1205-KafkaConsumer
    1.工作流程1.1消费者组概述ConsumerGroup(CG):由多个consumer组成。形成一个消费者组的条件,是所有消费者的groupId相同。消费者与消费组这种模型可以让整体的消费
  • 2022-10-17KafkaConsumer实现多线程消费的一种实现思路——不考虑消息的顺序性问题基础
    背景介绍一种Kafka多线程消费的实现思路以及方案,此方案不考虑消息消费的顺序性问题,假定消息之间没有依赖关系。这个项目是公司里面开发有个SDK的所谓”飞行窗口“特性产