首页 > 其他分享 >kafka

kafka

时间:2023-04-20 20:34:50浏览次数:37  
标签:-- zookeeper kafka topic 2181 master

首先配置好zookeeper

修改kafka配置文件

config/server.properties文件中

broker.id=0
port=9092
host.name=192.168.112.91
log.dirs=/usr/local/src/kafka/kafka-logs
zookeeper.connect=master:2181,slave1:2181,slave2:2181

启动kafka

./bin/kafka-server-start.sh -daemon config/server.properties

创建指定topic

kafka-topics.sh --create -zookeeper master:2181 --topic 名称 --partitions 3 --replication-factor 1

kafka-topics.sh --create -zookeeper master:2181 --topic kafka_test --partitions 3 --replication-factor 1

查询所有topic信息

kafka-topics.sh --zookeeper master:2181 --list

启动指定生产者

kafka-console-producer.sh --broker-list master:9092 --topic kafka_test

启动指定消费者

kafka-console-consumer.sh --zookeeper master:2181 --topic kafka_test --from-beginning

标签:--,zookeeper,kafka,topic,2181,master
From: https://www.cnblogs.com/gudeman/p/17338224.html

相关文章

  • kafka、zookeeper配置运行的坑
    1、Windows安装zookeeper的时候,zookeeper.properties里dataDir=D:\\kafka_2.13-2.8.1\\data\\zookeeper路径要用双斜杠,否则报错2、idea里,application.yml里,bootstrap-servers:192.168.10.3:2181,192.168.10.50:2181,192.168.10.6:2181注意,冒号后面要有一个空格,否则报错......
  • kafka
    安装kafka首先安装jdk,zookeeper,kafka将压缩包放进linux目录/opt/mySoftware下,并依次执行下面的命令tar-zxvfjdk-8u361-linux-x64.tar.gztar-zxvfzookeeper-3.4.12.tar.gztar-zxvfkafka_2.11-2.0.0.tgz解压后会生成文件夹jdk1.8.0_361``kafka_2.11-2.0.0zookeep......
  • SchemaRegestry组件原生的类和方法无法实现flink消费kafka的数据动态调整schema的情况
    0、前提知识储备Conflurent公司的SchemaRegestry组件的基本了解和使用一、背景:0.组件版本flink:1.141.链路调整情况原先链路:oracle-->OGG-->kafka-->flink-->数据库\湖\仓实现链路:oracle-->OGG-->kafka(搭配conflurent公司的SchemaRegestry组件使用)-->flink-->数据库\湖\仓2......
  • 提高kafka消费速度之从源码去了解Spring-kafka的concurrency参数
    网上看到这篇文章,觉得很不错,这里转载记录一下。转自:提高kafka消费速度之从源码去了解Spring-kafka的concurrency参数-简书第一部分、引言    在spring应用中,如果我们需要订阅kafka消息,通常情况下我们不会直接使用kafka-client,而是使用了更方便的一层封装spring-kafk......
  • Kafka的研究&实战
    一、Kafka简介Kafka是一个高吞吐量的分布式的发布--订阅消息系统,可以处理大量的数据,并将消息从一个端点传递到另一个端点。同时Kafka还能将消息保存在磁盘上并在集群内复制以防数据丢失。二、Kafka的优势可靠性:Kafka是分布式、分区、复制和容错的。扩展性:可结合Zookeeper实现动态扩......
  • Go接入kafka
    需要借助的库github.com/Shopify/sarama//kafka主要的库*github.com/bsm/sarama-cluster//kafka消费组生产者packageproducerimport( "fmt" "github.com/HappyTeemo7569/teemoKit/tlog" "github.com/Shopify/sarama" "kafkaDemo/define"......
  • 面试题百日百刷-kafka篇(四)
    锁屏面试题百日百刷,每个工作日坚持更新面试题。****请看到最后就能获取你想要的,接下来的是今日的面试题:1.为什么kafka可以实现高吞吐?单节点kafka的吞吐量也比其他消息队列大,为什么?Kafka是分布式消息系统,需要处理海量的消息,Kafka的设计是把所有的消息都写入速度低容量大的硬盘,......
  • 安装Zookeeper和Kafka集群
    安装Zookeeper和Kafka集群本文介绍如何安装Zookeeper和Kafka集群。为了方便,介绍的是在一台服务器上的安装,实际应该安装在多台服务器上,但步骤是一样的。安装Zookeeper集群下载安装包从官网上下载安装包:curlhttps://dlcdn.apache.org/zookeeper/zookeeper-3.7.1/apache-zookee......
  • Kafka
    Kafkahttps://www.cnblogs.com/zhh567/p/17301143.html磁盘顺序顺序读写速度超过了内存随机读写速度https://spring.io/projects/spring-kafkakafka组件:Broker    一个节点就是一个BrokerTopic      处理消息的不同分类,是一个逻辑概念Partition是Topic的......
  • kafka的基本操作
    1、配置启动文件//首先cd到kafka的config目录vimserver.properties//找到listeners配置项,如果注释掉了,就删除注释listeners=PLAINTEXT://127.0.0.1.9092//修改日志文件的位置,这个文件夹需要你自己创建log.dirs=/usr/local/kafka/kafka-logs//修改连接zookeepe......