首页 > 其他分享 >kafka的基本操作

kafka的基本操作

时间:2023-04-14 20:24:05浏览次数:39  
标签:-- 9092 server topic 0.1 基本操作 kafka

1、配置启动文件

// 首先 cd 到kafka的 config 目录
vim server.properties
// 找到 listeners 配置项,如果注释掉了,就删除注释
listeners=PLAINTEXT://127.0.0.1.9092
// 修改日志文件的位置,这个文件夹需要你自己创建
log.dirs=/usr/local/kafka/kafka-logs
// 修改连接 zookeeper 的地址, ip 写zookeeper所在的主机 ip
zookeeper.connet=127.0.0.1:2181

2、启动kafka

// 前提是你已经安装,配置过启动文件,切换到kafka的bin目录下
./kafka-server-start.sh -daemon ../config/server.properties

3、创建topic

kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic mytest

4、创建生产者

./kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic mytest

5、创建消费者

// 最好是使用两个连接客户端分别创建生产者和消费者
./kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic mytest --consumer-property group.id=group_mytest

创建好生产者与消费者后,试一试能不能成功发生消息和接收消息。

标签:--,9092,server,topic,0.1,基本操作,kafka
From: https://www.cnblogs.com/dylstudy/p/17319818.html

相关文章

  • kafka集群部署教程
    ####部署zookeeper集群1、先部署zookeeper集群一般是3个节点,安装zookeeper依赖java环境先安装jdk   yuminstalljava-1.8.0-openjdk-devel-y    java-version#查看jdk版本2、创建工作目录(3个节点都需要执行)   mkdir-p/usr/local/zookeeper  ......
  • 栈的定义及基本操作实现(顺序栈)
    个人主页:【......
  • Elasticsearch 7.x文档基本操作(CRUD)
    一、概述Elasticsearch是一个流行的开源搜索引擎,用于存储、搜索和分析数据。下面是Elasticsearch7.x版本的基本操作(CRUD):1、创建索引:PUT/index_name{"settings":{"number_of_shards":1,"number_of_replicas":0}}2、查看索引:GET/index_name3、......
  • 串的表示及基本操作
    【问题描述】实现串的顺序表示和基本操作。【输入形式】第一行输入一个字符串;第二行输入一个字符串;第三行输入两个整数,分别表示在第一个字符串中获取子串的起始位置和长度;【输出形式】输出两个字符串比较的结果,若相等输出=,否则输出<>输出子串(若子串获取不成功,输出error)输出两个字符......
  • kafka入门
    一、kafka概述二、入门应用三、可视化工具kafka可视化工具有很多种,比如kafka-eagle(EFAK)、kafka-manager、kafkatool等。在windows本地环境测试,我使用的kafkatool工具。kafkatool官网下载下载对应版本按照即可,记得修改一下安装位置,保护保护你的C盘空间。下载后打开软......
  • kafka查看数据_Kafka 数据积压情况查看
    导述由于消息消费速度处理慢或是消费端故障会导致数据产生积压。那怎么查看数据积压量呢?Consumer-Groups管理在Kafka的bin目录下提供了kafka-consumer-groups.sh脚本。此脚本用于管理消费情况。查询消费者组$KAFKA_DIR/bin/kafka-consumer-groups.sh--bootstrap-serverl......
  • Kafka
    为什么Kafka的性能那么好?-李潘-博客园(cnblogs.com) Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。这种动作(网页浏览,搜索和其他用户的行动)是在现代网络......
  • kafka在linux系统下设置开机启动
    安装完成kafka后,进入/etc/init.d目录在该目录下创建文件kafka,内容如下:#!/bin/bash#chkconfig:23452090#description:kafka#processname:kafkaexportJAVA_HOME=/usr/java/jdk1.8.0_161#换成自己的实际地址case$1in #kafka换成自己的实际地址start)suroot/us......
  • kafka实践(二):部署Kafka需要衡量的问题
    该博文部分参考《Apachekafka实战》-胡夕的第三章Kafka线上环境部署,关于最佳实践的配置方面的建议,kafka在设计之初就需要考虑以下4个方面的问题:吞吐量/延时消息持久化负载均衡和故障转移伸缩性1.1 吞吐量/延时对于任何一个消息引擎而言,吞吐量都是至关重要的性能指标。那么何为吞......
  • spark stream冷启动处理kafka中积压的数据
    因为首次启动JOB的时候,由于冷启动会造成内存使用太大,为了防止这种情况出现,限制首次处理的数据量spark.streaming.backpressure.enabled=truespark.streaming.backpressure.initialRate=200forexample:#!/bin/shTaskName="funnel"UserName="hadoop"cd`dirname$0`nohupsudo......