首页 > 其他分享 >搭建kafka

搭建kafka

时间:2023-02-11 16:58:57浏览次数:56  
标签:-- topics 9092 server sh kafka 搭建

1、安装jdk

java -version查看jdk版本

yum -y list java* 查看已安装和可安装的软件包

yum -y install java 安装新版本

 

2、安装zookeeper(单机模式)

a) 下载地址 https://downloads.apache.org/zookeeper/zookeeper-3.8.0/apache-zookeeper-3.8.0-bin.tar.gz

b) 解压压缩包,进入文件夹目录,复制./conf/zoo_sample.cfg为./conf/zoo.cfg

c) 修该配置文件/conf/zoo.cfg

 

d) 启动zk, ./zkServer.sh start

e) 前台输出日志启动 ./zkServer.sh start-foreground

f) 查看zk状态 ./zkServer.sh status

g) 停止zk ./zkServer.sh stop

h) 客户端连接zk ./zkCli.sh -server localhost:12181

i) 注意:8080端口不能被占用,否则会启动失败

3、安装kafka

a) 下载地址

https://kafka.apache.org/downloads

b)  修改配置文件 ./config/server.properties

c)  开启kafka  

如果没有开启zookeeper, 先开启zk

./zookeeper-server-start.sh -daemon ../config/zookeeper.properties

再开启kafka

./kafka-server-start.sh -daemon ../config/server.properties

d)  注意:如果启动失败,日志报错The Cluster ID kVSgfurUQFGGpHMTBqBPiw doesn't match stored clusterId Some(0Qftv9yBTAmf2iDPSlIk7g) in meta.properties. 需要删除logs目录所有文件,从新启动

e)  停止broker

 ./zookeeper-server-stop.sh

./kafka-server-stop.sh

f) 创建topics

./kafka-topics.sh --create --bootstrap-server 127.0.0.1:9092 --replication-factor 1 --partitions 1 --topic test-topics

g) 查看已存在的topics

  ./kafka-topics.sh --list --bootstrap-server 127.0.0.1:9092

 

h) 查看某个topic详细信息

./kafka-topics.sh --bootstrap-server 127.0.0.1:9092 --describe --topic test-topics

i) 删除topic

./kafka-topics.sh --delete --bootstrap-server 127.0.0.1:9092 --topic test-topics

j) 生产者

./kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic test-topics

k) 消费者

./kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic test-topics如果想每次都从topic起首位置消费数据,需要加上--from-beginning

l)  创建消费组

./kafka-console-consumer.sh --bootstrap-server=127.0.0.1:9092 --topic test-topics --from-beginning --consumer-property group.id=test_group

m) 查看组

./kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --list

n) 查看组详

 ./kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --describe --group test_group

o) 删除消费组

./kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --delete --group test_group

 

 

 

 

标签:--,topics,9092,server,sh,kafka,搭建
From: https://www.cnblogs.com/ho966/p/17111984.html

相关文章

  • 案例-需求分析&设计、环境搭建、列表查询_分析
    案例-需求分析&设计1.需求:用户信息的增删改查操作2.设计:1.技术选型:Servlet+JSP+MYSQL+JDBCTempleat+Duird+BeanUtilS+tomcat2.数据库设计:......
  • Ubuntu 16.04 LAMP(PHP7.0) 环境搭建并测试
    PS:要转载请注明出处,本人版权所有。PS:这个只是基于《我自己》的理解,如果和你的原则及想法相冲突,请谅解,勿喷。前置说明  本文作为本人csdnblog的主站的备份。(BlogID......
  • 【运维篇】 经典LNMP架构——搭建个人博客系统
    LNMP架构(Linux+Nginx+MySQL+PHP)同LAMP架构(Linux+Apache+MySQL+PHP)一样,都是主要应用于动态网站的web架构,这两种架构具有很多优势,是目前企业部署网络的首选平台。近些年LNMP越......
  • linux使用hostapd+dnsmasq管理多张网卡,搭建dns服务器,并发射wifi热点(支持360wifi等等)
    PS:要转载请注明出处,本人版权所有。PS:这个只是基于《我自己》的理解,如果和你的原则及想法相冲突,请谅解,勿喷。前置说明  本文发布于2015-03-0318:37:39,现用MarkDo......
  • GraphQL 项目搭建
    介绍讲一下GraphQL的各种特性和如何使用,让大家感受下。CODE4NOTHING大佬之前在博客园更新了一些GraphQL的知识是和EF的结合使用,文章使用的实体模型来自于CODE4NOTHING大......
  • Cesium源码阅读环境搭建
    1.引言Cesium是一款三维地球和地图可视化开源JavaScript库,使用WebGL来进行硬件加速图形,使用时不需要任何插件支持,基于Apache2.0许可的开源程序,可以免费用于商业和非商业......
  • SpringCloudAlibaba项目搭建流程
    SpringCloudAlibaba作为一个微服务架构,往往会创建一个父工程管理整个项目的依赖关系。每个子项目代表一个微服务,可以各自选择所需的组件进行使用。因此,搭建SpringCloud......
  • 案例-分析&环境搭建,实现-redis缓存优化
    案例-分析&环境搭建 案例需求:提供index.html页面,页面中有一个省份,下拉列表当页面加载完成后,发送ajsx请求,加载所有省份注意:使用redis缓存一些不经常发生......
  • rocketMq和kafka对比
    为什么在RocketMQ和kafka中选型在单机同步发送的场景下,Kafka>RocketMQ,Kafka的吞吐量高达17.3w/s,RocketMQ吞吐量在11.6w/s。kafka高性能原因生产者Kafka会把收到的消息......
  • Kafka
    1、为什么有消息系统1.解耦合2.异步处理例如电商平台,秒杀活动。一般流程会分为:1:风险控制、2:库存锁定、3:生成订单、4:短信通知、5:更新数据3.通过消息系统将......