首页 > 系统相关 >linux安装kafka教程

linux安装kafka教程

时间:2023-12-18 18:00:26浏览次数:37  
标签:opt 教程 zookeeper kafka 3.4 sh linux 2.12

一、安装kafka
1、下载kafka
1.到kafka的官网,去下载想用的kafka包:http://kafka.apache.org/downloads

2.我这里下载的是:kafka_2.12-3.4.1.tgz

3.将安装包传送到服务器并解压(默认这里解压了就是安装路径了,可以自己斟酌): 比如我的是上传和解压到  /opt/kafka,如下图

 

tar -zxvf kafka_2.12-2.4.1.tgz 
 2、配置kafka
1.在kafka解压目录同一路径下:创建一个kafka_data,用于装kafka和zookeeper的log和数据啥的 
mkdir -p /opt/kafka/soft/kafka_data
mkdir -p /opt/kafka/soft/kafka_data/zookeeper  #zookeeper数据目录
mkdir -p /opt/kafka/soft/kafka_data/log 
mkdir -p /opt/kafka/soft/kafka_data/log/kafka  #kafka日志
mkdir -p /opt/kafka/soft/kafka_data/log/zookeeper  #zookeeper日志
2.配置kafka服务
cd /opt/kafka/kafka_2.12-3.4.1/config/
vim server.properties 编辑修改相应的参数,内容改动和添加如下:
:wq! #保存退出
broker.id=0
port=9092                                                #端口号
host.name=locallhost                      #服务器IP地址,修改为自己的服务器IP
log.dirs=/opt/kafka/soft/kafka_data/log/kafka   #日志存放路径,上面创建的目录
zookeeper.connect=localhost:2181         #zookeeper地址和端口,单机配置部署,localhost:2181

3.配置zookeeper服务 
cd /mnt/kafka_2.12-3.4.1/config/
vim zookeeper.properties 编辑修改相应的参数,内容改动和添加如下:
:wq! #保存退出
dataDir=/opt/kafka/soft/kafka_data/zookeeper   #zookeeper数据目录
dataLogDir=/opt/kafka/soft/kafka_data/log/zookeeper #zookeeper日志目录
clientPort=2181
maxClientCnxns=100
tickTimes=2000
initLimit=10
syncLimit=5 

 二、创建启动和关闭的 kafka 执行脚本
1. 创建启动脚本  # vim kafka_start.sh, 里边内容为:
#!/bin/sh
#启动zookeeper
/opt/kafka/kafka_2.12-3.4.1/bin/zookeeper-server-start.sh /opt/kafka/kafka_2.12-3.4.1/config/zookeeper.properties &
 
sleep 3 #等3秒后执行
 
#启动kafka
/opt/kafka/kafka_2.12-3.4.1/bin/kafka-server-start.sh /opt/kafka/kafka_2.12-3.4.1/config/server.properties &i
2. 创建关闭脚本  # vim kafka_stop.sh, 里边内容为:
keeper
/opt/kafka/kafka_2.12-3.4.1/bin/zookeeper-server-stop.sh /opt/kafka/kafka_2.12-3.4.1/config/zookeeper.properties &
 
sleep 3 #等3秒后执行
 
#关闭kafka
/opt/kafka/kafka_2.12-3.4.1/bin/kafka-server-stop.sh /opt/kafka/kafka_2.12-3.4.1/config/server.properties &
至此,在kafka路径下,就有了两个脚本了。一个是启动脚本,一个是关闭脚本!!!如下:

 

3. 为脚本执行权限 
chmod +x kafka_start.sh
 
chmod +x kafka_stop.sh
 4. 启动和关闭kafka
cd /opt/kafka/kafka_2.12-3.4.1
sh kafka_start.sh #启动kafka
sh kafka_stop.sh #关闭kafka
5. 启动脚本,设置开机自启动

vi /etc/rc.d/rc.local #编辑,在最后添加一行
sh /usr/local/kafka/kafka_start.sh & #设置开机自动在后台运行脚本
至此,Linux下Kafka单机安装配置完成

三、创建生产者 topic 和 消费者 topic 简单示例
1. 在一个终端执行创建生产者: (推消息到wd_test)
cd /opt/kafka/kafka_2.12-3.4.1/bin/ #进入kafka目录
./kafka-console-producer.sh --broker-list 123.57.1.39:9092 --topic wd_test  #(注:wd_test你要建立的topic名)


2. 在另一个终端执行创建消费者:(从wd_test上消费消息)
cd /mnt/kafka_2.12-3.4.1/bin/ #进入kafka目录
./kafka-console-consumer.sh --bootstrap-server 123.57.1.39:9092 --topic wd_test #消费wd_test的topic消息
 

3. 查看效果: 一个终端不断输入推送的消息,另一个终端则消费这个消息  
 

 

四、查看运行的进程 和 当前topic
1. jps:查看服务,如果下面两个标红的存在,说明zookeeper和kafka 启动了。


2.查看当前的一些topic
cd /opt/kafka/kafka_2.12-3.4.1/bin/
 
./kafka-topics.sh --bootstrap-server localhost:9092 --list


原文链接:https://blog.csdn.net/weixin_42109071/article/details/107564094 
————————————————
版权声明:本文为CSDN博主「但许星辰静月」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/qq_52183856/article/details/134289820

标签:opt,教程,zookeeper,kafka,3.4,sh,linux,2.12
From: https://www.cnblogs.com/csjoz/p/17911827.html

相关文章

  • Linux搭建FTP服务器
    一、概念简介vsftpd(verysecureFTPdaemon)是Linux下的一款小巧轻快、安全易用的FTP服务器软件,本次实验介绍如何在Linux上安装并配置vsftpd。FTP(FileTransferProtocol)是一种文件传输协议,基于客户端/服务器架构,支持以下两种工作模式:主动模式:客户端向FTP服务器发送端口信息,由......
  • Linux开机启动自定义脚本
    方式一:chkconfig命令首先编写好自启的脚本/etc/init.d/test.sh#!/bin/sh#chkconfig:23451090#创建个文件touch/opt/script/1.txt再给脚本添加上可执行权限:chmod+xtest.sh将脚本添加到开机启动项chkconfig--addtest.sh将脚本设置为自启动chkconf......
  • 无涯教程-Java - Dictionary 类函数
    字典(Dictionary)是一个抽象类,代表一个键/值对,其操作非常类似于Map。下面列出了Dictionary定义的抽象方法-Sr.No.Method&Remark1Enumerationelements()返回字典中包含的值的枚举。2Objectget(Objectkey)返回包含与键关联的值的对象,如果键不在字典中,则返回空对象......
  • mac安装php-kafka
    首先,安装文档在: 如何使用PHPSDK接入消息队列Kafka版并收发消息_云消息队列Kafka版(ApsaraMQfor Kafka)-阿里云帮助中心(aliyun.com)但是按照这个文档,存在一个问题,一直报错:1...2checkingforrdkafkasupport...yes,shared3checkingforlibrdkafka/rdkafka.h"i......
  • 无涯教程-Java - Stack 类函数
    堆栈是Vector的子类,它实现了标准的后进先出堆栈。Stack()除了从其父类Vector继承的方法外,Stack还定义了以下方法-Sr.No.Method&Remark1booleanempty()测试此堆栈是否为空。如果堆栈为空,则返回true;如果堆栈包含元素,则返回false。2Objectpeek()返回位于堆栈顶部......
  • 面试官问我:线程锁导致的kafka客户端超时,如何解决?
    本文分享自华为云社区《线程锁导致的kafka客户端超时问题》,作者:张俭。问题背景有一个环境的kafkaclient发送数据有部分超时,拓扑图也非常简单定位历程我们先对客户端的环境及JVM情况进行了排查,从JVM所在的虚拟机到kafkaserver的网络正常,垃圾回收(GC)时间也在预期范围内,没有......
  • 为什么EmbeddedLinuxBeginnerSGuide的image中 uboot一定要放在fat32分区,不能跟preload
    按照按照  (https://rocketboards.org/foswiki/Documentation/EmbeddedLinuxBeginnerSGuide)制作了一个image,然后按照https://www.cnblogs.com/DoreenLiu/p/17903782.html将相关文件都打包到一个.img文件里面去。其实最开始研发给我的Makefile内容是这样(这个是RD用于制作LXD......
  • 无涯教程-Java - Vector 类函数
    Vector实现了动态数组。它类似于ArrayList,线程同步sychronized。以下是vector类提供的构造函数的列表。Sr.No.Constructor&Remark1Vector()此构造函数创建一个默认向量,其初始大小为10。2Vector(intsize)此构造函数接受等于所需大小的参数,并创建一个向量,其初始容......
  • Linux下4种快速创建大文件的方法
    1.使用dd命令创建大文件dd命令是实际写入硬盘,文件产生的速度取决于硬盘的读写速度,根据文件的大小,该命令将需要一些时间才能完成。创建一个名为test.img的2GB大小的文本文件,执行以下操作:ddif=/dev/zeroof=test.imgbs=2Gcount=1其中根据需要来更改块大小和块数。例如,......
  • linux环境变量(转载)
    阅读目录一、Linux环境变量介绍1.1Linux环境变量介绍1.2Linux环境变量分类1.3Linux常用的环境变量二、Linux查看环境变量三、Linux添加环境变量3.1添加系统级环境变量(需root权限、针对所有用户、永久生效)3.2添加用户级环境变量3.3SSH/串口终端临时添加环境变量四、Lin......