首页 > 系统相关 >Linux 下搭建 Kafka 环境

Linux 下搭建 Kafka 环境

时间:2022-10-17 14:47:20浏览次数:85  
标签:-- kafka usr Linux Kafka local 搭建

Linux 下搭建 Kafka 环境

作者:Grey

原文地址:

博客园:Linux 下搭建 Kafka 环境

CSDN:Linux 下搭建 Kafka 环境

环境要求

操作系统:CentOS 7

下载地址

安装说明

Kafka 版本:2.11-2.1.0

下载地址

注:这个版本的 Kafka 需要依赖 JDK 和 Zookeeper。

JDK 版本:8u181

下载地址

Zookeeper 版本:3.4.5

下载地址

注:以上中间件均搭建在一个 Linux 系统中,如果需要分不同的系统安装,注意修改对应的连接配置。

如果使用的中间件版本不一致,请以官方搭建文档为准。

安装步骤

准备软件目录

mkdir /datalake

上传之前下载好的安装包到 /datalake 目录下

jdk-8u181-linux-x64.gz

kafka_2.11-2.1.0.tgz

zookeeper-3.4.5.tar.gz

批量解压这几个安装包

cd /datalake
ls * | xargs -n1 tar xzvf

将解压的软件移动到 /usr/local 目录

cd /datalake
mv jdk1.8.0_181 /usr/local/jdk
mv kafka_2.11-2.1.0 /usr/local/kafka
mv zookeeper-3.4.5 /usr/local/zk

配置 Zookeeper

cd /usr/local/zk/conf

首先,先备份 Zookeeper 的默认配置文件

cp zoo_sample.cfg zoo.cfg

然后将配置文件修改下

vi zoo.cfg

将 dataDir 选项配置为

dataDir=/usr/local/zk/data

接下来,配置 Kafka

vi /usr/local/kafka/config/server.properties

将 log.dirs 参数修改为

log.dirs=/usr/local/zk/logs

由于 Kafka 和 Zookeeper 装在同一个 Linux 中,所以 zookeeper.connect 配置维持默认配置即可

zookeeper.connect=localhost:2181

配置环境变量

vi /usr/profile

添加如下内容

export JAVA_HOME=/usr/local/jdk
export ZK_HOME=/usr/local/zk
export KAFKA_HOME=/usr/local/kafka
export PATH=$PATH:$JAVA_HOME/bin:$ZK_HOME/bin:$KAFKA_HOME/bin

应用环境变量

source /etc/profile

接下来,就开始启动 Kafka,首先,需要先启动 Zookeeper

zkServer.sh start

输出信息如下

[root@datalake conf]# zkServer.sh start
JMX enabled by default
Using config: /usr/local/zk/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

说明启动成功。

接下来启动 Kafka

kafka-server-start.sh /usr/local/kafka/config/server.properties

接下来,再打开 Shell 一个窗口,创建 topic

kafka-topics.sh --zookeeper 127.0.0.1:2181 --replication-factor 1 --partitions 1 --create --topic  test

然后再开一个 Shell 窗口,启动生产者

kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic  test

再打开一个 Shell 窗口,启动消费者

kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic  test

切换到生产者启动页面,发送数据,消费者能正常接收数据

生产者

image

消费者

image

标签:--,kafka,usr,Linux,Kafka,local,搭建
From: https://www.cnblogs.com/greyzeng/p/16799145.html

相关文章

  • React Native-ios环境的搭建
    本文基于​​RN中文网​​。要在mac系统上搭建RN环境:一、安装Homebrew。它是一款MacOS平台下的软件包管理工具。详见Homebrew的安装这篇文章。 二、安装node和watchman,用H......
  • kafka 知识点 笔记
    kafka知识点笔记使用kafka消息队列的好处:1)、解耦合不用保证两台客户端同时在线,发送端先发送消息暂时存储,接收端上线后可以自己再获取消息......
  • ESXI虚拟机Linux根目录逻辑卷扩容
    一、首先exsi管理台里对目标虚拟机进行硬盘扩容  从原来的20GB扩容到50GB二、将新扩容的30GB空间进行fdisk分区  lsblk可以看到硬盘变成50GB,但是分区还是sda1......
  • linux查询网络路由表
    netstat[root@10-21-0-1~]#netstat-nrKernelIProutingtableDestinationGatewayGenmaskFlagsMSSWindowirttIface0.0.0.0......
  • 环境搭建
    PWN环境搭建0x1.安装虚拟机安装ubuntu链接:清华大学开源软件镜像站0x2.更换国内软件源将除partner源的其他全删掉nano/etc/apt/sources.list将清华源复制粘贴......
  • linux的权限详解
    (文章目录)1.用户转换1.将普通用户转换成root1.su-使用su-时,输入root用户的密码,进入root的工作目录中2.su使用su命令后,输入root用户密码,发现普通用户的工......
  • linux之vim编辑器
    (文章目录)vim编辑器1.概念一款编辑器,只负责写代码2.安装[yzq@VM-8-8-centos~]$sudoyuminstallvim3.使用1.使用一些按键没有反应当我们使用vim+文......
  • Linux基础_2_bash功能
    查看当前shell:echo $SHELL查看可用shell:cat /etc/shells命令行编辑光标跳到行首:Ctrl+a光标跳到行尾:Ctrl+e以单词为单位快速跳转光标:Ctrl+左右键删除光标前面的所......
  • docker 搭建frp内网穿透
    下载说明去github官网下载最新版本,链接地址:https://github.com/fatedier/frp/releaseswindows对应:windowsamd版本linux对应:linuxamd版本,本文服务端使用linux版本采用......
  • linux main文件链接头文件(.h .c)的方法
     main文件链接其他.c.h文件的原理就是把其他.c.h文件编译为库函数(静态库或者动态库)方法1:静态函数 建立:fun.hfun.cmain.c三个文件注意的点:fun.c中不能带有头......