首页 > 其他分享 >Zookeeper+Kafka单节点部署

Zookeeper+Kafka单节点部署

时间:2024-03-21 14:29:17浏览次数:31  
标签:bin 解压 zookeeper 文件 Zookeeper server kafka Kafka 节点

一.Zookeeper部署启动

1.下载zookeeper

Apache ZooKeeper(http://zookeeper.apache.org/releases.html)

 

2.文件上传

通过Xftp软件上传到Linux系统中

若在外部解压可直接传入相应的文件地址,若未解压则传入压缩包在Linux系统中进行解压操作tar -zxvf zookeeper-3.9.2.tar.gz  ‘解压文件地址’

在zookeeper文件夹下,创建tempdata临时数据 mkdir tempdata

cd 进入到conf中

找到zoo_sample.cfg 改名为zoo.cfg

mv  zoo_sample.cfg  zoo.cfg

Vim 进入zoo.cfg 进行修改

主要参数说明:

dataDir: 数据目录,可以是任意目录。用于配置存储快照文件的目录。

tickTime: zookeeper中使用的基本时间单位, 时长单位是毫秒。1 * tickTime是客户端与zk服务端的心跳时间,2 * tickTime是客户端会话的超时时间。

tickTime的默认值为2000毫秒,更低的tickTime值可以更快地发现超时问题,但也会导致更高的网络流量(心跳消息)和更高的CPU使用率(会话的跟踪处理)。

initLimit:允许follower(相对于Leaderer言的“客户端”)连接并同步到Leader的初始化连接时间,以tickTime为单位。当初始化连接时间超过该值,则表示连接失败

clientPort:监听client连接的端口号。zk服务进程监听的TCP端口,默认服务端会监听2181端口。

3.环境配置修改

若系统未配置环境则需在/etc/文件下找到profile文件

Vim profile

在文件后加上

export ZOOKEEPER_HOME=zookeeper存放地址

exportPATH= $JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$ZOOKEEPER_HOME/bin:$PATH:$HOME/bin

再执行 source  /etc/profile生效

4.zookeeper启动/停止

进入到zookeeper文件bin目录下找到zkServer.sh,执行./zkServer.sh命令启动Zookeepe,

执行./zkServer.sh stop 则停止Zookeeper

二.Kafka部署启动

1.下载Kafka

Apache Kafka (https://kafka.apache.org/downloads)

2.文件上传

通过Xftp软件上传到Linux系统中

(操作同第一章节第一小节zookeeper上传方式)

若在外部解压可直接传入相应的文件地址,若未解压则传入压缩包在Linux系统中进行解压操作tar -zxvf kafka_2.12-3.7.0.tgz.gz  ‘解压文件地址’。

3.环境配置修改

进入到kafka文件下,再进入config文件下找到server.properties

vim server.properties 进入编辑模式进行配置修改

需要改动的参数:

broker.id=0

port=9092 #端口号默认配置

listeners=PLAINTEX://localhost:9092本机地址+端口号

host.name=localhost #单机可直接用本级地址

log.dirs=/kafka/tempdata #日志存放路径可修改可不修改

zookeeper.connect=localhost:2181 #zookeeper 本机地址:2181

返回到config文件下,找到consumer.properties(可有可无

vim consumer.properties  设置消费组id (用于表示该consumer想要加入到哪个group中。默认值是 “”)

4.Kafka启动/停止

进入kafka bin目录下

输入以下命令进行启动 (启动kafka-server-start.sh的同时运行server.properties)

/data/suite/kafka/kafka_2.13-2.8.1/kafka_2.13-2.8.1/bin/kafka-server-start.sh 

-daemon  /data/suite/kafka/kafka_2.13-2.8.1/kafka_2.13-2.8.1/config/server.properties

停止kafka运行输入:

bin/kafka-server-stop.sh stop

标签:bin,解压,zookeeper,文件,Zookeeper,server,kafka,Kafka,节点
From: https://blog.csdn.net/qq_44863366/article/details/136901421

相关文章

  • vue2/3 - element表格组件el-table实现懒加载树型(上下级)数据、默认展开和隐藏层级,支
    效果图在vue2、vue3项目开发中,使用element饿了么组件库,实现Table表格组件动态懒加载表格数据,可以决定是否自动展开所有2级或3级,也可以点击加载下级数据,可搭配表格的增删改查,数据变化后自动更新列表不会破坏树状的展开和折叠结构。提供详细示例代码,一键复制运行查看效果,稍......
  • 【CKA模拟题】查找集群中使用内存最高的node节点
    题干Forthisquestion,pleasesetthiscontext(Inexam,diffclustername)kubectlconfiguse-contextkubernetes-admin@kubernetesFindtheNodethatconsumesthemostMEMORYinallcluster(currentlywehavesinglecluster).Then,storetheresultin......
  • kafka-按键分区
    配置#自定义分区#partitioner:#class:com.dfree.data.config.PartitionerByKey代码//publicclassPartitionerByKeyimplementsPartitioner{//@Override//publicintpartition(Stringtopic,Objectkey,byte[]keyBytes,Objectvalu......
  • Java如何修改框架源码(以ZooKeeper框架为例)
    1、缘由:在Zookeeper框架内部源码中,org.apache.zookeeper.ClientCnxn.SendThread#logStartConnect方法会打印客户端与服务器端的连接状态,如果在网络出现波动时会出现连接异常并在日志中打印出INFO级别信息【java.lang.IllegalArgumentException】,而这个关键词会触发运维告警。2......
  • kafka面试题 1
    kafka面试题1简介kafka是一个分布式发布-订阅消息系统和一个强大的队列,可以处理大量的数据,并使你能够将消息从一个端点传递到另一个端点,kafka适合离线和在线消息消费,kafka消息保留在磁盘上,并在集群内复制以防止数据丢失,kafka构建在zookeeper同步服务上,他与ApacheStorm......
  • Centos 7.5基于MySQL 5.7的 InnoDB Cluster 多节点高可用集群环境部署记录【转】
    前面给大家介绍过:MySQL高可用方案选型解析,今天我将详细的为大家介绍Centos7.5基于MySQL5.7的InnoDBCluster多节点高可用集群环境部署的相关知识,希望大家能够从中收获多多!如有帮助,请点在看、转发支持一波!!!MySQLInnoDBCluster介绍MySQL的高可用架构无论是社区还是官方,一......
  • 面试官:Kafka和ES选主有什么区别?
    Kafka和ES都是用来处理大数据的中间件,一个是消息中间件的代表(Kafka),另一个是大数据搜索引擎的代表(ES)。它们在Java领域的使用非常广泛,在大数据方面就更不用说了,但它们的选主(选择主节点)有什么关联与区别呢?接下来,我们一起来看。1.基础概念1.1什么是Kafka?Kafka是一个分布式......
  • 阿里二面:Kafka中如何保证消息的顺序性?这周被问到两次了
    引言在现代分布式系统中,消息顺序消费扮演着至关重要的角色。特别是在涉及事务处理、日志追踪、状态机更新等场景时,消息的处理顺序直接影响着系统的正确性和一致性。例如,金融交易系统中,账户间的转账操作必须严格按照发出请求的顺序进行处理,否则可能导致资金不匹配;同样,在构建实时流......
  • 深入React Flow Renderer(三):创建和定制节点(附代码)
    在ReactFlowRenderer中,节点是构建工作流界面的基本组成部分之一。本文将介绍如何创建和定制不同类型的节点,以满足您的工作流需求。我已将当前系列的Demo上传至GitHub,其中包含一个简单的画布、侧边栏、内容编辑以及其他功能。这个Demo旨在供大家参考和学习。地址:Evanzew......
  • Kafka3.0
    目录1.什么是kafka?2.kafka基础架构3.kafka集群搭建4.kafka命令行操作kafka启停命令主题命令行【topic】生产者命令行【producer】消费者命令行【consumer】5.kafka生产者生产者消息发送流程Producer发送原理普通的异步发送带回调函数的异步发送同步发送API生产者重要参数列......