首页 > 其他分享 >zookeeper和kafka安装

zookeeper和kafka安装

时间:2022-10-29 14:44:42浏览次数:86  
标签:opt zookeeper server2 server kafka 安装

系统: CentOS Linux 7 (Core) x86_64

一、JDK安装

1.安装准备

# 查看系统jdk版本
java -version
# 检查jdk自带安装包
rpm -qa | grep java
# 卸载jdk
yum -y remove tzdata-java.noarch
# 如果有就卸载,卸载的包名通过(rpm -qa | grep java)获取,包名要全部输入
rpm -e --nodeps #这里输入要卸载的包#

安装

# 查看云端目前支持安装的jdk版本,两种查询方式
yum search java|grep jdk
yum -y list java*

# 选择要安装的版本,这里安装jdk11
yum install -y java-11-openjdk.x86_64 

# 搜索java文件,查找jdk安装目录
find / -name 'java'

二、zookeeper安装

2.1单机安装

1.下载链接
 ​http://archive.apache.org/dist/zookeeper/​
2.上传到指定主机

tar zxvf apache-zookeeper-3.6.0-bin.tar.gz -C /opt/
mv /opt/apache-zookeeper-3.6.0-bin/ /opt/zookeeper

3.在/opt/zookeeper/ 目录下创建数据文件目录和日志文件目录

mkdir /opt/zookeeper/zkData
mkdir /opt/zookeeper/zkLog

4.修改配置文件

# 复制一份配置文件并修改
cd /opt/zookeeper/conf/
cp zoo_sample.cfg zoo.cfg
vi zoo.cfg
# 修改如下内容
dataDir=/opt/zookeeper/zkData
dataLogDir=/opt/zookeeper/zkLog

5.测试安装

cd /opt/zookeeper/bin/
# 启动zookeeper
./zkServer.sh start
# 查看进程是否启动
jps
# 查看状态
./zkServer.sh status
# 停止zookeeper
./zkServer.sh stop

2.2集群安装

1.规划

主机名      ip地址
server1    192.168.7.11/24
server2    192.168.7.12/24
server3    192.168.7.13/24

2.向 /etc/hosts文件中添加如下内容

192.168.7.11 server1
192.168.7.12 server2
192.168.7.13 server3

第一步:三台主机分别按照上面 2.2 步骤正确安装zookeeper

第二步:配置服务器编号
server1:

echo 1 > /opt/zookeeper/zkData/myid

server2和server3同理,将1改为2和3即可

配置zoo.cfg文件

分别向三台主机的zoo.cfg文件中添加如下内容

vi /opt/zookeeper/conf/zoo.cfg
# 添加如下内容
server.1=192.168.7.11:2888:3888
server.2=192.168.7.12:2888:3888
server.3=192.168.7.13:2888:3888

配置参数解读 server.A=B:C:D
A:一个数字表示第几号服务器,myid 文件中的值就是A的值
B:服务器ip地址
C:集群中与leader服务器交换信息的端口
D:选举时专用端口;万一集群中的leader挂了,需要一个端口用来重新选举

分别启动三台主机的zookeeper,并查看状态

cd /opt/zookeeper/bin/
# 启动zookeeper
./zkServer.sh start
# 查看进程是否启动
jps
# 查看状态
./zkServer.sh status

2.3 错误解决

用zkServer.sh status后看到的错误

Error contacting service. It is probably not running

修改conf/zoo.cfg文件,添加admin.serverPort=没被占用的端口号

三、安装kafkav

下载地址: http://kafka.apache.org/downloads​

3.1 单机安装

1.解压到指定目录 /opt/kafka

tar -xvf kafka_2.12-2.2.0.tar -C /opt
mv /opt/kafka_2.12-2.2.0 /opt/kafka

2.修改核心配置文件 /opt/kafka/config/server.properties
修改如下6处:

  • ​​broker.id​​ 配置的是集群环境,要求每台kafka都有唯一的brokerid

  • log.dirs​​ 数据存放的目录

  • zookeeper.connect​​ zookeeper连接池地址信息

  • ​​delete.topic.enable​​ 是否直接删除topic

  • host.name​​ 主机名称

  • 修改:​​listeners=PLATNTEXT://server1:9092​​

vi /opt/kafka/config/server.properties
# 修改以下内容
broker.id=1
listeners=PLAINTEXT://server1:9092
log.dirs=/opt/kafka/data
zookeeper.connect=server1:2181,server2:2181,server3:2181
# 文件尾部添加以下内容
delete.topic.enable=true
host.name=server1
# 创建数据存放目录
mkdir -p /opt/kafka/data

3.测试安装

cd /opt/kafka/bin
./kafka-server-start.sh -daemon ../config/server.properties 
jps
./kafka-server-stop.sh

3.2 集群安装

1.分别将server1的 /opt/kafka 目录分发给server2和server3

cd /opt
scp -r kafka/ server2:$PWD
scp -r kafka/ server2:$PWD

2.server2与server3修改配置文件 ​​server.properties​​

server2

vi /opt/kafka/config/server.properties
# 修改以下内容
broker.id=2
listeners=PLAINTEXT://server2:9092
host.name=server2

server3

vi /opt/kafka/config/server.properties
# 修改以下内容
broker.id=3
listeners=PLAINTEXT://server3:9092
host.name=server3

3.分别启动三台主机的kafka

cd /opt/kafka/bin
./kafka-server-start.sh -daemon ../config/server.properties 
jps

4.测试结果
登录zookeeper客户端,查看/brokers/ids

cd /opt/zookeeper/bin/
zkCli.sh
# 查询结果如下:
[zk: localhost:2181(CONNECTED) 0] ls /brokers/ids
[1, 2, 3]
[zk: localhost:2181(CONNECTED) 1] quit

标签:opt,zookeeper,server2,server,kafka,安装
From: https://www.cnblogs.com/journeyer-xsh/p/16838487.html

相关文章

  • python 安装 jieba分词第三方库 报错 以及解决
      在安装jieba第三方库的时候,Python报错pip._vendor.urllib3.exceptions.ReadTimeoutError:HTTPSConnectionPool(host='files.pythonhosted.org',port=443):Readt......
  • golang学习之路1-环境安装及Helloword
    提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档@目录Golang学习之路前言一、安装环境1.Golang安装2.GoLand安装二、第一个go程序HelloWord三、go命令......
  • 环境安装-Centos7.4安装及配置
    环境安装-Centos7.4安装及配置〇、资料汇总一、虚拟机安装1、下载地址https://pan.baidu.com/s/1zcOp06HX4OxPdsCCGkHbXQ提取码:77772、安装步骤https://mp.weixin.q......
  • kafka 从入门到精通2 、 创建kafka 生产者与消费者实例
    上一篇:​​kafka单机版和分布式版安装​​首先创建一个生产者:packageorg.training.hadoop.kafka;importorg.apache.kafka.clients.producer.KafkaProducer;importorg.a......
  • 2020年,kafka面试题总结。
    总结的都是最常见问到的问题:问题1:什么是ApacheKafka?答:ApacheKafka是一个发布 - 订阅开源消息代理应用程序。这个消息传递应用程序是用“scala”编码的。基本上,这个项目......
  • Linux-7-普通安装jdk java环境
    前言本次介绍安装 JDK 是为了铺垫后面的jenkins环境。简介:Jenkins是一个开源软件项目,是基于java开发的一种持续集成工具,用于监控持续重复的工作,旨在提供一个开放易用......
  • MySql安装配置(msi版)
    ​​MySql​​​下载地址​​https://dev.mysql.com/downloads/mysql/​​下载安装选择自定义安装,如果只需要​​MySQL​​​可以选择​​Serveronly​​这里只选择​​My......
  • 安装MongoDB及启动服务
    安装MongoDB----安装  ----配置环境变量:默认安装目录:C:\ProgramFiles\MongoDB\Server\3.6\bin 直接添加到path中即可。;号隔开。----在C盘根目录--创建一个文......
  • Docker 安装SqlServer、Mysql、MariaDB
    Docker安装SqlServer说明1.拉取镜像dockerpullmcr.microsoft.com/mssql/server:2019-latest2.运行dockerrun--namemssqlserver2019-d--restartunless-st......
  • Docker 安装elasticsearch、kibana
    Docker安装elasticsearch7.101.拉取镜像dockerpulldocker.elastic.co/elasticsearch/elasticsearch:7.102.运行dockerrun--nameelasticsearch7.10.0-p92......