首页 > 其他分享 >二进制部署zookeeper集群

二进制部署zookeeper集群

时间:2024-03-31 19:13:33浏览次数:25  
标签:bin tar 二进制 zookeeper etc 集群 apache home

zookeeper

eks-zk-kafka001 10.0.0.41
eks-zk-kafka002 10.0.0.42
eks-zk-kafka003 10.0.0.43

初始化单机环境

#关闭防火墙
systemctl disable --now firewalld 
systemctl disable --now dnsmasq
systemctl disable --now NetworkManager

#关闭selinux
setenforce 0
sed -i 's#SELINUX=enforcing#SELINUX=disabled#g' /etc/sysconfig/selinux
sed -i 's#SELINUX=enforcing#SELINUX=disabled#g' /etc/selinux/config

#关闭swap分区,fstab注释swap
swapoff -a && sysctl -w vm.swappiness=0
sed -ri '/^[^#]*swap/s@^@#@' /etc/fstab

#同步机器时间
安装ntpdate
rpm -ivh http://mirrors.wlnmp.com/centos/wlnmp-release-centos.noarch.rpm
yum install ntpdate -y

所有节点同步时间。时间同步配置如下:
ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
echo 'Asia/Shanghai' >/etc/timezone
ntpdate time2.aliyun.com
# 加入到crontab
*/5 * * * * /usr/sbin/ntpdate time2.aliyun.com

ulimit -SHn 65535

vim /etc/security/limits.conf
# 末尾添加如下内容
* soft nofile 65536
* hard nofile 131072
* soft nproc 65535
* hard nproc 655350
* soft memlock unlimited
* hard memlock unlimited 

部署zookeeper

一,部署依赖jdk

下载地址:https://www.oracle.com/java/technologies/downloads/

#创建目录
mkdir /home/work
#把tar包解压到数据目录
tar -xvf jdk-21_linux-x64_bin.tar.gz -C /home/work/
#修改目录名字
mv jdk-21.0.2 jdk
#创建环境变量脚本
cat > /etc/profile/jdk.sh << EOF
#/bin/bash
JAVA_HOME=/home/work/jdk
PATH=$PATH:$JAVA_HOME/bin
EOF
#给脚本执行权限
chmod +x /etc/profile/jdk.sh  && source /etc/profile/jdk.sh
#检查是否生效
java --version

 

二,部署zookeeper

下载地址:https://zookeeper.apache.org/releases.html

#下载包
wget https://www.apache.org/dyn/closer.lua/zookeeper/zookeeper-3.8.4/apache-zookeeper-3.8.4-bin.tar.gz
#把包解压到指定目录
tar -xvf apache-zookeeper-3.8.4-bin.tar.gz -C /home/work  mv apache-zookeeper-3.8.4-bin && mv apache-zookeeper-3.8.4-bin zookeeper
#设置环境变量
cat > /etc/profile.d/zookeeper.sh << EOF
#!/bin/bash
ZK_HOME=/home/work/zookeeper/
PATH=$PATH:$ZK_HOME/bin
EOF
#生效环境变量
chmod +x /etc/profile.d/zookeeper.sh && source /etc/profile.d/zookeeper.sh
#修改配置
cp conf/zoo_sample.cfg conf/zoo.cfg
cat conf/zoo.cfg 
tickTime=2000 # 用于计算时间单位的基本时间(以毫秒为单位)
initLimit=50 # ZooKeeper启动时可以连接到Leader的时间限制(以tickTime的数量为单位)
syncLimit=30 # Leader和Follower之间的最大同步时间(以tickTime的数量为单位)
dataDir=/home/work/zookeeper/data/zookeeper # 存储 ZooKeeper 服务器数据的目录
clientPort=2181 # 客户端连接的端口号
dataLogDir=/home/work/zookeeper/logs # 存储 ZooKeeper 事务日志的目录
maxClientCnxns=0 # 单个客户端的最大连接数,0 表示不限制
snapCount=200000 # 在将事务日志截断为快照之前允许的事务数
socketLimit=10000 # 服务器套接字连接的最大数目
sessionLimit=50000 # ZooKeeper服务器支持的最大会话数目
maxbuffer=10485759 # 最大缓冲大小
server.1=zk-kafka001:2888:3888 # ZooKeeper 服务器1的地址和端口
server.2=zk-kafka002:2888:3888 # ZooKeeper 服务器2的地址和端口
server.3=zk-kafka003:2888:3888 # ZooKeeper 服务器3的地址和端口

三台机器都配置好,之后启动服务

bin/zkServer.sh start

检查是否启动正常

#查看命令
bin/zkServer.sh status 

ZooKeeper JMX enabled by default
Using config: /home/work/zookeeper/zookeeper/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Mode: follower

#查看进程
ps -ef | grep /home/work/zookeeper/zookeeper| grep -v grep

 

标签:bin,tar,二进制,zookeeper,etc,集群,apache,home
From: https://www.cnblogs.com/Direction-of-efforts/p/18107097

相关文章

  • redis集群
    redis主从复制主要解决单机机器故障,容量瓶颈等问题主从复制作用:1可以为redis提供多个副本,一个master可以有多个slave,一个slave只能由一个master实现方法:1通过slaveof命令  异步执行复制过程在从节点执行> slav......
  • 【VMware vSAN】配置vSAN ESA超融合集群及如何正确删除vSAN集群。
    vSANExpressStorageArchitecture(ESA)是vSAN中一种可选的替代架构,旨在以全新的效率、可扩展性和性能来处理和存储数据。此架构经过优化,可充分利用最新硬件的全部功能。它在vSAN8中发布,并在vSAN8U1和U2中进行了增强,可以在创建群集时选择它。vSAN中的ESA是所有早期版本的......
  • 利用Docker搭建多容器spark 和hadoop集群
    Docker搭建hadoop和spark集群本次集群的配置如下Docker25.0.3JDK1.8Hadoop3.1.2Hive3.1.2mysql8.0.1mysql-connector-java-8.0.1.jarhive_jdbc_2.5.15.1040拉取docker镜像,初始化hadoop集群拉取docker镜像,该镜像为ubuntu:22.04,已经安装好了hadoopdockerpull......
  • C语言02-常量、二进制、数据类型
    第4章常量1.常量特点程序运行时,其值不能改变的量,即为常量。2.常量分类字面量常量标识符常量3.常量定义方式(标识符常量)①#define宏定义②const关键字(C99标准增加)4.两种定义方式区别类型检查:const编译阶段会进行类型检查,#define方式不......
  • 02-常量、二进制、数据类型
    第4章常量1.常量特点程序运行时,其值不能改变的量,即为常量。2.常量分类字面量常量标识符常量3.常量定义方式(标识符常量)①#define宏定义②const关键字(C99标准增加)4.两种定义方式区别类型检查:const编译阶段会进行类型检查,#define方式不......
  • java数据结构与算法刷题-----LeetCode1091. 二进制矩阵中的最短路径
    java数据结构与算法刷题目录(剑指Offer、LeetCode、ACM)-----主目录-----持续更新(进不去说明我没写完):https://blog.csdn.net/grd_java/article/details/123063846文章目录广度优先+双分裂蛇广度优先+双分裂蛇双分裂蛇:是求二维表中从起点到终点的经典思路(也是......
  • zookeeper平台搭建(学不会干死我)
    原创不易,感连谢关注与点赞,记得三么么哒大数据平台搭建就目前而言,学习大数据需要搭建各种平台,zookeeper、hadoop、hbase、hive、flume、spark、Flink、kafka、等等,今天我们来搭建大数据的管理平台zookeeper什么是zookeeperZookeeper是一个开源的分布式应用程序协调服......
  • P8764 [蓝桥杯 2021 国 BC] 二进制问题
    原题链接题解1.如果数字为\(100110101\)那么答案为\(000000000\)~\(011111111\)中,k个1的组合数+\(100000000\)~\(100011111\)中k-1个1的组合数+...+\(1010101...\)(有k个1)中0个1的组合数,也就是1当遇见当遇见k个1后就可以退出了,最后判断数的1的个数够不够k,如果够......
  • MegaScale:字节万卡集群
    随着训练集群扩展到超过数万个GPU,软件和硬件故障几乎不可避免。字节引入了一个健壮的训练框架,实现了自动故障识别和快速恢复,在最少的人为干预下实现了容错,并且对正在进行的训练任务的影响可以忽略不计。1.训练流程分配资源:在接收到提交的训练任务后,driver进程会与自定义的K......
  • 关于集群节点timeline不一致的处理方式
    关于集群节点timeline不一致的处理方式本文出处:https://www.modb.pro/db/400223在PostgreSQL/MogDB/openGauss数据库日常维护过程中,如果多次对数据库进行角色切换,可能会出现timeline不一致的情况,导致备库不能正常加入到数据库集群,现在以PG为例对这些可能发生的情况进行......