首页 > 其他分享 >kafka安装

kafka安装

时间：2023-12-26 19:22:43浏览次数：36  
标签：jdk zookeeper echo install path kafka 安装

单节点kafka安装

#!/bin/bash
##############################################################
# File Name: install_kafka.sh
# Version: V1.0
# Author: junwang
# Organization: 
# Created Time : 2021-04-14 17:12:54
# Description:
##############################################################
tools_path=/server/tools
install_path=/web
CheckIPAddr(){
echo $*|grep "^[0-9]\{1,3\}\.\([0-9]\{1,3\}\.\)\{2\}[0-9]\{1,3\}$" > /dev/null; 
if [ $? -ne 0  ]
then
   echo "请输入合法ip地址!!!!!"
   exit 1
fi
ipaddr=$1 
a=`echo $ipaddr|awk -F . '{print $1}'`
b=`echo $ipaddr|awk -F . '{print $2}'` 
c=`echo $ipaddr|awk -F . '{print $3}'`
d=`echo $ipaddr|awk -F . '{print $4}'` 
for num in $a $b $c $d
do
    if [ $num -gt 255  ]||[ $num -lt 0  ]
    then
         echo "请输入合法ip地址!!!!!"
         exit 1
    fi
done
    return 0

}

read -p "请输入本机的ip地址："  localip
CheckIPAddr $localip

# install jdk
mkdir -p $tools_path
mkdir -p $install_path
yum -y install wget unzip net-tools

instatt_jdk(){
java -version
if [  $? -ne 0  ]
then
cd $tools_path && wget http://47.105.153.221:33389/data/User/admin/home/caeri/JDK/JDK1.8.0_77/jdk1.8.0_77.zip
unzip jdk1.8.0_77.zip
mv jdk1.8.0_77 $install_path/jdk && chmod +x $install_path/jdk/bin/*
echo 'export JAVA_HOME='$install_path'/jdk/
export CLASSPATH=$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH'>>/etc/profile
source /etc/profile
jdk=`which  java|wc -l`
   if [  $jdk -eq 1  ]
       then
           echo "################################### jdk install successfully ##########################"
           return 0
    else
          echo "################################### jdk install failed ##########################"
          return 1
    fi
else
  echo "################################## JDK is already installed ######################"
   return 0
fi
rm -f /tmp/install_jdk.sh
}

# install zookeeper

install_zookeeper(){
cd $tools_path &&  wget http://47.105.153.221:33389/data/User/admin/home/caeri/kafka/zookeeper-3.4.8.tar.gz
tar -xf zookeeper-3.4.8.tar.gz && mv zookeeper-3.4.8 $install_path
cp -rp  $install_path/zookeeper-3.4.8/conf/zoo_sample.cfg  $install_path/zookeeper-3.4.8/conf/zoo.cfg
mkdir -p /tmp/zookeeper
cd $install_path/zookeeper-3.4.8/bin && ./zkServer.sh start
if [ $? -eq 0  ]
then
    echo "################################ Zookeeper installed successfully ##########################"
    return 0
else
   echo "################################ Zookeeper installed failed ##########################"
    return 1
fi
}

install_kafka(){
cd $tools_path &&  wget http://47.105.153.221:33389/data/User/admin/home/caeri/kafka/kafka_2.10-0.10.1.1.tgz
tar -xf kafka_2.10-0.10.1.1.tgz && mv kafka_2.10-0.10.1.1 $install_path
sed -i 's/#listeners=PLAINTEXT:\/\/:9092/listeners=PLAINTEXT:\/\/'$localip':9092/g'   $install_path/kafka_2.10-0.10.1.1/config/server.properties
cd $install_path/kafka_2.10-0.10.1.1/bin &&  nohup ./kafka-server-start.sh  ../config/server.properties &
if [ $? -eq 0  ]
then
   echo -e "################################ kafka installed successfully ########################## \n @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@*+---+*@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@#.  ---  .*@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@. .*@@@#. .@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@. .#@@@#. .#@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@*.  -+-. .*@@@@#=----+*@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@=+. .-=#@@@@+. .--.  -@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@+ +@@@@@@*  -@@@@=  +@@@@@@@@###@@@@@@@@@@@@@@@@@@@@@@@@@@#**#@###@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@*=- .=*@@@@=  +@@@@=  +@@@@@@@@. -@@@@@@@@@@@@@@@@@@@@@@@@@-...*@+  *@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@+.   ..  .+=-... .-+.  -@@@@@@@@@. -@@@@@@#@@@@@####@@@@@@@@=  +@@@+  *@@@@@#@@@@@@###@@@@@@@@@
@@@#.  -*#@#*-   -*@#=-..-+*@@@@@@@@@@. -@@#-..=@@#+.  ...+-..#@-.  ..*@+  *@@=..+#@@=-.  ..-=..+@@@
@@@+  .@@@@@@@-  +@@@@@@@@@@@@@@@@@@@@. -#+. +#@@*. .=###*-   #@@=  =#@@+  **. -*@@@-  +*##*+   +@@@
@@@+  .@@@@@@@-  +@@@@@@@@@@@@@@@@@@@@. .. .#@@@@- .#@@@@@@-  #@@=  =@@@+ ..  =@@@@=  =@@@@@@=  +@@@
@@@#.  -*#@#*-   -*@#=-..-+*@@@@@@@@@@. -=..+@@@@. .#@@@@@@-  #@@=  =@@@+  =- -#@@@=  =@@@@@@*  +@@@
@@@@@+.   ..  .+=-... .-+.  -@@@@@@@@@. -@#. .*@@*  -*#@@*-   #@@=  =@@@+  #@+  =@@@- .=#@@#=.  +@@@
@@@@@@@*=- .=*@@@@=  +@@@@=  +@@@@@@@@. -@@@+ .=@@*-.  ...--  #@@=  =@@@+  *@@*. -#@@+.  ....+. +@@@
@@@@@@@@@+ +@@@@@@*  -@@@@=  +@@@@@@@@###@@@@###@@@@@#***#@@##@@@@##@@@@@##@@@@@###@@@@#***#@@##@@@@
@@@@@@@=+. .-=#@@@@+. .--.  -@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@*.  -+-. .*@@@@#=----+*@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@. .#@@@#. .#@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@. .*@@@#. .@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@#.  ---  .*@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@*+---+*@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
"
   return 0
else
   echo "################################ kafka installed failed ##########################"
fi
}

main(){
instatt_jdk
if [ $? -eq 0  ]
then
   install_zookeeper
   if [  $? -eq 0  ]
   then
    install_kafka
  fi
fi

}
main

集群kafka安装

#!/bin/bash
##############################################################
# File Name: install_kafka.sh
# Version: V1.0
# Author: junwang
# Organization: 
# Created Time : 2021-04-14 17:12:54
# Description:
##############################################################
tools_path=/server/tools
install_path=/web
CheckIPAddr(){
echo $*|grep "^[0-9]\{1,3\}\.\([0-9]\{1,3\}\.\)\{2\}[0-9]\{1,3\}$" > /dev/null; 
if [ $? -ne 0  ]
then
   echo "请输入合法ip地址!!!!!"
   exit 1
fi
ipaddr=$1 
a=`echo $ipaddr|awk -F . '{print $1}'`
b=`echo $ipaddr|awk -F . '{print $2}'` 
c=`echo $ipaddr|awk -F . '{print $3}'`
d=`echo $ipaddr|awk -F . '{print $4}'` 
for num in $a $b $c $d
do
    if [ $num -gt 255  ]||[ $num -lt 0  ]
    then
         echo "请输入合法ip地址!!!!!"
         exit 1
    fi
done
    return 0

}

read -p "请输入节点一的ip地址：" ip1
CheckIPAddr  $ip1
read -p "请输入节点二的ip地址：" ip2 
CheckIPAddr $ip2
read -p "请输入节点三的ip地址：" ip3  
CheckIPAddr $ip3
read -p "请输入本机的ip地址："  localip
CheckIPAddr $localip
read -p "请输入本机标识id[1-3]:"   id
if echo $id | grep -q '[^1-3]'
then
        echo "请输入一个数字[1-3]:"
        exit 1
fi

# install jdk
mkdir -p $tools_path
mkdir -p $install_path
yum -y install wget unzip net-tools

instatt_jdk(){
java -version
if [  $? -ne 0  ]
then
cd $tools_path && wget http://47.105.153.221:33389/data/User/admin/home/caeri/JDK/JDK1.8.0_77/jdk1.8.0_77.zip
unzip jdk1.8.0_77.zip
mv jdk1.8.0_77 $install_path/jdk && chmod +x $install_path/jdk/bin/*
echo 'export JAVA_HOME='$install_path'/jdk/
export CLASSPATH=$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH'>>/etc/profile
source /etc/profile
jdk=`which  java|wc -l`
   if [  $jdk -eq 1  ]
       then
           echo "################################### jdk install successfully ##########################"
           return 0
    else
          echo "################################### jdk install failed ##########################"
          return 1
    fi
else
  echo "################################## JDK is already installed ######################"
   return 0
fi
rm -f /tmp/install_jdk.sh
}

# install zookeeper

install_zookeeper(){
cd $tools_path &&  wget http://47.105.153.221:33389/data/User/admin/home/caeri/kafka/zookeeper-3.4.8.tar.gz
tar -xf zookeeper-3.4.8.tar.gz && mv zookeeper-3.4.8 $install_path
echo 'tickTime=2000
initLimit=10
syncLimit=5
dataDir=/Data/zookeeper
clientPort=2181
server.1='$ip1':2888:3888
server.2='$ip2':2888:3888
server.3='$ip3':2888:3888'>$install_path/zookeeper-3.4.8/conf/zoo.cfg
mkdir -p /Data/zookeeper
echo $id > /Data/zookeeper/myid
cd $install_path/zookeeper-3.4.8/bin && ./zkServer.sh start
if [ $? -eq 0  ]
then
    echo "################################ Zookeeper installed successfully ##########################"
    return 0
else
   echo "################################ Zookeeper installed failed ##########################"
    return 1
fi
}

install_kafka(){
cd $tools_path &&  wget http://47.105.153.221:33389/data/User/admin/home/caeri/kafka/kafka_2.10-0.10.1.1.tgz
tar -xf kafka_2.10-0.10.1.1.tgz && mv kafka_2.10-0.10.1.1 $install_path
echo 'broker.id='$id'
listeners=PLAINTEXT://'$localip':9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/Data/kafka-logs
num.partitions=3
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=8
log.segment.delete.delay.ms=3600000
log.cleanup.policy=delete
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect='$ip1':2181,'$ip2':2181,'$ip3':2181
zookeeper.connection.timeout.ms=6000
group.initial.rebalance.delay.ms=0
'>$install_path/kafka_2.10-0.10.1.1/config/server.properties
cd $install_path/kafka_2.10-0.10.1.1/bin &&  nohup ./kafka-server-start.sh  ../config/server.properties &
if [ $? -eq 0  ]
then
   echo -e "################################ kafka installed successfully ########################## \n @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@*+---+*@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@#.  ---  .*@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@. .*@@@#. .@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@. .#@@@#. .#@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@*.  -+-. .*@@@@#=----+*@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@=+. .-=#@@@@+. .--.  -@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@+ +@@@@@@*  -@@@@=  +@@@@@@@@###@@@@@@@@@@@@@@@@@@@@@@@@@@#**#@###@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@*=- .=*@@@@=  +@@@@=  +@@@@@@@@. -@@@@@@@@@@@@@@@@@@@@@@@@@-...*@+  *@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@+.   ..  .+=-... .-+.  -@@@@@@@@@. -@@@@@@#@@@@@####@@@@@@@@=  +@@@+  *@@@@@#@@@@@@###@@@@@@@@@
@@@#.  -*#@#*-   -*@#=-..-+*@@@@@@@@@@. -@@#-..=@@#+.  ...+-..#@-.  ..*@+  *@@=..+#@@=-.  ..-=..+@@@
@@@+  .@@@@@@@-  +@@@@@@@@@@@@@@@@@@@@. -#+. +#@@*. .=###*-   #@@=  =#@@+  **. -*@@@-  +*##*+   +@@@
@@@+  .@@@@@@@-  +@@@@@@@@@@@@@@@@@@@@. .. .#@@@@- .#@@@@@@-  #@@=  =@@@+ ..  =@@@@=  =@@@@@@=  +@@@
@@@#.  -*#@#*-   -*@#=-..-+*@@@@@@@@@@. -=..+@@@@. .#@@@@@@-  #@@=  =@@@+  =- -#@@@=  =@@@@@@*  +@@@
@@@@@+.   ..  .+=-... .-+.  -@@@@@@@@@. -@#. .*@@*  -*#@@*-   #@@=  =@@@+  #@+  =@@@- .=#@@#=.  +@@@
@@@@@@@*=- .=*@@@@=  +@@@@=  +@@@@@@@@. -@@@+ .=@@*-.  ...--  #@@=  =@@@+  *@@*. -#@@+.  ....+. +@@@
@@@@@@@@@+ +@@@@@@*  -@@@@=  +@@@@@@@@###@@@@###@@@@@#***#@@##@@@@##@@@@@##@@@@@###@@@@#***#@@##@@@@
@@@@@@@=+. .-=#@@@@+. .--.  -@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@*.  -+-. .*@@@@#=----+*@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@. .#@@@#. .#@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@. .*@@@#. .@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@#.  ---  .*@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@*+---+*@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
"
   return 0
else
   echo "################################ kafka installed failed ##########################"
fi
}

main(){
instatt_jdk
if [ $? -eq 0  ]
then
   install_zookeeper
   if [  $? -eq 0  ]
   then
    install_kafka
  fi
fi

}
main

标签：jdk,zookeeper,echo,install,path,kafka,安装
From： https://www.cnblogs.com/ejjw/p/17929137.html

相关文章

  • emqx安装
    #!/bin/bash###############################################################FileName:install_emqx.sh#Version:V1.0#Author:junwang#Organization:#CreatedTime:2021-04-1517:12:54#Description:################################################......
  • cockroach安装
    `#!/bin/bash##############################################################FileName:install_cockroach.shVersion:V1.0Author:junwangOrganization:CreatedTime:2021-04-1317:12:54Description:#######################################################......
  • elasticsearch安装
    #!/bin/bash###############################################################FileName:install_redis.sh#Version:V1.0#Author:junwang#Organization:#CreatedTime:2021-04-1517:12:54#Description:###############################################......
  • 【VMware】虚拟机安装centos7安装教程（秒看秒懂）
    一、Centos7背景简介          CentOS7是一个企业级的Linux发行版本，它源于RedHat免费公开的源代码进行再发行。内核更新至3.10.0、支持Linux容器、支持OpenVMwareTools及3D图像即装即用、支持OpenJDK-7作为缺省JDK、支持内核空间内的iSCSI及FCoE、支持PTPv2等功能......
  • kafka 自定义开发Sink Connector组件（兼容mysql和oracle）
    1.情景展示目前，市场上已有不少能从kafka消费数据的插件，如：io.confluent.connect.jdbc.JdbcSinkConnector，但这个组件有个致命的问题是，只能同步字符串类型。具体意思是：源库源表的日期类型字段，往目标库目标表插入数据的时候，只能是字符串类型，无法自动将其转成日期类型。这样一来的......
  • 【已解决】WordPress安装插件提示：需要访问您网页服务器的权限
    前一段时间把workpress做了迁移后，发现安装插件的时候会给出如下提示： 经过百度查询找到解决方法，修改 /var/www/html/wp-config.php文件，增加字段：define('FS_METHOD','direct');如下图 之后重启服务：systemctlrestarthttpd，即可正常安装插件了，如下 ......
  • PostgreSQL的安装和卸载
    一、PostgreSQL的卸载查看版本号和系统类别：cat/etc/redhat-release如果是redhat/centos:(yuminstall)yum删除软件包：yumremovepostgresql*删除相关目录文件：rm-rf/var/lib/pgsqlrm-rf/usr/pgsql*删除pg相关用户组/用户userdel-rpostgresgroupdelpostgresrpm包安装的......
  • 使用PVE安装MikroTik-RouterOS-7.3最新稳定版
    使用PVE安装MikroTik-RouterOS-7.3最新稳定版1：下载并上传“MikroTik-RouterOS.qcow2.xz”文件到/var/lib/vz/images/https://drive.google.com/file/d/1DL2uaMfWz2mDHSE_0vRLz1Fw02isTfRe/view?usp=sharing2：解压“虚拟磁盘”文件cd/var/lib/vz/imagesmkdir101mvMikroTik-Route......
  • windows下gitlab安装
    第一步：搜索引擎搜索gitlabinstall进入链接InstallGitLab|GitLab第二步：点击Installationmethods在此步骤发现没有windows下的安装，但是看到了docker安装方式，所以先安装dockerforwindows（这里不着急安装，可以先往后看）第三步：点击Docker第四步：查看docker方式安装文档......
  • MySQL安装
    安装tar-zxvfmysql-5.7.43-el7-x86_64.tar.gz-C/usr/local/cd/usr/localmvmysql-5.7.43-el7-x86_64mysqlcd/usr/lcoal/mysqlgroupaddmysqluseradd-r-M-gmysqlmysqlchown-Rmysql:mysql./创建目录mkdir/datamkdir/data/mysql备份并修改配置文件cp......

赞助商

阅读排行

网站主页关于我们联系我们网站地图

本网站内容转载自其他媒体，侵权联系[admin##ips99.com]。

Copyright © 2020-2023 IPS99 版权所有 IPS99