首页 > 系统相关 >centos7下kafka集群安装部署

centos7下kafka集群安装部署

时间:2024-07-10 17:54:40浏览次数:6  
标签:bin zk zookeeper server centos7 集群 kafka root

centos7下kafka集群安装部署

 

应用摘要: 

Apache kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的

分布式发布订阅消息系统,是消息中间件的一种,用于构建实时数据管道和流应用程序,很火!

          Kafka官网:http://kafka.apache.org/

          学习推荐  :http://orchome.com/kafka/index

          官网下载  :http://kafka.apache.org/downloads

 

安装环境

Kafka集群环境搭建,需要准备好一个zookeeper环境(集群),zk集群部署:>> 点击这里 <<

说明:kafka名中的2.12是Scala语言版本,后面的0.11.0.2是kafka版本,端口默认为9092。


安装步骤:    1.下载kafka并解压    [root@server-1 ~]# tar zxvf kafka_2.12-0.11.0.2.tgz -C /opt/        

 2. 编辑配置文件

  进入到config目录,编辑配置文件:server.properties

   [root@server-1 config]# vim server.properties 

  

  

  

  

  其他配置可以保持默认,保持,退出;

  参数说明可以参考http://orchome.com/12 或者 http://blog.csdn.net/lizhitao/article/details/25667831

  同样的操作在server-2和server-3上修改一下broker.id和host.name,不再赘述。

 

 3. 启动Kafka

  切换到bin目录中,查看相关脚本:

  

  

   [root@server-1 bin]# ./kafka-server-start.sh -daemon ../config/server.properties     // -daemon:以后台方式启动

  查看9092端口状态,确保服务已经启动;

  同样的,启动server-2和server-3:

   [root@server-2 bin]# ./kafka-server-start.sh -daemon ../config/server.properties 

   [root@server-3 bin]# ./kafka-server-start.sh -daemon ../config/server.properties 

   至此,kafka安装启动完成。

  关闭命令: [root@server-1 bin]# ./kafka-server-stop.sh     //不带任何参数即可

 

 4. 检查测试

    在上一篇部署zookeeper集群的时候提到连接kafka使用的时候,里面除了zookeeper之外还有其他内容,来查看一下。

  登录zookeeper(切换到zk的bin目录下),先连接zk:

   [root@server-1 bin]# ./zkCli.sh -server 192.168.1.21:2181 

复制代码
 [zk: 192.168.1.21:2181(CONNECTED) 2] ls /          

 cluster                    controller                 controller_epoch           brokers
 zookeeper                  admin                      isr_change_notification    consumers
 latest_producer_id_block   config
 [zk: 192.168.1.21:2181(CONNECTED) 2] ls /brokers
 [ids, topics, seqid]
 [zk: 192.168.1.21:2181(CONNECTED) 3] ls /brokers/ids
 [1, 2, 3]
 [zk: 192.168.1.21:2181(CONNECTED) 4] 
复制代码

  说明:zookeeper集群建好之后,通过“ls /”出来的只有zookeeper,连接kafka使用后,/ 下面多了不少东西,其中通过查看/brokers/ids可以

     发现已经检查到了已经安装的三台kafka的broker.id[1,2,3]。

 

    « 上一篇: centos7下zookeeper集群安装部署
» 下一篇: kafka命令行脚本使用 posted @ 2018-01-14 12:10  Adrian·Ding  阅读(16961)  评论(0)  编辑  收藏  举报    

标签:bin,zk,zookeeper,server,centos7,集群,kafka,root
From: https://www.cnblogs.com/manmanblogs/p/18294727

相关文章

  • centos7.2上openssn7.4升级到openssn9.6
    1.升级openssl 1.0.2k到openssl-1.1.1wmkdir/software 2.下载安装包wget--no-check-certificatehttps://www.openssl.org/source/old/1.1.1/openssl-1.1.1w.tar.gz 3.编译并安装3.1安装zlibyuminstall-ygccgcc-c++glibcmakeautomakeautoconfzlibzlib-dev......
  • nacos集群搭建
    Nacos集群搭建1.集群结构图官方给出的Nacos集群图:其中包含3个nacos节点,然后一个负载均衡器代理3个Nacos。这里负载均衡器可以使用nginx。我们计划的集群结构:三个nacos节点的地址:节点ipportnacos1192.168.150.18845nacos2192.168.150.18846nacos3192.168.150.188472......
  • kafka分层存储解读
    分层存储的目标是根据数据的特性和组织的策略,将数据放在最合适的存储介质上,从而优化存储资源的使用,平衡性能和成本。怎么进行分层存储:可以根据分析使用模式、访问频率和其他因素的策略和算法,自动在这些层之间放置和移动数据。这确保了最关键和频繁访问的数据驻留在高性能存储中......
  • spark程序在hdfs集群执行,提示: “main“ org.apache.spark.SparkException: Failed to
    1.执行代码spark在hadoop上以集群模式执行代码bin/spark-submit\--masteryarn\--deploy-modecluster\--executor-memory1G\--total-executor-cores2\/root/word_count_cluster.py2.错误截图错误原因:找不到spark目录3.解决办法在/etc/profile文件中配置spa......
  • mysql集群高可用架构MHA
    一、MHA概述1.为什么要用MHAMaster的单点故障问题2.什么是MHAMHA(MasterHighAvailability)是一套优秀的MySQL高可用环境下故障切换和主从复制的软件。MHA的出现就是解决MySQL单点的问题。MySQL故障切换过程中,MHA能做到0-30秒内自动完成故障切换操作。MHA能在故障切换的过程......
  • Linux 下 kafka 集群部署
    本文将以三台服务器为例,介绍在linux系统下kafka的部署方式。1.zookeeper下载下载地址:ApacheKafka选择需要的介质下载,这里以 kafka_2.11-1.1.1.tgz为例2.环境准备  部署kafka需要先部署JDK以及zookeeper ,JDK部署可以参考Linux下JDK安装-CSDN博客 zookeeper......
  • haproxy搭建Web集群
    一.案例概述    haproxy是目前比较流行的一种群集调度工具,同类工具中lvs性能更好,但搭建相对复杂;nginx的upstream模块支持群集功能,但是对群集节点健康检测功能不强,高并发性能没有Haproxy好;Haproxy的官方网站是http://www.haproxy.org/。    常见的Web群集调度......
  • 编译安装Kubernetes 1.29 高可用集群(8)--Dashboard和Traefik安装部署
    1.部署Dashboard1.1在任意k8s-master节点上安装dashboard#helmrepoaddkubernetes-dashboardhttps://kubernetes.github.io/dashboard/#helmupgrade--installkubernetes-dashboardkubernetes-dashboard/kubernetes-dashboard--create-namespace--namespacekuberne......
  • 【MySQL MGR管理】MySQL5.7 MGR集群切换测试
    一、服务器环境MySQL5.7MGR集群切换目标:故障切换,启用备选主之后。还原MGR,切换回原主服务器信息[root@0321-mysqlmgr3~]#cat/etc/hosts127.0.0.1localhostlocalhost.localdomainlocalhost4localhost4.localdomain4::1localhostlocalhost.localdomainloc......
  • k8s集群离线部署
    K8s离线部署环境目标k8s离线部署步骤部署docker详情见文章:《离线安装docker及后端项目离线打包》https://blog.csdn.net/qq_45371023/article/details/140279746?spm=1001.2014.3001.5501所用到的所有文件在:链接:https://pan.baidu.com/s/10cb-dXkgdShdjPEBCyvTrw?......