centos7下kafka集群安装部署
应用摘要:
Apache kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的
分布式发布订阅消息系统,是消息中间件的一种,用于构建实时数据管道和流应用程序,很火!
Kafka官网:http://kafka.apache.org/
学习推荐 :http://orchome.com/kafka/index
官网下载 :http://kafka.apache.org/downloads
安装环境:
Kafka集群环境搭建,需要准备好一个zookeeper环境(集群),zk集群部署:>> 点击这里 <<
![](/i/i/?n=17&i=blog/1016513/201801/1016513-20180114122600472-607447660.png)
说明:kafka名中的2.12是Scala语言版本,后面的0.11.0.2是kafka版本,端口默认为9092。
安装步骤: 1.下载kafka并解压 [root@server-1 ~]# tar zxvf kafka_2.12-0.11.0.2.tgz -C /opt/
![](/i/i/?n=17&i=blog/1016513/201801/1016513-20180114134403301-1488975204.png)
2. 编辑配置文件
进入到config目录,编辑配置文件:server.properties
[root@server-1 config]# vim server.properties
其他配置可以保持默认,保持,退出;
参数说明可以参考:http://orchome.com/12 或者 http://blog.csdn.net/lizhitao/article/details/25667831
同样的操作在server-2和server-3上修改一下broker.id和host.name,不再赘述。
3. 启动Kafka
切换到bin目录中,查看相关脚本:
[root@server-1 bin]# ./kafka-server-start.sh -daemon ../config/server.properties // -daemon:以后台方式启动
查看9092端口状态,确保服务已经启动;
同样的,启动server-2和server-3:
[root@server-2 bin]# ./kafka-server-start.sh -daemon ../config/server.properties
[root@server-3 bin]# ./kafka-server-start.sh -daemon ../config/server.properties
至此,kafka安装启动完成。
关闭命令: [root@server-1 bin]# ./kafka-server-stop.sh //不带任何参数即可
4. 检查测试
在上一篇部署zookeeper集群的时候提到连接kafka使用的时候,里面除了zookeeper之外还有其他内容,来查看一下。
登录zookeeper(切换到zk的bin目录下),先连接zk:
[root@server-1 bin]# ./zkCli.sh -server 192.168.1.21:2181
![复制代码](https://assets.cnblogs.com/images/copycode.gif)
[zk: 192.168.1.21:2181(CONNECTED) 2] ls / cluster controller controller_epoch brokers zookeeper admin isr_change_notification consumers latest_producer_id_block config [zk: 192.168.1.21:2181(CONNECTED) 2] ls /brokers [ids, topics, seqid] [zk: 192.168.1.21:2181(CONNECTED) 3] ls /brokers/ids [1, 2, 3] [zk: 192.168.1.21:2181(CONNECTED) 4]
![复制代码](https://assets.cnblogs.com/images/copycode.gif)
说明:zookeeper集群建好之后,通过“ls /”出来的只有zookeeper,连接kafka使用后,/ 下面多了不少东西,其中通过查看/brokers/ids可以
发现已经检查到了已经安装的三台kafka的broker.id[1,2,3]。
« 上一篇: centos7下zookeeper集群安装部署
» 下一篇: kafka命令行脚本使用 posted @ 2018-01-14 12:10 Adrian·Ding 阅读(16961) 评论(0) 编辑 收藏 举报 标签:bin,zk,zookeeper,server,centos7,集群,kafka,root From: https://www.cnblogs.com/manmanblogs/p/18294727