首页 > 系统相关 >Ubuntu 16.04 64位安装kafka

Ubuntu 16.04 64位安装kafka

时间:2022-12-28 11:46:36浏览次数:46  
标签:16.04 zookeeper kafka topic -- sh 64 localhost

在Ubuntu下安装完成kafka需要以下主要的2个步骤:

1. 安装jdk1.8以上版本。

2.安装zookeeper.

开始以上操作步骤:

3. 安装jdk. 先下载jdk,url: https://www.oracle.com/java/technologies/javase/javase8u211-later-archive-downloads.html

    解压后配置环境变量:

    vi ~/.profile 或者vi /etc/profile

   

   把以上信息中JAVA_HOME中的路径修改为实际的路径。

   执行:source ~/.profile

   测试java环境是否正常: java -version

  

 

 

  出现以上字样即表示配置jdk成功。

4. 下载安装zookeeper.

     4.1 官网地址:http://mirror.bit.edu.cn/apache/zookeeper/

    4.2  下载前确定下kafka和zoookeeper的版本关系

    4.3 解压压缩包,并移动到指定目录。

         解压并移动到指定目录:tar -zxvf apache-zookeeper-3.6.3-bin.tar.gz 

          配置zookeeper:

          进入zookeeper的安装目录conf目录下: cd conf

         复制一份取名为zoo.cfg:   cp zoo_sample.cfg zoo.cfg 

        修改zoo.cfg文件,其中最关键的配置是修改:dataDir和dataLogDir为你要设置的目录,前提是你自己先提前新建该这两个目录。

   4.4  启动zookeeper

         切换到bin目录下,执行启动zookeeper命令: ./zkServer.sh start

  4.5  防火墙配置

        最后防火墙里打开zookeeper的端口2181,否则服务一直会报连接不上zookeeper异常信息。

        查看防火墙状态:sudo ufw status

        

 

       如果是inactive状态,不活跃,表示防火墙没有开启。

      注:如果没有安装防火墙,可以使用命令安装:sudo sudo apt-get install ufw

      开启防火墙:sudo ufw enable

      关闭防火墙:sudo ufw disable

      重启防火墙:sudo ufw reload

      增加新端口:sudo ufw allow 2181

      查看端口信息:sudo netstat -tunlp|grep 2181

      关闭端口: sudo ufw delete allow 2181

5. 下载安装kafka

    5.1 官网下载地址:https://kafka.apache.org/downloads

        此时下载的kafka版本最好和zookeeper的版本适用,建议下载推荐版本。

        解压缩: tar -zxvf kafka_2.13-3.2.0.tgz

   5.2 配置kakfa

         进入kafka安装目录,config目录对server.properties文件进行编辑修改以下信息:

         log.dirs=你自己的/log
         zookeeper.connect=localhost:2181

        如果涉及到外网的访问配置,可以修改以下两个注释取消:

        listeners = PLAINTEXT://localhost:9092
        advertised.listeners=PLAINTEXT://localhost:9092

5.3  配置kafka运行环境

       vim /etc/profile

      #kafka运行环境

      export KAFKA_HOME=/mysoft/kafka

      export PATH=$PATH:$KAFKA_HOME/bin       执行: source /etc/profile 生效。   5.4  启动kafka       启动kafka之前,先启动zookeeper.
     启动kafka命令(和老版本有区别):bin/kafka-server-start.sh  config/server.properties      后台长驻启动命令:
     nohup ./bin/kafka-server-start.sh    config/server.properties &&>/dev/null 2>&1 &   5.5 验证      创建topic: bin/kafka-topics.sh --bootstrap-server localhost:9092 --create --topic quickstartTest   --partitions 1 --replication-factor 1\      如果可以创建成功,则kafka安装成功。 5.6 kafka常用命令       查看所有topic
      ./kafka-topics.sh --zookeeper  localhost:2181 --list      删除topic
     ./kafka-topics.sh --delete --zookeeper localhost:2181 --topic test_topic      查看某一分组消费情况
      ./kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group      所有分组消费情况
     ./kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --all-groups       查看某一topic的消费情况

     ./kafka-topics.sh --bootstrap-server localhost:9092 --describe --topic xxxx

     向topic中发送消息
    ./kafka-console-producer.sh --broker-list localhost:9092 --topic testTopic

   

        

        

 

 

 

 

          

 

标签:16.04,zookeeper,kafka,topic,--,sh,64,localhost
From: https://www.cnblogs.com/harbin1900/p/17009774.html

相关文章

  • 《DFZU2EG_4EV MPSoc之FPGA开发指南》第三十四章 双目OV5640摄像头RGB-LCD显示实验​
    双目OV5640摄像头RGB-LCD显示实验​双目摄像头是在一个模组上集成了两个摄像头,实现双通道图像采集的功能。双目摄像头一般应用于安防监控、立体视觉测距、三维重建等领域。......
  • Kafka相关
    定义传统定义:Kafka是一个分布式的基于发布/订阅模式的消息队列(MessageQueue),主要应用于大数据实时处理领域。最新定义:Kafka是一个开源的分布式事件流平台(EventStreaming......
  • 每日食词—day064
    relocationn.重定位、重新定位、再定位performancen. adj.性能、效能、效率providedconj. v.倘若、只要、假如提供、为……作充分准备releasev. n.发......
  • 跟光磊学Java-macOS版Java8开发环境搭建(基于ARM 64-bit)
    Java语言核心技术  日常办公和软件开发除了可以使用Windows系统以外,还可以使用macOS系统,至于具体使用什么系统取决于你入职公司之后公司给你发的什么电脑,如果是......
  • Apache Kafka 移除 ZK Proposals
    Zookeeper和KRaft这里有一篇Kafka功能改进的proposal原文。要了解移除ZK的原因,可以仔细看看该文章。以下是对该文章的翻译。动机目前,Kafka使用Zookeeper保存......
  • 客户端 连接 k8s-kafka 异常
     异常信息:java.net.UnknownHostException:kafka-0.kafka.flink-stat.svc.cluster.localatjava.net.InetAddress.getAllByName0(InetAddress.java:1287)~[?:1.8......
  • 《DFZU2EG_4EV MPSoc之FPGA开发指南》第三十三章 OV5640摄像头HDMI显示实验​
    OV5640摄像头HDMI显示实验​在OV5640摄像头RGB-LCD显示实验中,成功地在LCD屏上实时显示出了摄像头采集的图像。本章将使用FPGA开发板实现对OV5640的数字图像采集并在HDMI显示......
  • 密钥登陆报Permissions 0644
    登陆方式:修改配置文件/etc/ssh/sshd_config,将"PasswordAuthenticationyes"修改为"PasswordAuthenticationno"重启ssh服务生成密钥在服务器端输入命令:[root@local......
  • kafka的 groupid 与 auto.offset.reset
    前言:通常我们消费kafka数据的时候都会设置两个参数:Propertiesprops=newProperties();props.put("group.id",groupId);props.put("auto.offset.reset",autoOffse......
  • C# byte[]数据流/base64数据流转pdf文件
    pdf转byte[]再转pdf文件进行保存///<summary>///pdf转byte[]再转pdf文件进行保存///</summary>///<paramname="sender"></param......