首页 > 其他分享 >Kafka简单介绍和安装

Kafka简单介绍和安装

时间:2023-02-26 23:23:04浏览次数:46  
标签:启动 队列 路径 server kafka 简单 Kafka 安装

1.什么是Kafka

Kafka传统定义:Kafka是一个分布式的基于发布/订阅模式的消息队列(Message Queue),主要应用于大数据实时处理领域。

**Kafka最新定义 **: Kafka是 一个开源的分布式事件流平台 (Event Streaming Platform),被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用。

目 前企业中比较常见的消息队列产品 要有Kafka、ActiveMQ 、RabbitMQ 、 RocketMQ 等。 在大数据场景主要采用 Kafka作为消息队列。在 JavaEE 开发中主要采用 ActiveMQ、RabbitMQ、RocketMQ。

传统的消息队列的主要应用场景包括:缓存/消峰解耦异步通信

2.KafKa安装

在官网下载Kafka,地址:https://kafka.apache.org/downloads

将安装包上传到服务器中,我习惯于将软件安装到/usr/local/目录中,将kafka压缩包上传至目录中,进行解压:

tar -zxvf kafka_2.12-3.0.0.tgz
#重命名
mv kafka_2.12-3.0.0 kafka

进入kafka目录查看

bin:主要是kafka的可执行文件,一些常用脚本,比如启动,关闭
config:主要存放配置文件
datas:我们自己新建的目录,主要用于存放kafka数据
libs:kafka依赖的一些文件
logs:日志

进入配置文件目录

上面三个配置文件是我们关注的重点,我们先进入server.properties查看,进行第一次启动准备

第一次主要进行几个配置的设置:
broker.id #broker 的全局唯一编号,不能重复,只能是数字
log.dirs=/usr/local/kafka/datas 运行日志(数据)存放的路径,路径不需要提前创建,kafka 自动帮你创建,可以
配置多个磁盘路径,路径与路径之间可以用","分隔
zookeeper.connect#配置连接 Zookeeper 集群地址

启动:./bin/kafka-server-start.sh -daemon ./config/server.properties,使用jps查看

注意:启动之前,一定要先启动Zookeeper集群

标签:启动,队列,路径,server,kafka,简单,Kafka,安装
From: https://www.cnblogs.com/wyzstudy/p/17158208.html

相关文章

  • ArcGIS Pro中动态聚合,这么简单!
    之前将点进行聚合,在ArcGISPro中是静态的,而且还要先统计,再制图。现在一步就可以啦~以地震点为例,原始数据如下:​操作方法如下,选择要素图层,聚类。​结果如下:放大后结果如下:......
  • 简单用Python画各种图分析数据
                                  以上这些只是作为初学者运用绘图功能来对数据进行分析,过程中有遇到一......
  • Kafka 消费组
    消费者与消费组与生产者对应的是消费者,应用程序可以通过KafkaConsumer来订阅主题,并从订阅的主题中拉取消息。不过在使用KafkaConsumer消费消息之前需要先了解消费者和......
  • 【奶奶看了也不会】AI绘画 Mac安装stable-diffusion-webui绘制AI妹子保姆级教程
    1.作品图2.准备工作目前网上能搜到的stable-diffusion-webui的安装教程都是Window和MacM1芯片的,而对于因特尔芯片的文章少之又少,这就导致我们还在用老Intel芯片的Mac......
  • 安装Kubernetes
    2、安装Kubernetes1、系统初始化初始化关闭防火墙:systemctlstopfirewalldsystemctldisablefirewalld关闭selinux:sed-i's/enforcing/disabled/'/etc/s......
  • 今天整理一下Android studio安装时遇到的问题-心血来潮
    1:每日总结-23.2.21-lao_bing-博客园(cnblogs.com)2:Androidstudio安装教程_一纸梦的博客-CSDN博客_androidstudio3:AndroidStudio中创建项目时,activity_main.xml不......
  • CAD安装失败,如何才能删除(卸载)CAD?三步完美卸载CAD软件
    CAD安装失败,怎么样才能彻底删除CAD各种残留注册表?有时候我们想将CAD重新安装,但却显示CAD已经安装,但又不见CAD软件程序文件,然后我们就会产生这样的疑问:CAD无法重新安装是怎......
  • linux编译安装3.7.12
    基本环境安装yum-yinstallzlib-develbzip2-developenssl-develncurses-develsqlite-develreadline-develtk-develgccmake1.下载到本地并解压wgethttps:/......
  • 【Redis】SDS 简单动态字符串
    Redis没有直接复用C语言的字符串,而是新建了SDS,作为String类型的一种存储结构。在Redis数据库里,包含字符串值的键值对都是由SDS实现的(Redis中所有的键都是由字符串对象实现的......
  • 数据驱动ddt安装3种方式_unittest_Python
    命令行安装  pipinstallddt-i 管理员运行命令提示符  pycharm设置里安装pycharmPythonPackages里安装......