首页 > 其他分享 >Kafka概述

Kafka概述

时间:2022-09-21 22:22:59浏览次数:53  
标签:馒头 Broker Kafka 数据流 概述 篮子 节点

1、Kafka概述:和消息系统类似

(1)特性:   

  1)发布和订阅
  2)实时处理数据流
  3)分布式存储

(2)功能:

  构建实时数据管道和实时数据流处理,横向扩展(通过增加机器的方式增加容量),能够在生产中稳定的运行。

(3)消息中间件:

生产者和消费者

  1)例如:

  妈妈:生产者
  孩子:消费者
  馒头:数据流、消息  

 

  2)正常情况下:

    生产一个,消费一个   

  3)其他情况:

    (1)一直生产,你吃到某一个馒头时,你噎住不能继续吃了(机器故障),后来做的馒头就丢失 了
    (2)一直生产,做馒头速度快,你吃来不及,馒头也就丢失了
 

   4)机器故障解决办法:

    拿个篮子,馒头做好以后先放到篮子里,你要吃的时候从篮子中取出来吃
  

   5)篮子:kafka

 

  6)当容器满了,馒头就装不下了,怎么办?

    多准备几个容器==Kafak的扩容


2、Kafka架构

producer:生产者,就是生产馒头(老妈)
consumer:消费者,就是吃馒头的(你)
broker:篮子
topic:主题,给馒头带一个标签,topica的馒头是给你吃的,topicb的馒头是给你弟弟吃的。


3、kafka部署及使用

1)单节点单Broker部署及使用
2)单节点多Broker部署及使用
3)多节点多Broker部署及使用


4、安装、配置好zookeeper

标签:馒头,Broker,Kafka,数据流,概述,篮子,节点
From: https://www.cnblogs.com/Lizhichengweidashen/p/16717375.html

相关文章

  • 【转】Windows安装运行Kafka
    在Windows安装运行Kafka原文地址:https://www.cnblogs.com/flower1990/p/7466882.html一、安装JAVAJDK1、下载安装包http://www.oracle.com/technetwork/java/javase......
  • springboot+Flink(读取kafka并存入Mysql)20220921
    1、mysql数据库test 2、kafka创建主题student  3、pom.xml<properties><java.version>1.8</java.version><project.build.sourceEncod......
  • 如何确保kafka topic已经删除
    问题描述TopicExistsException:Topic'xxx'ismarkedfordeletion.在写kafka工具时,有两个方法:批量创建topic和批量删除topic。运维操作一般是,批量删除一堆topic,然......
  • NR系统概述-架构与演进
    大家好,从今天开始我会把NR相关的知识以博文的方式放上来。可能速度会比较慢,时间也会拉得很长,因为内容比较多,我还在整理中,而且很多内容关联性很强,我得考虑介绍的先后顺序。......
  • 5种kafka消费端性能优化方法
    摘要:带你了解基于FusionInsightHD&MRS的5种kafka消费端性能优化方法。本文分享自华为云社区《FusionInsightHD&MRSkafka消费端性能优化方法》,作者:穿夹克的坏猴子。kaf......
  • Kafka开启SASL认证 【windowe详细版】
    一、JAAS配置Zookeeper配置JAASzookeeper环境下新增一个配置文件,如zk_server_jass.conf,内容如下:Server{ org.apache.kafka.common.security.plain.PlainLoginModule......
  • Flink-状态一致性(如何保证exactly-once、flink+kafka端到端保证exactly-once)
    当在分布式系统中引入状态时,自然也引入了一致性问题。一致性实际上是"正确性级别"的另一种说法,也就是说在成功处理故障并恢复之后得到的结果,与没有发生任何故障时得到的结......
  • Kafka本地单实例安装
    下载安装从国内镜像站点下载并安装Kafka安装包,以下载并安装v3.2.3版本为例。$tar-xzfkafka_2.12-3.2.3.tgz$cdkafka_2.12-3.2.3启动服务如下命令均在Kafka安装......
  • JasperReport-PDF报表打印概述
    3PDF报表打印概述3.1概述在企业级应用开发中,报表生成、报表打印下载是其重要的一个环节。在之前的课程中我们已经学习了报表中比较重要的一种:Excel报表。其实除了Excel......
  • 大数据面试每日一题-Kafka为什么这么快?
    Kafka为什么这么快?1.kafka是基于partition 分区技术实现的,分布式提高Kafka的并发量2.KafKa的稀疏索引机制,kafka每4kb插入一个索引,索引在查询时候,可以比较高的效率查到到......