首页 > 其他分享 >kafka第一天学习笔记

kafka第一天学习笔记

时间:2023-11-07 16:36:58浏览次数:36  
标签:第一天 主题 笔记 Kafka API 消息 kafka 数据 实时

以下是Kafka第一天的学习笔记:

  1. Kafka是什么?

Apache Kafka是一个开源的分布式流处理平台,用于构建实时数据管道和流应用程序。它提供了高吞吐量、可扩展、可靠的消息传递,可以处理来自多个源的大量数据。

  1. Kafka的核心组件

Kafka有四个核心组件:生产者(Producer)、代理(Broker)、消费者(Consumer)和主题(Topic)。

生产者负责向Kafka发送消息,代理负责存储和管理消息,消费者负责从Kafka接收消息,主题是消息的分类。

  1. Kafka的基本操作

创建主题:通过Kafka的命令行或API创建主题。
发布消息:使用生产者API向Kafka主题发布消息。
订阅消息:使用消费者API从Kafka主题订阅消息。
删除消息:使用Kafka的命令行或API删除消息。

  1. Kafka的消息格式

Kafka的消息格式由三部分组成:键(Key)、值(Value)和时间戳(Timestamp)。

键是可选的,用于标识消息的唯一性。值是消息的内容,可以是任何数据类型。时间戳是消息的创建时间,用于排序和时间戳过滤。

  1. Kafka的特性

高吞吐量:Kafka能够处理大量的数据,达到每秒数百万条消息。
可扩展性:Kafka可以水平扩展,通过添加更多的代理来处理更多的数据。
可靠性:Kafka使用分布式文件系统来存储消息,确保数据的持久性和可靠性。
实时性:Kafka支持实时数据处理,可以用于实时流应用程序。

标签:第一天,主题,笔记,Kafka,API,消息,kafka,数据,实时
From: https://blog.51cto.com/u_12830878/8236080

相关文章

  • 《Unix/Linux系统编程》教材学习笔记第六章
    chapter6信号和中断“中断”是从I/O设备或协处理器发送到CPU的外部请求,它将CPU从正常执行转移到中断处理。与发送给CPU的中断请求一样,“信号”是发送给进程的请求,将进程从正常执行转移到中断处理。在讨论信号和信号处理之前,先来回顾中断的概念和机制,这有助于正确看待信号。(1)首......
  • python虚拟环境的使用笔记
    方法一:在后台手动安装1、输入命令:pip3installvirtualenv2、指定目录:cd....;然后输入:virtualenvenv_django(创建虚拟环境) 3、激活该虚拟环境:      windows进到目录里,的Script文件夹输入:activate       linux:soruseenv1/Script/activate ......
  • python初学者学习笔记-第五章-函数
    chapter5/函数5.1函数基础5.1.1函数形式函数是可实现一个或多个功能的代码块;函数的特点:重用性、模块化;Python的内置函数,如print()、len()、min()、max()等;同时,我们也可以自定义函数;5.1.2函数调用参数是函数重要组成部分,python的参数灵活多样;参数类型:默认参数,关键字......
  • ReentrantLock源码笔记 - 获取锁(JDK 1.8)
    ReentrantLock学习-获取锁(JDK1.8)ReentrantLock提供非公平锁与公平锁两种加锁方式,默认加锁方式为非公平锁。ReentrantLock类的结构为:从图中可以看出,ReentrantLock类包含三个静态内部类:SyncNonfairSyncFairSync其中Sync类继承AbstractQueuedSynchronize(AQS),Nonf......
  • ReentrantLock源码笔记 - 释放锁(JDK 1.8)
    ReentrantLock源码学习-释放锁(unlock)上次谈到了利用ReentrantLock的非公平和公平加锁方式,那么接下来看看释放锁的流程首先调用ReentrantLock的unlock方法publicvoidunlock(){sync.release(1);}然后会调用AbstractQueuedSynchronizer(AQS)的release方法,在这个方法......
  • python初学者学习笔记-第四章-条件和循环
    chapter4/条件和循环4.1条件4.1.1基本形式条件语句是通过一条或多条语句的执行结果(True或者False)来决定执行的子程序;每个条件后面要使用冒号”:”,表示满足条件后执行子程序。缩进来划分子程序范围,相同缩进的语句组成一个整体子程序。如果“condition”为True,将执行"sub_p......
  • python初学者学习笔记-第三章-数据结构
    chapter3/数据结构3.1列表(List)序列是Python中最基本的数据结构,最常见的序列是列表和元组。序列中的每个元素都分配一个索引,第一个索引是0,第二个索引是1,依此类推。序列都可以进行如下操作,包括:索引,切片,加,乘,查询。Python中可以通过组合一些值得到多种复合数据类型。其中最常......
  • python初学者学习笔记-第二章-变量和数据类型
    chapter2/变量和数据类型2.1Python语法简介Python的语法主要有三个特点:英文输入,单行执行,缩进模式。如上图的代码,以“#”开头的语句是注释;一行是一块代码;以冒号“:”结尾时,换行执行缩进模式,其后的语句组成一个整体的代码块。大小写敏感的。2.2print()print()函数———打......
  • 【论文阅读笔记】【OCR-文本检测】 Few Could Be Better Than All: Feature Sampling
    CVPR2022读论文思考的问题论文试图解决什么问题?一些基于DETR的方法在ICDAR15,MLT17等文字尺度变化范围较大的数据集上文本检测的效果不佳DETR运用的高层特征图难以捕捉小文字的特征,且会引入很多无关的背景噪声,增加了检测的困难程度即使使用DETR的改进模型......
  • 秦疆的Java课程笔记:17-20 入门 下
    17入门Java开发环境搭建JDK下载与安装(略)由于秦疆老师的网络视频教程录制于2019年,演示的JDK版本为1.8(也就是JDK8),而现在Oracle官网只提供JDK17与JDK21的下载,故本小节笔记不予记录。我实际安装的是最新的JDK21,具体安装方法与环境配置见另一篇博客:点击跳转JDK21安装及环境......