首页 > 其他分享 >kafka学习(一)简介

kafka学习(一)简介

时间:2022-12-08 23:33:59浏览次数:41  
标签:topic 简介 实时 kafka 学习 api 事件 数据

 1、什么是事件流》实时数据,特点:实时,连续,顺序

 1、应用场景:

  1)处理实时付款和金融交易

  2)车辆监控

  3)传感器数据监控

  4)订单数据的异步处理

  5)医院的设备检测

  6)不同部门数据交互

  7)数据平台,事件驱动,微服务架构基础。

 1、kafka三大功能:

  1)发布订阅

  2)消息持久化

  3)实时流处理或回顾性处理

 1、事件是kafka中的最小单位,事件应包括key,value,时间戳及元数据头。

 1、生产者生产数据,消费者消费数据,二者毫无关联性。完全异步。

 

 1、事件被持久化导topics。kafka的topic可以有多个生产者和多个消费者。

 2、事件的读取不同于传统的消息系统,使用后不会被删除。

 3、可以自定义topic的过期事件,性能不会因存储数据变多而受到影响。

 1、topic分区,一个topic被分布到多个broker上。

 2、当一个事件发布到topic,它会被追加到一个topic分区。相同的key总会被写到同一个分区。

 3、数据读取时,kafka保证了读取顺序。

 1、容错性和高可用:每个topic可以被复制。

 2、副本数量默认为3。

 kafka有五大核心api

  1)管理类api:管理和查看topic,broker,和其他的。

  2)生产者api

  3)消费者api

  4)streamApi:提供了处理事件流的高级函数;

  5)connect api:用于数据导入或导出的系统集成,如集成数据库的实时修改。

使用案例:

 1、相对于传统消息系统,kafka有更好的吞吐量,内置分区,副本策略,容错性,这使得它更适合大规模消息处理。

 2、网站活动追踪。

 3、监控数据收集

 4、日志聚合

 

 

 5、流式处理

 

 7、事件源

 

 8、提交日志

标签:topic,简介,实时,kafka,学习,api,事件,数据
From: https://www.cnblogs.com/dongzhensd/p/16936143.html

相关文章