1、什么是事件流》实时数据,特点:实时,连续,顺序
1、应用场景:
1)处理实时付款和金融交易
2)车辆监控
3)传感器数据监控
4)订单数据的异步处理
5)医院的设备检测
6)不同部门数据交互
7)数据平台,事件驱动,微服务架构基础。
1、kafka三大功能:
1)发布订阅
2)消息持久化
3)实时流处理或回顾性处理
1、事件是kafka中的最小单位,事件应包括key,value,时间戳及元数据头。
1、生产者生产数据,消费者消费数据,二者毫无关联性。完全异步。
1、事件被持久化导topics。kafka的topic可以有多个生产者和多个消费者。
2、事件的读取不同于传统的消息系统,使用后不会被删除。
3、可以自定义topic的过期事件,性能不会因存储数据变多而受到影响。
1、topic分区,一个topic被分布到多个broker上。
2、当一个事件发布到topic,它会被追加到一个topic分区。相同的key总会被写到同一个分区。
3、数据读取时,kafka保证了读取顺序。
1、容错性和高可用:每个topic可以被复制。
2、副本数量默认为3。
kafka有五大核心api
1)管理类api:管理和查看topic,broker,和其他的。
2)生产者api
3)消费者api
4)streamApi:提供了处理事件流的高级函数;
5)connect api:用于数据导入或导出的系统集成,如集成数据库的实时修改。
使用案例:
1、相对于传统消息系统,kafka有更好的吞吐量,内置分区,副本策略,容错性,这使得它更适合大规模消息处理。
2、网站活动追踪。
3、监控数据收集
4、日志聚合
5、流式处理
7、事件源
8、提交日志
标签:topic,简介,实时,kafka,学习,api,事件,数据 From: https://www.cnblogs.com/dongzhensd/p/16936143.html