首页 > 其他分享 >别再混淆事件源(Event Sourcing)和消息流(Message Streaming)了!

别再混淆事件源(Event Sourcing)和消息流(Message Streaming)了!

时间:2024-01-23 10:24:35浏览次数:27  
标签:聚合 读取 Kafka Streaming Sourcing 消息 事件 Message 溯源

0 前言

Kafka 不适合事件溯源,Kafka适合消息流。这两种事物需要不同存储机制。

  1. 事件溯源(Event Sourcing),需DB充当事件日志,为事件溯源存储的事件必须以某种方式编写,以便将来的读取能够快速组装属于单个聚合的较小(更小的)事件流最初发射它们的。这需要随机访问索引

  2. 消息流(Message Streaming),需要的存储本质上是个记录消息元素的“flat file”。消息元素按序单独写,然后按序读。这需要一个从第一到最后一个的顺序索引

1 细分

除了聚合子流,事件源域模型的所有事件通常都按照聚合最初发出的时间顺序作为全序事件流。为此还需要一个顺序索引。因此,事件溯源数据库须支持两种类型的索引。

而Kafka不适合事件溯源数据库记录。记录消息的是topic。Kafka 是一个消息日志,可有很多topic。 Kafka 有一个索引,即全序消息流的序列号。

因此,将消息写入Kafka topic后,由于随机访问索引并不存在,无法随机读取消息。Kafka也根本不是为此而设计的。

使用 Kafka,如需读取最初由单个聚合实例发出的小(或较小)事件流,你将不得不从第一条消息扫描到最后一条,以确保你没错过读取单个聚合流中的所有事件。这将导致 O(N) 读取时间——随每个新消息的写入,读取速度变慢。你有 10 亿个总事件,需读取其中任意 5 个作为单个聚合事件流?"不可能发生"。

对那些认为自己可以超越物理学的顽固的人,还有如下关键点:

2 补充

“我知道,我知道!我将为每个聚合实例使用不同的topic!”如果 Kafka 的设计目的是在单broker下支持数百万、数十亿到数万亿个topic,那也没关系。但事实并非如此。

“我知道,我知道!我将使用 K-Table 维护每个聚合实例的快照,以便我快速读取它们!”重构聚合的状态必须优先于消耗所有事件的完全有序流。如果你尝试这样做,你的 K-Table 快照最终只会与真实的当前聚合状态一致 - 聚合无法可靠地读取它自己的状态。

虽然很常见,但事件溯源解决方案支持从日志中重新补充各个域对象并不是绝对必要的。如某些实现从单个流重建整个系统状态。这一切都取决于具体要求。

关注我,紧跟本系列专栏文章,咱们下篇再续!

作者简介:魔都国企技术专家兼架构,多家大厂后台研发和架构经验,负责复杂度极高业务系统的模块化、服务化、平台化研发工作。具有丰富带团队经验,深厚人才识别和培养的积累。

参考:

本文由博客一文多发平台 OpenWrite 发布!

标签:聚合,读取,Kafka,Streaming,Sourcing,消息,事件,Message,溯源
From: https://www.cnblogs.com/JavaEdge/p/17981741

相关文章

  • iMessage群发,iMessage群发软件(流程梳理篇)
    在数字时代,信息传递的速度与准确性显得尤为重要,iMessage作为Apple设备间的通讯工具,具有无可比拟的优势。对于企业或个人而言,开发一款iMessage群发软件具有巨大的商业价值,本文将详细梳理iMessage群发软件的开发流程,并分享一些相关的源代码片段。一、需求分析在开始开发之前,首先......
  • Applescript实现无痕检测手机号或邮箱号是否注册iMessage服务,iMessage蓝号检测完美实
    一、检测数据的两种方式:1.人工筛选,将要验证的号码输出到文件中,以逗号分隔。再将文件中的号码粘贴到iMessage客户端的地址栏,iMessage客户端会自动逐个检验该号码是否为iMessage账号,检验速度视网速而定。红色表示不是iMessage账号,蓝色表示iMessage账号。2.编写脚本控制Macos/ipho......
  • Spark Streaming工作原理
         说起SparkStreaming,玩大数据的没有不知道的,但对于小白来说还是有些生疏,所以本篇文章就来介绍一下SparkStreaming,以期让同行能更清楚地掌握SparkStreaming的原理。   一:什么是SparkStreaming   官方对于SparkStreaming的介绍是这样的(翻译过来的):Sp......
  • iMessage群发,iMessage群发软件(功能测试与代码调整篇)
    iMessage作为苹果公司的即时通讯工具,已成为许多人日常沟通的首选,而针对这一平台开发的iMessage群发软件,更是受到了广大用户的青睐,这类软件通过自动化操作,实现了批量发送信息的功能,大大提高了沟通效率。一、功能测试示例代码:1、发送速度测试importtimedeftest_send_speed()......
  • spark streaming简介
    SparkStreaming用于流式数据处理(准实时,微批次),SparkStreaming支持的数据源很多,例如:kafka、Flume、简单的TCP套接字等,数据输入后可以用Spark的高度抽象原语,如:map、join、reduce、window等进行运算,而结果也可以保存在很多地方,如:hdfs、数据库等。和Spark基于RDD的概念很相似,Spark......
  • SparkStreaming 连接 Kafka数据源
    本文的前提条件:SparkStreaminginJava参考地址:SparkStreaming+KafkaIntegrationGuide(Kafkabrokerversion0.10.0orhigher)1.添加POM依赖<dependency><groupId>com.fasterxml.jackson.core</groupId><artifactId>......
  • SparkStreaming 自定义数据采集器
    本文的前提条件:SparkStreaminginJava参考地址:SparkStreamingCustomReceivers1.自定义数据采集器packagecn.coreqi.receiver;importorg.apache.spark.storage.StorageLevel;importorg.apache.spark.streaming.receiver.Receiver;importjava.util.Random;/**......
  • SparkStreaming in Java
    参考地址:SparkStreamingProgrammingGuide1.新建Maven项目,POM引入依赖<dependency><groupId>org.apache.spark</groupId><artifactId>spark-streaming_2.13</artifactId><version>3.5.0</ve......
  • PostgreSQL 数据库日志收集功能开启一什么时候写-参数 log_min_messages 等其他参数设
    log_min_messages(enum)控制将哪些消息级别写入服务器日志。可以取值为:DEBUG5、DEBUG4、DEBUG3、DEBUG2、DEBUG1、INFO、NOTICE、WARNING、ERROR、LOG、FATAL、PANIC。每个关卡都包含了它之后的所有关卡。级别越高,发送到日志的消息就越少。默认值是WARNING。注意,这里的LOG......
  • Applescript成功实现imessage数据筛选,imessage蓝号检测,无痕检测手机号是否注册imess
    一、imessages数据检测的两种方式:1.人工筛选,将要验证的号码输出到文件中,以逗号分隔。再将文件中的号码粘贴到iMessage客户端的地址栏,iMessage客户端会自动逐个检验该号码是否为iMessage账号,检验速度视网速而定。红色表示不是iMessage账号,蓝色表示iMessage账号。2.编写苹果MacOs......