酒店lambda架构
、kappa架构
Lambda 架构面临的挑战是,您需要为实时层和批处理层复制预处理和其他常见工作,因此建议对这两种提取使用相同的服务,例如 Spark,它有助于完成这两种操作。
Kappa 架构的引入是为了采用统一的方法来应对这一挑战,并且只有一个流层,使用 Apache Kafka 等服务来处理所有操作。首先,实时数据存储在消息传递引擎中,并且可以存储在分析数据库中以便批量检索,或者根据查询类型通过服务层提供与消息传递引擎的实时交互。
Lambda架构和Kappa架构的区别可以通过下表进行对比说明
总结来说:
Lambda架构通过批处理层和速度层的组合,兼顾了低延迟和复杂分析,但系统较复杂,存在数据冗余和延迟不一致问题。
Kappa架构只通过流式系统实现所有处理,简化了架构,但历史数据分析相对复杂,需要流式系统保证精确一次语义。
两者都有各自的优缺点,需要根据具体场景进行技术选型和设计权衡。
标签:Kappa,批处理,实时,架构,vs,消息传递,Lambda From: https://blog.csdn.net/sadfasdfsafadsa/article/details/143091248