首页 > 其他分享 >Lambda 架构 vs Kappa 架构区别

Lambda 架构 vs Kappa 架构区别

时间:2024-10-23 10:47:28浏览次数:3  
标签:Kappa 批处理 实时 架构 vs 消息传递 Lambda

a08e1dd969d4422fba6b3c51506b03c1.png

酒店lambda架构

ae65fb31b6cb4b4a97138f4bea4a960c.png

、kappa架构

7ef5fb8286b342c38908329d24f8153a.png

ce1260abced04eafb9bd6393a7ac07b8.png 

28122ce321d24801998c2571119de9ee.png 

Lambda 架构面临的挑战是,您需要为实时层和批处理层复制预处理和其他常见工作,因此建议对这两种提取使用相同的服务,例如 Spark,它有助于完成这两种操作。

Kappa 架构的引入是为了采用统一的方法来应对这一挑战,并且只有一个流层,使用 Apache Kafka 等服务来处理所有操作。首先,实时数据存储在消息传递引擎中,并且可以存储在分析数据库中以便批量检索,或者根据查询类型通过服务层提供与消息传递引擎的实时交互。
 

 

687c88d7178a4beab70e5cd0a0bedf37.png

Lambda架构和Kappa架构的区别可以通过下表进行对比说明

eae2cc9e9710474ba71b5b0606153a19.png

9609dd301744408a90a8ea9a8ec03d30.png

总结来说:

Lambda架构通过批处理层和速度层的组合,兼顾了低延迟和复杂分析,但系统较复杂,存在数据冗余和延迟不一致问题。

Kappa架构只通过流式系统实现所有处理,简化了架构,但历史数据分析相对复杂,需要流式系统保证精确一次语义。

两者都有各自的优缺点,需要根据具体场景进行技术选型和设计权衡。

 

 

 

标签:Kappa,批处理,实时,架构,vs,消息传递,Lambda
From: https://blog.csdn.net/sadfasdfsafadsa/article/details/143091248

相关文章

  • 【ARM】ARM架构参考手册_Part B 内存和系统架构(5)
    目录5.1关于缓存和写缓冲区5.2Cache组织5.2.1集联性(Set-associativity)5.2.2缓存大小5.3缓存类型5.3.1统一缓存或分离缓存5.3.2写通过(Write-through)或写回(Write-back)缓存5.3.3读分配(Read-allocate)或写分配(Write-allocate)缓存5.3.4替换策略5.4可缓存性和可缓......
  • 《使用Gin框架构建分布式应用》阅读笔记:p108-p126
    《用Gin框架构建分布式应用》学习第8天,p108-p126总结,总计18页。一、技术总结1.Redisevictionpolicy(1)什么是evictionpolicy?Theevictionpolicydetermineswhathappenswhenadatabasereachesitsmemorylimit.(2)配置示例在redis.conf中配置。maxmemory-policy......
  • 来了解一下 Island Architecture 孤岛架构
    原文标题:IslandArchitecture原文:IslandArchitecture|MainaWycliffeBlog作者:MainaWycliffe建立一个网站有不同的方法,其中之一便是多页应用程序(MPA),它大约在十年前就过时了,现在又重新流行起来。MPA已经被Angular和React以及其他现代框架所普及的单页应用(SPA)方......
  • vscode+phpstudy+xdebug无法断点(踩坑记)
    参考文档:https://zhuanlan.zhihu.com/p/113171737安装vscode、下载phpstudy最新版这2步都不说了,网上大把教程。本文主要把phpstudy的一个坑点记录一下配置网站配置伪静态location/{if(!-e$request_filename){rewrite^(.*)$/index.php?s=$1las......
  • Jetpack架构组件_LiveData组件
    1.LiveData初识LiveData:ViewModel管理要展示的数据(VM层类似于原MVP中的P层),处理业务逻辑,比如调用服务器的登陆接口业务。通过LiveData观察者模式,只要数据的值发生了改变,就会自动通知VIEW层,View层会设置观察者来监听数据的改变。MVP:P调用M层去获取数据,P回调View层实现的接口,......
  • Windows server 2019 安装vscode
    以下是在WindowsServer2019上安装VisualStudioCode(VSCode)的步骤:一、下载VSCode安装程序打开浏览器,访问VisualStudioCode官方网站(VisualStudioCode-CodeEditing.Redefined)。在官网首页,找到“DownloadforWindows”按钮并点击,下载适合Windows系统的......
  • 双碳目标下储能产业新趋势与架构
    0.引言储能技术涉及能量的存储和利用,对电力系统平衡至关重要。它允许电力在需求时被储存和释放,对电力生产和消费方式产生重大影响。随着全球应对气候变化,风能和太阳能成为主要能源,但其不稳定性需要储能技术来提高可靠性。储能技术不仅对可再生能源并网至关重要,也是分布式能源......
  • 应对复杂架构下的监控挑战?统一运维可观测能力是关键!
    在全球数字化变革背景下,企业需适应数字经济与市场变化,进行系统性数字化转型。在“十四五”规划指导下,企业纷纷探求数字化应用之路,大数据、云计算、人工智能、区块链等技术成了热门话题,其中云运维备受瞩目。企业在数字化转型中难免会碰到云上系统规划、运维体系建设、云上安全等挑......
  • 【架构与设计】常见微服务分层架构的区别和落地实践
    作者:京东科技康志兴前言从强调内外隔离的六边形架构,逐渐发展衍生出的层层递进、注重领域模型的洋葱架构,再到和DDD完美契合的整洁架构。架构风格的不断演进,其实就是为了适应软件需求越来越复杂的特点。可以看到,越现代的架构风格越倾向于清晰的职责定位,且让领域模型成为架构的......
  • Linux使用nc(netcat)命令检测网络端口是否畅通以及Linux查看CPU架构命令arch及CentOS
    一、Linux使用nc(netcat)命令检测网络端口是否畅通    nc命令netcat的简写,netcat即是网络猫的意思,在linux系统中nc命令实际执行命令是ncat。nc命令是一个功能强大的网络工具。平常主要用于实现TCP/UDP端口的侦听和收发,nc可作为server以TCP或UDP方式侦听指定端口,也可作为cl......