首页 > 其他分享 >Lambda架构与Kappa架构的特性对比

Lambda架构与Kappa架构的特性对比

时间:2024-07-09 22:30:31浏览次数:9  
标签:Kappa 处理 离线 数据处理 架构 Lambda

        一个大数据系统架构的设计思想很大程度上受到当时技术条件和思维模式的限制。Lambda架构将批处理层和速度层分为两层,分别进行离线数据处理和实时数据处理,这样设计的根本原因在于,Lambda提出的初期是在公司中进行小范围的业务运用,当时并没有思考有没有一个计算引擎能够在可接受的延迟条件下既进行离线数据处理又进行实时数据处理。在这样的前提下,将现有的成熟离线处理技术(Hadoop)和实时处理技术(Storm)相结合,用View模型将二者处理数据后得到的输出结果结合起来,在服务层(Serving Layer)中进行统一,开放给上层服务,是相当可行且高效的设计方式。

        Kappa架构作者对流处理系统有丰富的理论知识和使用经验,是Apache Kafka和Apache Samza等知名开源处理系统的作者之一。基于对流式计算深入的理解,Kappa架构在同一层次内进行实时处理和离线处理,在满足延迟要求的流式计算技术成熟的前提,比Lambda更优秀。表1从多个维度对Lambda架构和Kappa架构进行了对比分析。

表1 Lambda架构和Kappa架构对比
对比内容Lambda架构Kappa架构
复杂度与开发、维护成本需要维护两套系统(引擎),复杂度高,开发、维护成本高只需要维护一套系统(引擎),复杂度低,开发、维护成本低
计算开销需要一直运行批处理和实时计算,计算开销大必要时进行全量计算,计算开销相对较小
实时性满足实时性满足实时性
历史数据处理能力批式全量处理,吞吐量大,历史数据处理能力强流式全量处理,吞吐量相对较低,历史数据处理能力相对较弱

标签:Kappa,处理,离线,数据处理,架构,Lambda
From: https://blog.csdn.net/huaqianzkh/article/details/140280053

相关文章

  • 信创学习笔记(二),信创之CPU芯片架构思维导图
    创作不易只因热爱!!热衷分享,一起成长!“你的鼓励就是我努力付出的动力”各架构,操作系统,指令,代表生产商,服务器使用产品主要供应商......
  • 构建高可用性的淘客返利系统架构设计
    构建高可用性的淘客返利系统架构设计大家好,我是微赚淘客系统3.0的小编,也是冬天不穿秋裤,天冷也要风度的程序猿!今天和大家分享的是如何构建一个高可用性的淘客返利系统架构。一、系统架构设计概述构建一个高可用性的淘客返利系统,需要从系统架构的多个层面考虑,包括前端展示......
  • 简单的Java面向对象小游戏并使用三层架构(表示层、业务逻辑层、数据访问层)
    本人详解作者:王文峰,参加过CSDN2020年度博客之星,《Java王大师王天师》公众号:JAVA开发王大师,专注于天道酬勤的Java开发问题中国国学、传统文化和代码爱好者的程序人生,期待你的关注和支持!本人外号:神秘小峯山峯转载说明:务必注明来源(注明:作者:王文峰哦)简单的Java面......
  • mysql集群高可用架构MHA
    一、MHA概述1.为什么要用MHAMaster的单点故障问题2.什么是MHAMHA(MasterHighAvailability)是一套优秀的MySQL高可用环境下故障切换和主从复制的软件。MHA的出现就是解决MySQL单点的问题。MySQL故障切换过程中,MHA能做到0-30秒内自动完成故障切换操作。MHA能在故障切换的过程......
  • 系统架构设计师教程 第二章 计算机系统基础知识-2.3计算机软件
    系统架构设计师教程第二章计算机系统基础知识-2.3计算机软件2.3计算机软件2.3.1计算机软件概述2.3.2操作系统2.3.2.1操作系统的组成2.3.2.2操作系统的作用2.3.2.3操作系统的特征2.3.2.4操作系统的分类2.3.3数据库2.3.3.1关系数据库2.3.3......
  • 使用gitea搭建源码管理【0到1架构系列】
    使用开源搭建Git源码方案,gitlab和gitea是两个不错的方案,gitlab以前简单易用,现在功能复杂且对开源并不友好,gitea一直保持功能单一易用且完全开源,个人推荐gitea。通过容器安装比较简单易用,使用镜像加速器拉取或许更快些。dockerpullbitnami/giteagitea需要数据库储存,可以选择my......
  • 基于PowerPC架构的恩智浦处理器板卡
        一款基于基于PowerPC架构的恩智浦T2080的高性能板卡,是近期主攻研发的一款产品。适用于复杂的嵌入式控制和计算,提供强大的计算和IO扩展能力。此款主板有以下几个特点:1.基于PowerPC架构的T2080处理器,4核8线程最高主频1.8GHz2.DDR3内存,最大容量8GB,支持ECC3.NorFla......
  • 新架构下服务建模,关键在这6步!
        随着AUTOSAR、SOA、以太网通讯等新技术、新理念的成熟化,面向软件、硬件、网络、电气等多领域的电子电气系统经历了多代架构方法论的迭代。如何跟随新技术和新理念的浪潮,构建起新型的汽车电子电气架构平台,以实现新老技术的快速更替和融合,优化协同系统架构的搭建将成为主......
  • 【HTML学习】网站基础架构
    因为工作需要,我开始接触网站。用了二十多年的互联网,对于网页的基础架构并不了解,以至于只是一个半自动化的wordpress,很多内容都不会弄。最近学了HTML相关知识,总算有了些许了解。将内容分享出来,希望能够帮助到对网站结构和HTML一窍不通的读者朋友们。首先,先发一张我的网站首页......
  • 设计与优化淘客返利系统中的分布式缓存架构
    设计与优化淘客返利系统中的分布式缓存架构大家好,我是微赚淘客系统3.0的小编,也是冬天不穿秋裤,天冷也要风度的程序猿!在设计和优化淘客返利系统中的分布式缓存架构时,我们面临着诸多挑战和考虑因素。本文将探讨如何利用现代缓存技术和分布式系统原理,设计一个高效、可扩展的缓......