首页 > 其他分享 >大数据的计算模式

大数据的计算模式

时间:2024-10-23 13:19:52浏览次数:3  
标签:实时性 存储 批量 流式 模式 计算 数据

大数据的计算模式可以分为批量计算(batch computing)和流式计算(stream computing)
两种形态。批量计算首先进行数据的存储,然后对存储的静态数据进行集中计算。Hadoop 是典型的大数据批量计算架构,由HDFS 分布式文件系统负责静态数据的存储,并通过MapReduce 将计算逻辑分配到各数据节点进行数据计算和价值发现。


在流式计算中,无法确定数据的到来时刻和到来顺序,也无法将全部数据存储起来。因此,不再进行流式数据的存储,而是当流动的数据到来后,在内存中直接进行数据的实时计算。例如Twitter 的Storm、Yahoo 的S4 就是典型的流式数据计算架构,数据在任务拓扑中被计算,并输出有价值的信息。

流式计算和批量计算分别适用于不同的大数据应用场景。对于先存储后计算,实时性要求不高,同时数据的准确性、全面性更为重要的应用场景,批量计算模式更合适;对于无须先存储,可以直接进行数据计算,实时性要求很严格,但数据的精确度要求稍微宽松的应用场景,流式计算具有明显优势。流式计算中,数据往往是最近一个时间窗口内的,因此数据延迟往往较短,实时性较强,但数据的精确程度往往较低。流式计算和批量计算具有明显的优劣互补特征,在多种应用场合下可以将两者结合起来使用。通过发挥流式计算的实时性优势和批量计算的精度优势,满足多种应用场景在不同阶段的数据计算要求。
目前,关于大数据批量计算相关技术的研究相对成熟,形成了以谷歌的MapReduce 编程模型、开源的Hadoop 计算系统为代表的高效、稳定的批量计算系统,在理论上和实践中均取得了显著成果。现有的大数据流式计算系统实例有Storm 系统、Kafka 系统、Spark 系统等。
 

标签:实时性,存储,批量,流式,模式,计算,数据
From: https://blog.csdn.net/workflower/article/details/143162668

相关文章

  • 大数据的误区
    大数据的误区大数据有不少的误区。我们先看看大数据不是什么。(1)大数据≠拥有数据很多人觉得拥有数据,特别是拥有大量的数据,就是大数据了,这肯定是不对的,数据量大不是大数据,比如气象数据很大,如果仅仅用于气象预测,只要计算能力跟上就行,还远远没有发挥它的价值。但是保险公司根据......
  • 计算机视觉库supervision学习-day(1)-图像检测和标记
    supervision库是一款由roboflow开发的计算机视觉库提供了一系列方便的工具和功能,用于可视化和处理各种计算机视觉任务。它的目标是简化深度学习模型的可视化和后处理步骤,尤其适用于对象检测、图像分割、关键点检测等任务。一、下载supervision库1.在3.8版本及以上的python,使用pi......
  • 一文彻底搞定Redis与MySQL的数据同步
    Redis和MySQL一致性问题是企业级应用中常见的挑战之一,特别是在高并发、高可用的场景下。由于Redis是内存型数据库,具备极高的读写速度,而MySQL作为持久化数据库,通常用于数据的可靠存储,如何保证两者数据的一致性需要具体业务场景的设计与优化。下面我们将结合几个典型的业务......
  • 就是这个样的粗爆,手搓一个计算器:排卵计算器
        作为程序员,没有合适的工具,就得手搓一个,PC端,移动端均可适用。废话不多说,直接上代码。HTML:<divclass="container"><divclass="calculator"><labelfor="last-period">上次月经开始日期:</label><inputid="last-period"type="d......
  • 修改chrome用户数据的路径
    ​1.打开chrome,地址栏输入:chrome://version,查看用户数据文件路径   2.运行CMD,删除原用户数据文件夹C:\Users\Administrator>rmdir/s "C:\Users\Administrator\AppData\Local\Google\Chrome\UserData\Default"C:\Users\Administrator\AppData\Local\Google\Chrom......
  • SqlServer查询数据改动历史记录
    原文链接:https://blog.csdn.net/qq_40763549/article/details/122229169selecttop1000[QS].[creation_time],substring([ST].[text],([QS].[statement_start_offset]/2)+1,(......
  • springboot优质鸭梨的培育管理系统-计算机毕业设计源码92834
    目录摘要1绪论1.1选题背景与意义1.2国内外研究现状1.3论文结构与章节安排2系统分析2.1可行性分析2.2系统流程分析2.2.1数据流程2.2.2业务流程2.3 系统功能分析2.3.1功能性分析2.3.2非功能性分析2.4 系统用例分析2.5本章小结3 系统......
  • 2024.7:HOOPS Exchange SDK Crack-CAD 数据转换
    领先的CAD导入和导出库使用HOOPSExchangeSDK进行CAD数据转换,将30多种CAD文件格式导入您的应用程序,通过单一API即可快速准确地读取和写入2D和3DCAD文件格式,包括CATIA®、SOLIDWORKS®、Inventor™、Revit™、Creo®、NX™、SolidEdge®等。快速准确的C......
  • springboot献血管理平台-计算机毕业设计源码94158
    摘 要随着社会的快速发展和医疗技术的不断进步,献血作为一种重要的公益行为,对于保障医疗用血的需求和挽救生命具有不可替代的作用。然而,传统的献血管理方式往往存在着效率低下、信息不透明、数据难以统计等问题。为了解决这些问题,提高献血管理的效率和质量,基于Java编程语言,设......
  • springboot二手汽车交易平台-计算机毕业设计源码82053
    目录1绪论1.1研究背景1.2研究意义1.3国内外研究现状2 二手汽车交易平台系统分析2.1可行性分析2.2系统流程分析2.3 功能需求分析2.4性能需求分析3二手汽车交易平台概要设计3.1 系统体系结构设计3.2总体功设计3.3子模块设计设计3.4数据库......