首页 > 其他分享 >什么是实时流式计算?

什么是实时流式计算?

时间:2023-08-04 18:01:02浏览次数:40  
标签:批处理 实时 领域 流式 计算 数据

什么是实时流式计算?_数据

实时流式计算,也就是RealTime,Streaming,Analyse,在不同的领域有不同的定义,这里我们说的是大数据领域的实时流式计算。

实时流式计算,或者是实时计算,流式计算,在大数据领域都是差不多的概念。那么,到底什么是实时流式计算呢?

谷歌大神Tyler Akidau在《the-world-beyond-batch-streaming-101》一文中提到过实时流式计算的三个特征:

1、无限数据

2、无界数据处理

3、低延迟


无限数据指的是,一种不断增长的,基本上无限的数据集。这些通常被称为“流数据”,而与之相对的是有限的数据集。

无界数据处理,一种持续的数据处理模式,能够通过处理引擎重复的去处理上面的无限数据,是能够突破有限数据处理引擎的瓶颈的。

低延迟,延迟是多少并没有明确的定义。但我们都知道数据的价值将随着时间的流逝降低,时效性将是需要持续解决的问题。


现在大数据应用比较火爆的领域,比如推荐系统在实践之初受技术所限,可能要一分钟,一小时,甚至更久对用户进行推荐,这远远不能满足需要,我们需要更快的完成对数据的处理,而不是进行离线的批处理。

但是这种模型肯定会带来离线批处理所不存在的两个问题:正确性与时间。

而这也正是实时流式计算的关键点:

1、正确性        一旦正确性有了保证,可以匹敌批处理。

2、时间推导工具    而一旦提供了时间推导的工具,变完全超过了批处理。 


总结来说,我们得到的会是一条条的,随着时间流逝不断增长的数据,我们需要进行实时的数据分析,我们要解决大数据量,灾备,时序,时间窗口,性能等等问题。

而实时,流式其实是相对的概念,现在的很多技术更应该说是近实时,微批。但只要能不断的优化这些问题,实时流式的计算的价值就会越来越大。


由于大数据兴起之初,Hadoop并没有给出实时计算解决方案,随后Storm,SparkStreaming,Flink等实时计算框架应运而生,而Kafka,ES的兴起使得实时计算领域的技术越来越完善,而随着物联网,机器学习等技术的推广,实时流式计算将在这些领域得到充分的应用。

下面简单介绍目前常用的几种应用场景,未来将对Kafka,Storm,SparkStreaming,Flink等相关技术做具体介绍。


主要应用


1、日志分析

比如对网站的用户访问日志进行实时的分析,计算访问量,用户画像,留存率等等,实时的进行数据分析,帮助企业进行决策。





2、物联网

比如对电力系统进行实时的数据检测,进行报警,实时的显示,或者根据历史数据进行实时的分析,预测。

什么是实时流式计算?_流式计算_02



3、车联网

如今的车联网已经不限于物联网,还包括对用户,交通等等进行分析的一个庞大的系统,改善用户出行。

什么是实时流式计算?_数据_03


4、金融风控

通过对交易等金融行为实时分析,预测出未知风险。

什么是实时流式计算?_流式计算_04



还有很多应用的领域,而且未来会越来越多,在这个过程中具体的业务,以及与技术结合能产生什么样的价值,还需要不断的探索。



《the-world-beyond-batch-streaming-101》地址:

https://www.oreilly.com/ideas/the-world-beyond-batch-streaming-101


标签:批处理,实时,领域,流式,计算,数据
From: https://blog.51cto.com/u_14500431/6965871

相关文章

  • 时间复杂度如何计算?
    1.O(1)在这个案例中,println语句执行1次,return0语句执行1次,语句共执行2次。常数的时间复杂度为O(1)。intfunc1(){println("Hello,world");//执行1次return0;}2.O(n)在这个案例中,inti语句执行1次,i<n语句执行n+1次(最后1次是不符合判断),i++语句执行n次,println......
  • 类Hadoop的高效分布式计算系统Spark
    Spark是UCBerkeleyAMPlab所开源的类HadoopMapReduce的通用的并行计算框架,Spark基于mapreduce算法实现的分布式计算,拥有HadoopMapReduce所具有的优点;但不同于MapReduce的是Job中间输出和结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习......
  • asp.net core之实时应用
    本文将介绍ASP.NETCoreSignalR,这是一个强大的实时通信库,用于构建实时、双向通信应用程序。我们将探讨SignalR的基本概念、架构和工作原理,并提供一些示例代码来帮助读者更好地理解和使用SignalR。ASP.NETCoreSignalR提供了一种简单而强大的方式来构建实时通信应用程序。SignalR......
  • 国标GB28181视频平台LntonGBS(源码版)国标平台正确调阅实时录像接口的具体操作步骤
    LntonGBS之所以成为安防市场的主流视频平台,主要得益于其架构优势。首先,LntonGBS采用了云边端一体化的架构,将云计算、边缘计算和终端设备有机结合,实现了数据的高效传输和处理。这种架构不仅能够满足大规模视频数据的存储和分析需求,还能够实现实时监控和快速响应,提高了安防系统的整体......
  • 【Python】numpy_科学计算的基础库
    简介Numpy中的数组的存储效率和输入输出性能均优于Python中等价的基本数据结构Numpy是一个开源的Python的科学计算库,用于快速处理任意维度的数组。 Numpy支持常见的数组及矩阵的操作,对于同样的计算任务有着比Python更简洁的指令和更高效的算法。Numpy使用na......
  • MobPush iOS SDK iOS实时活动
    开发工具:Xcode功能需要:SwiftUI实现UI页面,iOS16.1以上系统使用功能使用:需应用为启动状态功能说明iOS16.1系统支持实时活动功能,可以在锁定屏幕上实时获知各种事情的进展,MobPushSDKiOS4.0.3版本已完成适配,可根据文档对应使用。集成步骤添加依赖库ActivityKit.fareworkSwiftUI......
  • 计算机专业软件开发英语口语学习 App All In One
    计算机专业软件开发英语口语学习AppAllInOne商务英语/工作英语demosEWA:轻松学习英语阅读,写作和口语(⚠️价格小贵,可以试用订阅;记得7天前提前取消订阅,不然¥830就没有了)提升语法&词汇量https://apps.apple.com/cn/app/ewa-轻松学习英语阅读-写作和口语/id......
  • 聊一聊计算机软件类项目的敏捷开发 Scrum
    引子在有些公司其实也会使用到敏捷管理,敏捷开发,也就是scrum,这个在一些外企使用比较多,国内公司比较少见,我曾经在外企呆过用的就是敏捷方式。那么在这里我们也对其进行了解一下即可,毕竟有时候面试的时候可能会问起你,你也不要一问三不知,知道一些理念概念就可以了。传统开发:从设计到编......
  • 实时美颜在直播应用中的技术突破:探索直播实时美颜SDK的实现
    目前,实时美颜技术在直播应用中变得尤为重要。下文小编将为大家分析下具体原因: 一、实时美颜技术的背后实时美颜技术是一种将美化效果应用于视频流的处理技术,其目的是使主播在直播过程中呈现更加美观的外观,包括皮肤光滑、磨皮、磨角等效果。传统的美颜处理通常依赖于离线处理,但在直......
  • 基于Aidlux平台实现手机摄像头实时Canny检测
    第一步:通过Github查找作者TommyZihao,在其aidlux_tutorial工程下找到“用手机摄像头玩转OpenCV”这个项目,并以压缩包的形式下载下来。 第二步:从手机端登录Aidlux,根据Cloud_ip,获取IP地址,在电脑端进行输入,远程登录Aidlux桌面。默认密码:aidlux 第三步: 远程传输代码文件......