• 2024-10-16Apache Storm实时流处理的核心技术
    1.引言ApacheStorm是一个开源的、分布式的实时计算系统,专为处理流式数据而设计。它能够处理大量数据流并在极低的延迟下提供实时的结果。相比于传统的批处理系统,Storm具有处理无限数据流的能力,支持非常高的可扩展性和容错机制。Storm可以适用于多种编程语言,具有高度的
  • 2024-05-21storm分布式实时计算二
    storm并发控制storm计算支持在多台机器上水平扩容,通过将计算切分未多个多里的task再集群上并发执行来实现。在storm中,一个task可以简单的理解为在集群某个节点上运行的一个spout或者bolt实例。Node:storm集群下的多个服务器。workers:一个node下的多个JVM(worker),一个topology会分
  • 2024-05-21storm分布式实时计算一
    核心概念topology拓扑组成storm分布式计算结构称为topology拓扑,由stream(数据流)、spout(数据流生成者)、bolt(运算)组成。tuplestorm的核心数据结构是tuple,tuple中包含了一个或者多个键值对的列表。Stream由无限制的tuple组成的序列。spoutspout代表数据入口,充当采集器的角色,链
  • 2023-06-05Box/Spout 循环导出
    <?php$tmpFile=tmpfile();#创建临时文件$meta=stream_get_meta_data($tmpFile);$writer=ExcelWriter::newWriter($meta['uri']);#等于最下方类$writer->addHeader(['unionid','真实姓名','手机号'],11);//
  • 2023-05-29laravel box/spout 处理excel大数据
    1、简介laravel导入导出常规使用maatwebsite/excel,在处理大数据时效率低、占用过多内存。而box/spout效率高、占用内存少,更适合处理大数据的导入导出。2、安装composerrequirebox/spout"box/spout":"^3.1"3、封装<?phpnamespaceApp\Services\Common;useBox\Spo
  • 2023-03-15Storm原理简介
    ApacheStorm简介    ApacheStorm的前身是TwitterStorm平台,目前已经归于Apache基金会管辖。ApacheStorm是一个免费开源的分布式实时计算系统。简化了流
  • 2023-03-07Storm 概念与架构
    Storm提出了几个新的概念,理解这些概念对于学习Storm非常重要。Storm中核心概念如下:1)Tuple:由一组可序列化的元素构成,每个元素可以是任意类型,包括Java原生类型、String、byte[