bytewaxpython流处理框架,支持批以及流处理，内部使用了timely-dataflowrust库bytewax支持的模式主要是多worker以及多process核心还是单机场景，暂时不支持多主机的集群模式，同时对于状态的存储以及recovery使用了sqlite说明以前我也介绍过一个基于rust的流处理引擎arroyo，

arroyo对于kafka有着很不错的集成支持（目前版本可以说是优先支持的），使用原生kafka是一个选择，但是部署以及管理感觉比较费事以前简单介绍过redpanda，所以尝试下集成环境准备docker-compose包含了redpandadataconsole，connect，以及一个测试，对于arroyo使用了与redpandadata同一个

我在arroyodocker镜像处理的时候简单说过一个arroyo的编译服务，在看了官方介绍之后发现官方是有说明的参考处理基于datafusion解析查询以及计划生成查询计划编译为arroyo逻辑dataflow计划dataflow逻辑计划，生成rust代码rust代码编译为将在arroyo工作节点的二进制文件

arroyosingledocker镜像使用了ubuntu作为基础镜像，里边包含了不少服务，同时基于supervisord进行服务管理具体dockerfile参考github我简单介绍一些其他服务supervisord配置/opt/arroyo/src/docker/single/supervisord.conf目录 [supervisord]nodaemon=tru