网站首页
编程语言
数据库
系统相关
其他分享
编程问答
StructStreaming
2024-11-08
PySpark中的StructStreaming的使用
使用pyspark编写StructStreaming的入门案例,如有雷同,纯属巧合,所有代码亲测可用。一、SparkStreaming的不足1.基于微批,延迟高不能做到真正的实时2.DStream基于RDD,不直接支持SQL3.流批处理的API应用层不统一,(流用的DStream-底层是RDD,批用的DF/DS/RDD)4.不支持EventTi