Spark Streaming用于流式数据处理(准实时,微批次),Spark Streaming支持的数据源很多,例如:kafka、Flume、简单的TCP套接字等,数据输入后可以用Spark的高度抽象原语,如:map、join、reduce、window等进行运算,而结果也可以保存在很多地方,如:hdfs、数据库等。
和Spark基于RDD的概念很相似,Spark Streaming使用离散流(discretized stream)作为抽象表示,叫做DStream。DStream是随时间推移而收到的数据的序列,在内部,每个时间区间收到的数据都作为RDD的存在,而DStream是由这些RDD所组成的序列(因此得名“离散化”)。简单来讲,Dstream就是对RDD在实时数据处理场景的一种封装。
标签:RDD,简介,streaming,Streaming,spark,DStream,Spark From: https://www.cnblogs.com/huifeidezhuzai/p/17972201