暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

Spark Streaming概述

大数据小同学 2020-08-26
300

Spark Streaming是什么

Spark Streaming用于流式数据的处理。Spark Streaming支持的数据输入源很多,例如:Kafka、Flume、Twitter、ZeroMQ和简单的TCP套接字等等。数据输入后可以用Spark的高度抽象原语如:map、reduce、join、window等进行运算。而结果也能保存在很多地方,如HDFS,数据库等。

和Spark基于RDD的概念很相似,Spark Streaming使用离散化流(discretized stream)作为抽象表示,叫作DStream。DStream 是随时间推移而收到的数据的序列。在内部,每个时间区间收到的数据都作为 RDD 存在,而DStream是由这些RDD所组成的序列(因此得名“离散化”)。

Spark Streaming特点

  1. 易用

  2. 容错

  3. 易整合到Spark体系

SparkStreaming架构


简书:https://www.jianshu.com/u/0278602aea1d
CSDN:https://blog.csdn.net/u012387141


文章转载自大数据小同学,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论