48、【云原生】Spark on k8s 讲解与实战操作.docx
10墨值下载
【云原生】
讲解与实战操作
一、概述
是专为大规模数据处理而设计的快速通用的计算引擎。
是
加州大学伯克利分校的
实验室
所开源的类
的通用并行框架，
，拥有
所具有的优点；
但不同于
的是——
中间输出结果可以保存在内存中，从而不再需要读
写
，因此
能更好地适用于数据挖掘与机器学习等需要迭代的
的算法。
官方文档：
!""##$"" "
官方文档：
!""##$"" "%$&&
# '
关于
的介绍，可以参考我这篇文章：大数据
Hadoop
之——计算引擎
Spark
二、开始
Spark on k8s
运行原理
spark-submit
可以直接用于向
(
集群提交
应用程序。提交机制的
工作原理如下：
创建一个
%)
在
(
运行。
%)
程序创建也在
(
中运行的执行器，并连接到它们，
然后执行应用程序代码。
当应用程序完成时，执行程序
将终止并被清理，但驱动程序
会保
存日志并在
( *
中保持“已完成”状态，直到最终进行垃圾收
集或手动清理。
三、
Spark
运行模式
Client
：客户端进程，负责提交作业到
。
Master
：
模式中主控节点，负责接收
%
提交的作业，
管理
+
，并命令
+
启动
%)
和
,-
。
Worker
：
模式中
)
节点上的守护进程，负责管理本节点
的资源，定期向
汇报心跳，接收
的命令，启动
%)
和
,-
。
Driver
： 一个
作业运行时包括一个
%)
进程，也是作业的主进
程，负责作业的解析、生成
$
并调度
.
到
,-
上。包括
/
，
.
。
1
）
cluster
模式
of 21
10墨值下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论