尚硅谷大数据技术之DolphinScheduler.doc
免费下载
尚硅谷大数据技术之 DolphinScheduler
—————————————————————————————
尚硅谷大数据技术之 DolphinScheduler
(
作者：尚硅谷大数据研发部
)
版本：
V1.0
第
1
章 架构设计
1.1
系统架构图
更多 Java –大数据 –前端 –python 人工智能资料下载，可百度访问：尚硅谷官网
尚硅谷大数据技术之 DolphinScheduler
—————————————————————————————
1.2
启动流程图
1.3
架构说明
（
1
）
MasterServer
MasterServer
采用分布式无中心设计理念，
MasterServer
主要负责
DAG
任务切分、任务提
交监控，并同时监听其它
MasterServer
和
WorkerServer
的健康状态。
MasterServer
服务启
动时向
Zookeeper
注册临时节点，通过监听
Zookeeper
临时节点变化来进行容错处理。
MasterServer
基于
netty
提供监听服务。
该服务内主要包含
:
Distributed Quartz
分布式调度组件，主要负责定时任务的启停操作，当
quartz
调起任务后，
Master
内部会有线程池具体负责处理任务的后续操作
MasterSchedulerThread
是一个扫描线程，定时扫描数据库中的
command
表，根据不同的命
令类型进行不同的业务操作
MasterExecThread
主要是负责
DAG
任务切分、任务提交监控、各种不同命令类型的逻辑处
MasterTaskExecThread
主要负责任务的持久化
更多 Java –大数据 –前端 –python 人工智能资料下载，可百度访问：尚硅谷官网
of 45
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论