集中式集群资源调度框架的可扩展性优化 - 毛安琪, 汤小春, 丁朝, 李战怀.pdf
免费下载
计 算 机 研 究 与 发 展
DOI
:
１０．７５４４∕issn１０００Ｇ１２３９．２０２１．２０２００５０１
JournalofCom
p
uterResearchandDevelo
p
ment ５８
(
３
):
４９７ ５１２
,
２０２１
收稿日期
:
２０２０
－
０６
－
１９
;
修回日期
:
２０２０
－
１２
－
０９
基金项目
:
国家重点研发计划项目
(
２０１８YFB１００３４００
)
Thisworkwassu
pp
ortedb
y
theNationalKe
y
ResearchandDevelo
p
mentPro
g
ramofChina
(
２０１８YFB１００３４００
)
．
通信作者
:
汤小春
(
tan
g
xc＠nw
p
u．edu．cn
)
集中式集群资源调度框架的可扩展性优化
毛 安 琪
汤 小 春
丁
朝
李 战 怀
(
西北工业大学计算机学院
西安
７１０１２９
)
(
工信部大数据存储与管理重点实验室
(
西北工业大学
)
西安
７１０１２９
)
(
maoan
q
i＠mail．nw
p
u．edu．cn
)
Scalabilit
y
forMonolithicSchedulersofClusterResourceMana
g
ementFramework
MaoAn
q
i
,
Tan
g
Xiaochun
,
Din
g
Zhao
,
andLiZhanhuai
(
Schoolo
f
Com
p
uterScience
,
NorthwesternPol
y
technicalUniversit
y
,
Xian
７１０１２９
)
(
Ke
y
Laborator
y
o
f
Bi
g
DataStora
g
eand Mana
g
ement
(
Northwestern Pol
y
technicalUniversit
y
),
Ministr
y
o
f
Industr
y
andIn
f
ormationTechnolo
gy
,
Xian
７１０１２９
)
Abstract Thesi
g
nificantadvanta
g
esofmonolithicclusterresourcemana
g
ements
y
steminensurin
g
theconsistenc
y
of
g
lobalresourcestatusanda
pp
l
y
in
g
multi
p
leschedulin
g
modelsmakeitwidel
y
used
inactuals
y
stems．Howerver
,
the
p
erformanceofthemonolithicresourcemana
g
erinalar
g
ecluster
mana
g
ementenvironmentdoesnotmeetex
p
ectations
,
becauseitusesasin
g
lenodeto maintainthe
g
lobalresourcestate．Whentheresource mana
g
erisreceivin
g
and
p
rocessin
g
lar
g
eＧscale
p
eriodic
heartbeatinformation
,
theload
p
ressureontheresourcemana
g
erwillincreaseshar
p
l
y
,
whichleadsto
ascalabilit
y
bottleneck．Inordertosolvethese
p
roblems
,
this
p
a
p
er
p
ro
p
osestheideaof
“
nochan
g
e
,
nou
p
date
”
tore
p
lacethe
p
eriodicu
p
datemechanismoftheresourcemana
g
er．Inour
p
a
p
er
,
webriefl
y
summarizethree main to
p
ics．Firstl
y
,
weintroduce a differentialＧbased heartbeatinformation
p
rocessin
g
modelinthecom
p
utin
g
node．Whentheresourcestatusofthecom
p
utin
g
nodehasnot
chan
g
ed
,
itwillnotsendthemessa
g
etotheresourcemana
g
er
,
thereb
y
reducin
g
thesizeandnumber
ofmessa
g
es．Secondl
y
,
we
p
ro
p
osearin
g
network monitorin
g
modelbetweencom
p
utin
g
nodes．B
y
ado
p
tin
g
this mode
,
the
p
eriodic monitorin
gp
ressurecanbetransferredtothecom
p
utin
g
nodes．
Finall
y
,
weim
p
lementthesetwomodelsonYARN．Afterex
p
erimentalverification
,
wecanconclude
thatwhentheclusterreaches１００００nodesandtheheartbeatintervalis３s
,
theYARNbasedonour
modelsincreasestheheartbeatinformation
p
rocessin
g
efficienc
y
andresourceu
p
dateefficienc
y
b
y
about４０％．Inaddition
,
thescaleoftheclustermana
g
edb
y
im
p
rovedYARNismorethan１．８８times
thatoftheori
g
inalYARN．
Ke
y
words monolithicschedulers
;
scalabilit
y
;
heartbeatmessa
g
e
;
differential
;
rin
g
monitorin
g
摘
要
集中式集群资源管理系统既能够确保全局资源状态的一致性亦拥有多种调度模型
,
因此被广泛
应用于实际系统中
．
但是
,
当集中式资源管理器 在接收 并处理 大规模 的周期 性心跳 信息时
,
由于 其 采用
单一节点来维护全局资源状态
,
所以资源管理器的负载压力急剧增加
,
导致 调 度能 力 降低
,
影响 了 集群
系统的可扩展性
．
针对上述问题
,
提出一种
“
没有 变 化就 不 更新
”
的思 想
,
取代 集 中资 源 管理的 定时更 新
机制
,
改善了集中式资源管理系统的可扩展性
．
首先
,
通过计算节点引入基于差分的心跳信息处理模型
,
使得未发生状态变化的节点不必发送心跳消息
,
从而 减 少 消 息发送的 规模和 次数
;
其次
,
针对 节 点宕 机
监测过程
,
提出基于环形监视的节点监控模型
,
让各个计算节点之间互相监 视对方 的宕机 状态
,
从而 将
周期性监测压力转移到计算节点
;
最后
,
给出这
２
种模型在集中式资源管理系统
YARN
上的实现
,
并针
对改进前后的系统进行实验测试
．
通过实验验证
,
当集群达到
１
万个节点且心跳时间间隔
３s
时
,
改进后
YARN
系统的心跳信息处理效 率 以 及 资 源 更 新 效 率 相 比 原
YARN
系 统 提 高
４０％
左 右
．
另 外
,
改 进 后
YARN
系统管理集群节点规模相比原
YARN
系统扩大
１．８８
倍以上
．
关键词
集中式调度
;
可扩展性
;
心跳消息
;
差分
;
环形监控
中图法 分类号
TP３１１
随着大数据处理 技 术的 发 展
,
数据 内 在价 值 的
分析与挖掘成 为 这 个 时 代 的 研 究 热 点 之 一
．
当 数 据
的体量以惊人的速 度 增长 时
,
单台 机 器已 经 无法 满
足大数 据的 存 储与 处 理
,
于是 以
Hadoo
p
分布 式 文
件系统
(
Hadoo
p
distributedfiles
y
stem
,
HDFS
)
为
代表的分布式 文 件 系 统 应 运 而 生
．
它 以 主 从 架 构 管
理模式
,
将数据划分到多台机器节点上存储
,
形成一
个集群系统
,
也称数据中心
,
推动了大数据计算的发
展
．
在企业或组织内
,
数据中心上通常会存在各种 不
同类型的数据 处 理 应 用 程 序
．
如 果 为 每 种 数 据 处 理
应用程序建立专用 的 集群 基 础设 施
,
不但 为 企业 带
来巨大的建设成本
,
也导 致 数据 在 各个 集 群之 间 来
回复制
,
容易产 生 错 误
．
因 此
,
越 来 越 多 的 企 业 开 始
在数据中心上部署 集 群资 源 管理 系 统
,
确保 各 种各
样的数据处理应用程序共享一套硬件基础设施
．
集群资源管理系统的主要功能是管理集群的可
用计算资源并 分 配 给 不 同 的 数 据 处 理 应 用 程 序
．
集
群计算资源的分配 要 按照 一 定的 策 略进 行
,
保证 各
个应用程序独自使 用 集群 的 部分 资 源
,
避免 各 个数
据处理应用程序之 间 的资 源 竞争 和 相互 干 涉
,
实现
各个应用程序对资源的公平使用
．
现有的集 群资源 管理系 统种类 非常丰 富
,
如文
献
[
１Ｇ４３
]
都是有关集群资源管理和用户应用程序调
度的系统
．
从集群资源调度框架的观点看
,
集群资源
管理系统分为
３
个大类
,
即集中式资源调度框架
、
分
布式资源调度 框 架 以 及 混 合 式 资 源 调 度 框 架
．
集 中
式资源调度框架又分为单一资源调度和二级资源调
度模型
,
前 者 采 用
“
拉
”
的 模 式
,
后 者 采 用
“
推
”
的 模
式
．
文献
[
１Ｇ２５
]
研究单一资源调度模型
,
文献
[
２６Ｇ３４
]
研究二级资源调度模 型
．
文献
[
３５Ｇ４０
]
研究分 布式调
度框架
,
文献
[
４１Ｇ４３
]
研究集中分布混合的资源调度
框架
．
文献
[
２２
]
是一种典型的单一资源调度模型
,
分
３
步完 成 资源 的 分配
:
应用 程 序向 资 源管 理 主节 点
请求计算资源
;
资源管理主节点负责资源的分配
;
应
用程序提交任务 执 行
．
文 献
[
３４
]
是 一 种 二 级 调 度 模
型
,
也分为
３
步完成资源的分配
:
应用程序按照次序
向资源管理框架请 求 资源
;
资源 管 理器 按 照各 个 应
用程序使用资源情 况
,
依次 为 各个 应 用程 序 分配 计
算资源
;
应用程序使用资源执行任务
．
文献
[
３８
]
是分
布式资源调度框架
,
分
２
步完成资源分配
:
各个应用
程序独立向请求发出
“
采样 请 求
”;
根据 采 样结 果 提
交任务
．
文献
[
４２
]
是集中分布混合的资源调度框架
,
短时间的应用程序 使 用分 布 式调 度 框架
,
长时 间 应
用程序采用集中式调度框架
．
文献
[
４４
]
指出
,
集中 式 资源 调 度框 架 的优 点 是
调度实现简单
,
所以应用广泛
,
但是集中式调度框架
存在着可扩展的瓶颈
．
相比于集中式调度框架
,
分布
式资源调度框架不 存 在单 一 的资 源 管理 节 点
,
所以
在可扩展性方面具 有 较大 的 优点
,
但是 分 布式 资 源
管理缺乏集中管理
,
增加 了 资源 状 态的 同 步和 并 发
控制的难度
,
也无法做到最优全局决策与资源控制
,
所以真正应用 的 系 统 较 少
．
混 合 式 资 源 管 理 框 架 结
合了
２
个系统
,
由于存在集中式资源监视
,
虽然在一
定程度上缓解了分 布 式调 度 的不 一 致问 题
,
但是 其
集中式调度和分布式 调 度相 互 独立
,
需要 维 护
２
套
代码
,
维护代 价 较 大
．
另 外
,
分 布 式 调 度 和 集 中 式 调
度相互预留资源
,
影响总体资源利用率
,
因此混合式
资源管理框架处于 研 究状 态
,
很少 有 成熟 的 系统 广
泛使用
．
从以上的研究 文 献看
,
８０％
以上 的 集群 资 源 管
理模型采用集中式
,
如果 再 加上 混 合式 中 的集 中 式
调度模型
,
集中式资源调度框架可以达到
８５％
左右
．
一些大的互联网公司
,
例如微软
、
腾讯
、
百度等
,
目前
也使用集中式资源调度框架来处理自己的大数据业
务
．
但是
,
集中 式 资 源 调 度 框 架 中
,
资 源 管 理 器 为 了
获得集 群 可 用 资 源
,
需 要 集 群 上 的 每 个 计 算 节 点
８９４
计算机研究与发展
２０２１
,
５８
(
３
)
of 16
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论