暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

3.2.0 终极预告!云原生支持新增 Spark on k8S 支持

海豚调度 2023-08-22
165

点击蓝字 关注我们


视频贡献者 | 王维饶
视频制作者 | 聂同学
编辑整理 | Debra Chen


版本更新预告


Apache DolphinScheduler 3.2.0 版本将发布,为了让大家提前了解到此版本更新的主要内容,我们已经制作了几期视频和内容做了大致介绍,包括《重磅预告!Apache DolphinScheduler 3.2.0 新功能“剧透”》《3.2.0 版本预告!Apache DolphinScheduler API 增强相关功能》《3.2.0 版本预告!远程日志解决 Worker 故障获取不到日志的问题》


今天,我们来介绍另一个用户也很关注的云原生相关功能更新。


今天为各位介绍一下 Apache DolphinScheduler 3.2.0云原生的相关新功能,主要分为两个部分:

  • 对K8S任务类型的增强
  • 对Spark on K8S新功能的支持

No.1

K8S任务类型增强

我们主要是介绍三个新功能:

  • 支持自定义标签
  • 支持自定义节点选择器
  • 支持任务日志的实时收集

对于前两个功能,因为K8S本身提供了对各类对象去定义Label的能力,使得用户也可以更好地进行对象的管理。

另外,用户也可以去定义节点选择器,将对象调度到指定节点上。这两个功能在生产环境中对用户是有很大的帮助的。因此,3.2.0版本也选择去实现支持这两个功能。

日志实时收集其实是对3.1.X版本的改进。之前,Apache DolphinScheduler只会在任K8S任务执行失败的时候去收集末尾起几行错误日志,但显然实时收集全量日志是对用户更加友好的一个功能。

我们跑一个K8S类型的任务,来看一下这三点增强的效果(见视频 01:11s-03:06s)。

No.2

Spark on K8S支持

在3.2.0版本中,Apache DolphinScheduler将支持Spark提交到原生K8S集群的模式。

以事先定义好的一个Spark on K8S的工作流为例,在这个Spark任务中,我们会发现已经添加了一个新的选择框—Namespace。如果用户选择了Namespace,即它非空时,我们认为用户是期待把这个Spark任务提交到K8S集群上做执行。

同样地,在这个任务中,用户也可以去自定义他们的Option,具体可以参考Spark官网,根据自己K8S集群的状态去定义他们的Option。

在Spark on K8S的任务中,我们也会实时地收集Driverpod日志,并对Driverpod进行生命周期管理。如果当前任务是执行成功的状态,我们会将Pod删除掉;如果执行失败,Pod会保留在集群中,供用户做诊断分析。

查看运行状态(见视频04:03s-结尾)。

参与贡献


随着国内开源的迅猛崛起,Apache DolphinScheduler 社区迎来蓬勃发展,为了做更好用、易用的调度,真诚欢迎热爱开源的伙伴加入到开源社区中来,为中国开源崛起献上一份自己的力量,让本土开源走向全球。


参与 DolphinScheduler 社区有非常多的参与贡献的方式,包括:


贡献第一个PR(文档、代码) 我们也希望是简单的,第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。


社区汇总了以下适合新手的问题列表:https://github.com/apache/dolphinscheduler/issues/5689


非新手问题列表:https://github.com/apache/dolphinscheduler/issues?q=is%3Aopen+is%3Aissue+label%3A%22volunteer+wanted%22


如何参与贡献链接:https://dolphinscheduler.apache.org/zh-cn/community/development/contribute.html


来吧,DolphinScheduler开源社区需要您的参与,为中国开源崛起添砖加瓦吧,哪怕只是小小的一块瓦,汇聚起来的力量也是巨大的。


参与开源可以近距离与各路高手切磋,迅速提升自己的技能,如果您想参与贡献,我们有个贡献者种子孵化群,可以添加社区小助手微信(Leonard-ds) ,手把手教会您( 贡献者不分水平高低,有问必答,关键是有一颗愿意贡献的心 )。

添加社区小助手微信(Leonard-ds,好友申请注明“入交流群+姓名+公司+职位信+是否是用户”,群里是实名制,仅用于验证身份) 



如果想参与贡献,添加小助手微信时请说明想参与贡献。


来吧,开源社区非常期待您的参与。

< 🐬🐬 >
更多精彩推荐

Apache DolphinScheduler 支持使用 OceanBase 作为元数据库啦!

如何用 Apache DolphinScheduler 实现自动配置自定义变量?

又一轮优秀用户案例有奖征集,快来投稿!

☞去年办了这么多场Meetup都没有你,2023年赶紧安排起来!

Apache DolphinScheduler 3.1.8 版本发布,修复 SeaTunnel 相关 Bug

使用 Apache DolphinScheduler 进行 EMR 任务调度



点击阅读转发在看

文章转载自海豚调度,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论