暂无图片
暂无图片
暂无图片
暂无图片
暂无图片
首页 / 博世智驾智能调度实践: 用DolphinScheduler构建下一代AI数据中台

博世智驾智能调度实践: 用DolphinScheduler构建下一代AI数据中台

海豚调度 2025-06-11
94

点击蓝字

关注我们


讲师介绍 PROFILE

陶超权

博世智驾（中国）后端工程师

负责数据处理和数据调度方面工作，在智能驾驶数据处理领域具有丰富的实践经验。在2024年12月Apache DolphinScheduler社区线上交流会上上，他分享了Apache DolphinScheduler在智能驾驶数据处理中的应用案例和未来的发展蓝图。

01

业务背景



博世智驾（中国）隶属于博世集团（Bosch Group），全称是罗伯特·博世有限公司，成立于1886年，全球总部位于德国，员工人数超过42万，遍布50多个国家，业务涵盖汽车与智能交通技术、工业技术、消费品与能源与建筑技术四大领域。

今天的话题将聚焦于博世在智能驾驶技术方面基于Apache DolphinScheduler的技术改造与业务应用。

智能驾驶技术的发展高度依赖于数据。数据不仅是模型训练的基石，也是功能验证的关键。智能驾驶模型需要大量高质量的数据来训练，以提升感知、决策和控制的精确度。同时，为了确保系统的可靠性和安全性，真实场景下的车辆功能验证同样需要多样化的测试数据。

02

接入改造

接入前


在没有使用Apache DolphinScheduler之前，博世智驾依赖于Jenkins来实现业务代码中的工作流编排和调度。这种方法的优点在于其高度的灵活性，允许定义任何形式的工作流编排。然而，这种方法的缺点也显而易见，就是与业务代码的耦合度很高，任何工作流的变动都需要修改业务代码，这增加了维护的复杂性和风险。

接入后


经过调度选型之后，博世智驾决定采用Apache DolphinScheduler，并基于3.2.0版本进行了一系列的接入改造，以提高数据处理的效率和灵活性。

以下是博世智驾进行的一系列改造的具体实施方案。

MQ Trigger


在数据源的基础上，博世智驾增加了消息源的创建，并将消息源与工作流绑定，实现了工作流的自动触发。这一改进使得工作流能够更加灵活地响应数据源的变化。

节点增强


博世智驾重度依赖K8S任务和dynamic任务进行编排，在这方面基于DolphinScheduler重点进行了一些改造，包括：
  • 主流程与子流程：优化了主流程和子流程的管理。
  • 自定义plugin：允许自定义plugin，以适应特定的业务需求。
  • 修改dynamic节点的子流程生成规则：调整了dynamic节点的子流程生成规则，以更好地控制参数输出。
  • 异步触发&轮询：实现了异步触发和轮询机制，提高了任务的响应速度。
  • Conditional Http：引入了条件HTTP请求，以实现更复杂的工作流逻辑。

动态优先级


博世智驾还基于Apache DolphinScheduler实现了动态优先级功能，以适应不同业务场景的需求，确保关键任务能够优先执行。

03

最佳实践

部署架构


博世智驾采用了K8S部署，实现了控制集群和计算集群的隔离。这种隔离策略包括：
  • namespace隔离：通过namespace级别的隔离，实现了不同任务之间的逻辑分离。
  • Node隔离：通过Node级别的隔离，确保了计算任务不会因为资源抢占或负载导致控制节点被驱逐。

集群版本


博世智驾介绍了TTL Controller，这是一种控制job结束后多久被删除的机制。这一功能从Kubernetes v1.23版本开始正式生效。需要注意的是，使用老版本可能会导致Kubernetes集群压力增大，甚至导致Ds worker OOM（Out of Memory），使用时需谨慎考虑。

K8S任务配置


在K8S任务配置方面，博世智驾提出了以下建议：
  • 任务传参：避免使用大JSON传参，尽量使用文件交互，以文件地址作为参数传递，以减少网络传输的负担。
  • 资源配额：对于耗时较长的k8s任务，尽量将request和limit配置相同，避免资源超卖导致OOM。
  • IO控制：对于IO密集型任务，尽量避免大量读写本地磁盘，使用CFS（Cloud File System），以减少对当前node上其他任务的影响。

K8S任务隔离&动态优先级


面对不同类型k8s任务被调度到同一个k8s集群执行的问题，博世智驾提出了以下解决方案：
  • 支持动态修改master上任务的优先级：允许动态调整任务的优先级，以适应不同的业务需求。
  • 通过node标签和容忍度将不同类型的任务分配到不同节点上：通过这种方式，可以确保不同类型的任务在资源使用上相互隔离，同时保持各自的优先级。

04

未来规划


最后，博世智驾表示了将计划在未来实现一些新的功能和进一步的完善，包括实现任务资源隔离，并接入CICD，以进一步提升智能驾驶数据处理的效率和稳定性。这些规划将有助于博世智驾在智能驾驶领域的技术进步和业务发展。

05

结语


这次分享不仅展示了Apache DolphinScheduler在博世智驾这家百年公司的智能驾驶数据处理方面的实际应用，还提供了宝贵的实践经验和未来发展方向。欢迎大家了解并加入Apache DolphinScheduler社区，获取更多信息和资源，共同推动智能驾驶技术的发展。





用户案例



网易邮箱 每日互动 惠生工程  作业帮 
博世智驾 蔚来汽车 长城汽车集度长安汽车
思科网讯食行生鲜联通医疗联想
新网银行唯品富邦消费金融 
自如有赞伊利当贝大数据
珍岛集团传智教育Bigo
YY直播  三合一太美医疗
Cisco Webex兴业证券




迁移实战



Azkaban   Ooize（当贝迁移案例）
Airflow （有赞迁移案例）
Air2phin（迁移工具）
Airflow迁移实践



发版消息




Apache DolphinScheduler 3.2.2版本正式发布！
Apache DolphinScheduler 3.2.1 版本发布：增强功能与安全性的全面升级
Apache DolphinScheduler 3.3.0 Alpha发布，功能增强与性能优化大升级！




加入社区



关注社区的方式有很多：

  • GitHub: https://github.com/apache/dolphinscheduler
  • 官网：https://dolphinscheduler.apache.org/en-us
  • 订阅开发者邮件：dev@dolphinscheduler@apache.org
  • X.com：@DolphinSchedule
  • YouTube：https://www.youtube.com/@apachedolphinscheduler
  • Slack：https://join.slack.com/t/asf-dolphinscheduler/shared_invite/zt-1cmrxsio1-nJHxRJa44jfkrNL_Nsy9Qg

同样地，参与Apache DolphinScheduler 有非常多的参与贡献的方式，主要分为代码方式和非代码方式两种。

📂非代码方式包括：

完善文档、翻译文档；翻译技术性、实践性文章；投稿实践性、原理性文章；成为布道师；社区管理、答疑；会议分享；测试反馈；用户反馈等。

👩‍💻代码方式包括：

查找Bug；编写修复代码；开发新功能；提交代码贡献；参与代码审查等。

贡献第一个PR(文档、代码) 我们也希望是简单的，第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。

社区汇总了以下适合新手的问题列表：https://github.com/apache/dolphinscheduler/pulls?q=is%3Apr+is%3Aopen+label%3A%22first+time+contributor%22

优先级问题列表：https://github.com/apache/dolphinscheduler/pulls?q=is%3Apr+is%3Aopen+label%3Apriority%3Ahigh

如何参与贡献链接：https://dolphinscheduler.apache.org/zh-cn/docs/3.2.2/%E8%B4%A1%E7%8C%AE%E6%8C%87%E5%8D%97_menu/%E5%A6%82%E4%BD%95%E5%8F%82%E4%B8%8E_menu

如果你❤️小海豚，就来为我点亮Star吧！

https://github.com/apache/dolphinscheduler


你的好友秀秀子拍了拍你

并请你帮她点一下“分享”


工作流优先级大数据apache
文章转载自海豚调度，如果涉嫌侵权，请发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。

评论