DolphinScheduler×长安汽车 | 千万级数据接入能力智能网联汽车云平台引进核心调度系统

海豚调度 2023-03-07

320

点击蓝字关注我们

用户案例 | 长安汽车

长安汽车智能车云平台，网联车日活达百万级，车联网平台日均接收信号条数达百亿级。面对海量车联网数据分析的挑战，长安汽车建设了一套具备千万级数据接入能力的智能网联汽车云平台。为保证智能汽车数据类业务的开展，长安汽车从初试到深度使用（1.1.0开始投产），选择DolphinScheduler作为数据平台的核心调度系统，实现数据任务的灵活编排、调度，赋能智能汽车产品研发、故障诊断等业务。

业务挑战

当今，随着长安汽车向智能低碳出行科技公司的转型，智能网联车数据规模变得越来越庞大。同时，新能源车型的逐步接入为TSP平台的数据接入和分析能力带来了新的挑战。这种变化的显著特征是常规信号采集时间从30秒降至秒级甚至毫秒级，单车数据量也呈现出指数级增长。因此，为了解决这一业务挑战，我们需要采取一系列措施来优化数据采集系统，提高数据处理能力，确保长安汽车能够顺利实现转型目标。

为应对百万级车辆海量车况数据、埋点数据的高效传输、存储、处理，长安汽车软件科技公司经过主流产品选型对比后，长安汽车引入DolphinScheduler作为智能网联业务的核心调度引擎，主要应用场景包括：

混合云架构数据流转：在混合云架构下保证数据稳定流转、数据周期性双向传输；
分析数据统一调度：当前私有云分析集群的离线ETL任务结果，中间数据或结果数据需要定期调度导入MPP分析型数据库；
AI赋能模型预测：管理AI预测模型，构建定时任务工作流，保证从源头数据输入到最后预测结果输出的周期性运行；
数据集成对外同步：配搭数据集成工具实现多源数据集成，构建统一数据平台，定时数据转发，形成数据流转。

解决方案

混合云数据流转

长安汽车目前采用混合云架构，公有云存储近期热数据，私有云存储全量数据。私有云需周期性拉取公有云热数据，进行增量存储与数据分析。公有云业务集群需定期获取私有云分析数据，提供业务数据支撑。

在混合云架构下，在如何保证数据稳定流转、数据周期性双向传输这一问题上，长安汽车采用DolphinScheduler通过跨集群网关机的方式，管理云上云下两套集群。通过一套Web端的调度实例构建，实现私有云分析集群周期调度从公有云Hbase、Hive、HDFS及时拉取增量热数据，公有云集群针对依赖数据及时获取私有云分析数据。

分析数据统一调度

长安汽车目前采用Doris实现BI报表、多维分析等业务场景，主要数据来源为当前私有云分析集群的离线ETL任务结果，中间数据或结果数据需定期调度导入MPP分析型数据库，分析SQL、Py代码统一由Dolphinscheduler资源中心管理，资源文件访问权限划分给不同业务团队，实现分析数据与开发代码统一管理调度。