暂无图片
暂无图片
暂无图片
暂无图片
暂无图片
首页 / 解锁数仓内AI流水线，AnalyticDB Ray基于多模ETL+ML提效开发与运维

解锁数仓内AI流水线，AnalyticDB Ray基于多模ETL+ML提效开发与运维

阿里云瑶池数据库 2025-06-10
668

引 言

在当今数据驱动的时代，多模态数据（包括文本、图像、音频、视频等多种数据类型）的处理和分析变得日益重要。通过将多模数据ETL与ML（机器学习）一体化，可以更高效地构建和优化AI流水线，从而实现从数据到智能决策的无缝转换。本文将介绍阿里云瑶池旗下的云原生数据仓库AnalyticDB MySQL推出的全托管Ray服务，解锁数仓内AI流水线潜力，实现多模数据ETL与ML的无缝集成。

01


开源Ray ：AI时代的分布式计算基石

开源 Ray 是一款专为AI与高性能计算设计的分布式计算框架，起源于UC伯克利的AMPLab，与Spark开源项目来自同一个实验室。Ray以简洁API抽象分布式调度，仅需几行代码，即可将单机任务扩展至千节点集群，像调用本地函数一样调度远程资源。内置Ray Tune、Ray Train、Ray Serve等模块，无缝兼容TensorFlow/PyTorch生态，支撑强化学习、大数据处理等场景。活跃的开源社区及Anyscale等企业支持，使其成为快速构建AI应用的利器。
Ray的核心价值亮点如下：
● 统一分布式计算框架，覆盖全场景
  • 异构调度：支持CPU/GPU/FPGA混合弹性调度；
  • 负载能力：支持数据/AI全链路处理（数据预处理、推理/微调），Python任务分布式执行；
  • 框架兼容：集成Spark、TensorFlow/PyTorch、Hugging Face等主流生态；
  • 场景覆盖：多模态处理、搜索推荐、金融风控、图计算等核心业务场景。
● 动态资源调度与高效执行：弹性资源精细化调度，按需分配 CPU/GPU/内存/自定义资源；支持Arrow、TensorFlow Dataset 等高效对接，提升数据处理速度。
● 多云与大规模扩展能力：支持Kubernetes、Docker Swarm 等容器化部署，无缝使用多云资源，适合EB级超大规模数据处理和千亿参数模型处理。

02


AnalyticDB Ray：轻量化一站式Data+AI服务

开源Ray为开发者提供了高度灵活的分布式计算框架，在实际生产环境中，企业往往还面临分布式作业优化、资源精细化调度、集群运维、稳定性与高可用等问题，而这正是AnalyticDB Ray（下文简称ADB Ray）的破局之处。

ADB Ray 是AnalyticDB MySQL 推出的全托管Ray服务，基于开源 Ray 的丰富生态，经过多模态处理、具身智能、搜索推荐、金融风控等场景的锤炼，对Ray内核和服务能力进行了全栈增强。开发者的应用无需关注集群运维，快速获得ADB Ray内核带来的性价比优化，同时无缝的和ADB 湖仓平台打通构建Data + AI一体化架构，加速企业 AI 规模化落地。

以下为对比开源Ray，ADB Ray的增强核心特性总览：

[1] https://help.aliyun.com/zh/analyticdb/analyticdb-for-mysql/user-guide/managed-ray-service

异构资源自动弹性：最大化GPU资源利用率


● 流式计算模式：使用streaming的计算模式，中间数据存储在Ray object store中，解决batch模式阶段性落盘问题。
● 异构资源自动弹性：数据处理需要异构资源CPU+GPU的情况下，独立自动弹性CPU和GPU资源，最大化稀缺资源GPU的利用率。

企业级稳定高可用：Head HA 自动切换


● Head HA： 5内秒级切换，保障推理、高优任务、多租户集群稳定性。
● 元数据：元数据存储支持热备和跨地域容灾

深度可观测：开发效率提升


● 强化学习可观测：可视化监控看板实时追踪任务状态，强化学习场景支持Actor/Task级拓扑分析，问题定位效率提升80%。

03


实践应用案例

商业智能


场景：广告推家预估CRT，挖掘受众，商品需要找到对应的受众，晚上进行离线批量推理，并把预测结果给到业务方的ADB数仓表。
方案：
  • AI流水线：ADB 湖 -> ADB ETL -> ADB Ray ML，保存模型
  • 推理：ADB 湖 -> ADB ETL -> ADB Ray离线批量推理-> ADB 仓表 ->业务服务 
    收益：
    • 异构资源自动扩展：离线推断场景数据处理和模型部署使用异构工作组，独立自动扩展CPU和GPU资源。GPU利用率从不到5%提高到40%。
    • 对象存储自动扩展：对象存储根据数据量动态自动扩展内存，这使得数据处理性能提高了2至3倍。

    LLM离线批量推理蒸馏数据


    场景：大模型数据准备。
    方案：使用Ray data + vLLM/SGLang 部署Qwen、Deepseek等模型进行数据蒸馏，蒸馏的数据用来做大模型的训练。
    收益：
    • 缓存加速：数据加载吞吐提升2-3倍；
    • 调度规模：单ray cluster 4w actor细粒度任务调度；
    • 精度量化：离线蒸馏场景Deepseek INT8量化版本比FP8性能提升50%。

    多模态数据处理及分布式微调


    场景：多模态个性化场景互动。
    方案：以ADB Ray为中心，与Lance集成，利用RayData提高分布式图文数据处理效率和结构化能力；同时集成LLaMA-Factory，通过Ray提供分布式的微调Qwen-VL多模态模型的能力。
    收益：
    • 一站式解决方案：实现从数据标注到模型微调的一站式方案；
    • 微调效率提升：llama-factory on ray分布式微调效率提升3-5倍。



    了解更多



    AnalyticDB Ray已于2025年5月10日正式商业化，点击官网文档可进一步了解使用详情。如果您有相关需求，可以通过官网工单直接联系我们，或点击文末「阅读原文」填写表单留下信息，AnalyticDB团队会尽快联系您。

    官网文档🔗：https://help.aliyun.com/zh/analyticdb/analyticdb-for-mysql/user-guide/managed-ray-service

    欢迎钉钉搜索群号：23128105 或扫码加入钉群进行交流。



    #云原生数据仓库AnalyticDB

    点击 阅读原文 咨询 AnalyticDB Ray 

    喜欢就请点赞/分享/推荐

    analyticdb大数据rayadb人工智能
    文章转载自阿里云瑶池数据库，如果涉嫌侵权，请发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。

    评论