
一是异构算力管理难。为支撑不同 AI 场景,省级广电陆续部署了不同类型的 GPU、NPU 硬件,造成算力资源分散,既无法实现统一管理与运维,也难以灵活调配,资源利用率低和算力缺口同时存在。
二是实时推理响应慢。内容创作、智能审核、智能推荐等 AI 新兴场景,对 AI 推理的 “响应速度” 的要求很高,然而不同场景需要部署多种类别的大模型和小模型,传统模型的开发及部署环境配置又相对复杂。
● 算力资源高效利用,多维度支撑不同项目和业务场景的多元算力需求。
● 通过集中管理和优化资源分配,减少硬件投资的重复建设,降低运维成本和复杂性。
● 开发、训练、推理、模型服务一体化交付,构建以大模型为中心的新应用架构。


- FIN -
更多推荐


点击“阅读原文”了解更多文章转载自青云QingCloud,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。







