
01
02

通过vLLM服务化框架、MindSpore计算框架与昇腾自定义算子的深度融合,充分释放Atlas 300I Duo的硬件潜力;
针对MoE结构、量化计算等关键模块作融合优化,端到端推理时延降低超30%;
采用张量/流水线/数据并行的混合并行策略,结合内存融合技术,突破单芯片内存限制,高效支撑超大规模参数模型;
依托openEuler的高可靠性与兼容性,确保系统稳健运行和生态广泛支持。
03

文章转载自OpenAtom openEuler,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。




