为满足公司内部业务对DeepSeek大模型探索使用的需求，近日三墩IT人联合浙江创新院、华为，实现全参数全精度国产开源大模型 DeepSeek-R1版本在国产算力上的私有化部署，并且实现PC端与移动端的双端MOA同步应用开放。为公司内部业务智能问答、需求意图准确识别等业务对DeepSeek大模型探索使用提供技术支撑和基座保障。
国产生态共建, 实现国产算力私有化部署
为验证DeepSeek模型在业务上的赋能场景，并推进国产化算力的跨机多卡推理部署技术，三墩IT人联合浙江创新院、华为进行相关技术验证，于1月27日首次完成DeepSeek-V3 671B大模型在4台32张华为910B的跨机多卡部署。部署过程中，攻克模型启动慢、权重文件无法加载、上下文长度限制、服务提供连续性的问题。例如1）权重文件无法加载，通过修改BF16权重文件元数据的方式，早于华为官方的通过Python模型权重转化脚本方案。2）上下文长度限制，通过修改PYTORCH_NPU_ALLOC_CONF参数，完成上下文长度从2K到32K的验证。
基于DeepSeek-V3的部署经验，完成DeepSeek-R1的私有化部署。针对R1私有化部署版本对简单问题倾向跳过深度思考过程的问题，通过模型网关增加全局提示词，引导模型进行深度思考，达到与官网一致的效果。
内部应用开放，打造双端应用服务体系
基于国产算力私有化部署的DeepSeek-R1大模型，实现了PC端与MOA移动端的双端同步对内部用户的试点开放。系统整合了智能对话交互、文件传输处理、历史记录查询等核心功能模块，通过优化的人机交互界面和稳定的系统性能，为用户提供了与DeepSeek官方版本相媲美的使用体验，充分满足内部智能化办公的多样化需求。
网关智能升级，保障模型服务连续稳定
DeepSeek-R1全参版本冷启动需1小时，热启动需5分钟，针对启动期间服务中断的问题，为保证对外服务的连续性，将模型网关增加对R1模型服务的智能监测和智能引流能力，实现故障和维护时间自动无缝切换至蒸馏版模型，保障模型服务连续稳定。
未来展望
未来，三墩IT人将坚定不移地贯彻集团公司的“AI+”行动计划，在集团信息技术中心的指导下，助推办公、营销、出行等垂类大模型的核心能力精进和运维智能体的体系化效能升级，持续协同浙江创新院加速DeepSeek大模型在对内高价值场景应用孵化，深化先进大模型在国产算力的性能优化，提升模型微调和推理效率，降低部署成本，为集团数智化转型新征程注入强劲动力。
扫一扫
关注三墩IT人
