分布式数据分析与人工 智能平台及算法实践-涂丹丹 金鑫.pdf
50墨值下载
分布式数据分析与人工
智能平台及算法实践
涂丹丹 金鑫
tudandan@huawei.com
jinxin11@huawei.com
业界分析：深度学习平台演进趋势
Caffe: 模块化，支持单机多卡，不支持异构平台，主要用于图像分类、识别。
Torch: 可读性好，其中网络的基本组成为module，方便实现任意网络的构建
Theano: 实现符号微分，DAG表达深度网络、符号计算的开拓者，效率较低，主要用
于NLP等任务，不适合大规模的深度学习模型训练。
百度PADDLE：基于MPI实现分布式深度学习，已经开源了OCR、人脸识别API
主要是学术界深度学习科研人员开发，用于新算法探索研究。大部分还不支持模型并行
机制、不支持异构平台。
腾讯Marina:目前公开的是单机多卡的平台，主要用于语音识别，采用线性拓扑
结构通讯，支持模型并行和数据并行机制，还没开放API。
Google DistBelief:支持数据并行模型并行机制，支持上千节点，主要用于
Google内部Gmail，搜索等业务。
闭源不利于很好使用生态圈，Google策略有闭源、开源，或二者结合。
MXNet: 混合符号编程和命令式编程，支持数据并行，不支持模型并行；
CNTK: 支持数据并行和模型并行，对SGD算法做了优化，并行机制并未开源；
TensorFlow: 支持数据并行、模型并行，开源的分布式能力逐步增强
Spark+Caffe: 在深度学习使用Caffe，Spark在大规模参数计算没有优势；
Poseidon：结合Petuum SSP能力，但深度学习方面仍依赖于Caffe。
主要是Google, 微软等大公司推动，目前业界开源较多，在平台并行机制、集群
管理、调度、支持算法丰富度等方面还很不成熟。
1 2 3
深度学习平台的演进趋势：从单机到多机，计算能力提升；平台化，可视化，易用性提升；开源+闭研结合，依赖生
态圈，构建关键竞争力。
开源单机深度学习平台
企业闭源深度学习平台
开源分布式深度学习平台
of 19
50墨值下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论