暂无图片
暂无图片
1
暂无图片
暂无图片
暂无图片
快手八卦!突破 PyTorch、TensorFlow并行瓶颈的训练加速框架到底是啥?-廉相如 博士.pdf
431
23页
4次
2021-11-05
5墨值下载
Senior Staff Research Scientist
|
Bagua
分布式训练加速在
快手应用经验分享
D a t a F u n S u mmit
2021
Speaker: 廉相如 博士
趋势:深度学习
|
深度学习过去十年快速发展
算力大幅提升
数据量急剧扩大
模型复杂度增加
2015 2021
G2.8xlarge
(4*K520)
P4d.24xlarge
(8*A100)
$2.60/hour $32.77/hour
1.88
Tflops/dollar
76.17
Tflops/dollar
45x
以往需要数周训练的任务现在只需几小时
(比如 ImageNet
然而数据量的增加、模型的复杂化
Transformers etc.) 使得人们对运算速
度的要求不断攀升
推荐任务:3 亿+日活用户行为数据
多媒体理解:数万年总视频样本时长
视频处理:每秒上传视频数百条
模型训练效率成为业务迭代一大瓶颈
of 23
5墨值下载
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文档的来源(墨天轮),文档链接,文档作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。
关注
最新上传
暂无内容,敬请期待...
下载排行榜
Top250 周榜 月榜