Alluxio 助力企业解决分布式云端训练的数据访问难题.pdf
免费下载
白皮书
邱璐：软件工程师
范斌：开源社区副总裁
主要内容
1/ 问题描述
2/ 训练中的I/O挑战
3/ 解决方案概览
4/ 对比分析
5/ 性能测试
6/ 性能测试结果
7/ 结论
此白皮书介绍了如何利用 Alluxio 加快数据访问，
实现云上分布式训练的端到端性能提速。部署
Alluxio 后，从云存储加载数据，缓存数据和训
练都变得更加简单高效。本白皮书还展示了如何
搭建一套端到端加载训练数据性能的测试框架，
以及 Alluxio 与其他训练主流数据供给方案的性
能测试比对结果。
本白皮书版权归属于北京开元维度科技有限公司，未经授权，不得进行任何形式的转载和分发。
加速云端机器学习/深度学习
架构和性能测试
1/ 问题描述
/2
为了提高AI场景下模型训练的准确性、加快速度并降低成本，许多公司都逐步开始在云上实施分
布式训练的方案。但是采用这种解决方案时，有以下两个问题需要重点解决：
1. 数据的可访问性 (Data Accessibility)：当数据量大且存储在远端服务中时，如何获取训练
数据。
2. 数据的访问性能 (Performance)：如何同时保证元数据访问的低延迟和数据访问的高吞吐
量
of 32
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论