《使用Alluxio实现Apache Spark DataFrame缓存》.pdf
免费下载
白皮书
Spark + Alluxio解决方案概览
使用Alluxio实现Apache Spark DataFrame缓存
主要内容
1. 介绍
2. Alluxio和Spark 缓存
3. 保存 DataFrames
4. 查询“保存”到Alluxio中的
DataFrames
5. 通过Alluxio共享已“保存”的
DataFrames
6. 结论
* 本白皮书发表于2017年
* 本白皮书版权归属于北京开元维度科技有限公司，未经授权，不得进行任何形式的转载和分发。
本文分析了Alluxio 如何帮助 Spark 实现
效率提升，重点探讨如何将Alluxio有效地
用于 Spark DataFrames。Alluxio 提高了
Spark 作业的性能和稳定性，并支持多个
Spark 作业共享Alluxio内存中的数据。
1/介绍
/2
许多企业将Alluxio与Spark部署在一起，来提升性能和强化数据管理。去哪儿网（Qunar）在生
产环境中部署了Alluxio，其Spark streaming作业平均提速了 15 倍，高峰时段的性能提升更是
高达 300 倍。原先一些变慢或无法完成的Spark 作业，在使用Alluxio后都能够快速完成。在本
文中，我们分析了Alluxio 如何帮助 Spark 实现效率提升，重点探讨如何将Alluxio有效地用于
Spark DataFrames。Alluxio 提高了 Spark 作业的性能和稳定性，并支持多个 Spark 作业共享
Alluxio内存中的数据。
* 本白皮书发表于2017年。
of 9
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论