点击上方蓝字关注我们，获取最新技术资讯
主题：在 Spark3.0 上实现 GPU 加速 ETL
讲师：沈国一(Gary)，Nvidia Manager
主要内容：
用于 Apache Spark 3.0 的 RAPIDS 加速器
工作原理
GPU 处理加速的一些技术
性能测试结果
直播回放：点击阅读全文，或扫描文章底部二维码加入钉群观看回放
- 前言 -
Spark 3.0 开始支持了数据的列式处理，同时能够将 GPU 作为资源进行调度。在此基础上，Nvidia/Spark-Rapids 开源项目基于 Rapids 库, 以 plugin 的方式提供了一组 GPU 上实现的 ETL 处理，利用 GPU 强大的并发能力加速 Join , Sort , Aggregate 等常见的 ETL 操作。
本次分享主要介绍该开源项目和目前取得的一些进展，以及使用到的一些相关技术。
- 直播内容概览 -
使用 RAPIDS 加速 Apache Spark 3.0
Apache Spark在现代企业中的应用
结合 NVIDIA GPU 的 Spark 3.0
为什么要迁移到 Spark 3.0
英伟达提供 GPU 加速的 APACHE SPARK
那么它是如何工作的？
SPARK SQL & DATAFRAME 编译流程图
SPARK SQL & DATAFRAME 编译流程图
适合 GPU 的场合
-高散列度数据的 joins
-高散列度数据的 aggregates
-高散列度数据的 sort
-Window operations (特别是大型 windows)
-复杂计算
-数据编码（创建 Parquet 和 ORC 文件 读取 CSV)
并非适合于所有场合
GPU 处理加速的一些技术
加速 SHUFFLE
UDF 的部分支持
SCALA / JAVA / HIVE UDF 支持
-提供 Scala/Java/Hive 定义的 UDF
-调用已有 cuDF 提供的 Java API 执行 GPU 处理
-自定义 GPU native 处理
-详细参考：rapids accelerated user defined functions
其他技术-加速 GPU 处理
-小文件读取时，采用多线程并行以及合并 ( coalesce ）
-GPU 内存不够时， spill 到 Host 内存和磁盘
-采用最新的 Gpu Direct Storage 技术，加快 GPU 内存到磁盘 NVMe 的 I/O
SPARK 3.0 性能测试结果
END
