近日,Apache Kyuubi & Celeborn 社区在杭州网易园区举办「Apache Kyuubi & Celeborn (Incubating) 助力 Spark 拥抱云原生」Meetup,邀请到了阿里云、网易数帆、Cisco、丁香园、Shopee 等公司的技术大咖深入探讨交流基于 Apache Kyuubi & Celeborn 的技术实践,助力 Spark 拥抱云原生!

在网易杭州研究院微信公众号回复“231014”,即可下载本次活动PPT。
阿里云 EMR Spark 引擎负责人、Apache Celeborn (Incubating) 的发起人周克勇(一锤)分享了 Apache Celeborn社区的今天和明天,深入浅出介绍了 Celeborn 是什么,Celeborn 的社区、用户、生产使用情况,以及未来发展规划。

网易数帆大数据技术专家、Apache kyuubi PMC Member、Apache Celeborn (Incubating) PPMC Member潘成带来了 Apache Kyuubi 1.8 特性解读,包括在线分析、离线跑批等场景扩展,面向未来的 Kyuubi Flink 引擎流批一体增强,使用 Spark SQL 读写多 Hive 数仓、安全增强等企业特性,并介绍了 Apache Kyuubi 开源社区的最新发展与社区开发者活动。

Shopee 技术专家、Spark PIC、Apache Celeborn(Incubating) PPMC/Apache Spark active Contributor/ Apache HDFS/YARN contributor 朱夷(AngersZhuuuu)通过线上分享了 Apache Celeborn 在 Shopee 的实践,包括Shopee shuffle面临的问题和挑战,Celeborn在shopee 的应用场景,Shopee 使用 Celeborn 遇到的挑战,以及 Shopee 在 Celeborn 上主要做了什么。

思科数据工程师 He Zhao 和 Pengqi Li 分享了 Apache Kyuubi 在 Cisco 的实践,介绍了 Kyuubi Spark 在思科内部的演进过程和应用,重点分享了 Kyuubi 与 DolphinScheduler 的集成,Kyuubi 在 AWS 的实践,以及 Kyuubi GitOps 相关实践。


Apache Kyuubi PMC Member Apache Celeborn (Incubating) Committer / 丁香园大数据基础平台负责人陈福深入分享了丁香园大数据团队基于 Apache Kyuubi 和 Apache Celeborn 的实践,围绕着 Apache Kyuubi 优秀的架构设计和提供的丰富的 Spark 插件(Z-order,鉴权,Arrow 传输优化等),以及 Apache Celeborn 卓越的性能表现,结合丁香园内部的实际经验,给大家带来降本增效实践思考和避坑指南。

网易杭州研究院微信公众号回复“231014”,即可下载本次活动PPT。

精彩尚未结束,10 月 28 日 14:00,网易杭州研究院、网易数帆将于网易杭州园区举办 “数咖说・5 大 Committer 畅聊湖仓新未来” 技术沙龙,邀请数据技术领域领军企业 Databricks、网易数帆及携程的实战大咖襄助,共计 5 位 Apache 明星项目 PMC/Committer 齐聚一堂,畅谈 Spark、Kyuubi、ClickHouse 等热门湖仓技术新发展、新实践、新价值。了解详情:数咖说 | 5 大 Apache Committer 畅聊湖仓新未来
姚琴,易数帆大数据技术专家、Apache Kyuubi PMC Chair / Apache Spark Committer 范文臣,Databricks 开源组技术主管、Apache Spark PMC Member 尤夕多,网易数帆大数据技术专家、Apache Spark Committer 陈少云,携程离线计算平台负责人、Apache Kyuubi PMC Member 何李夫,网易数帆大数据技术专家、Apache Kudu Committer




