SeaTunnel 开源之夏学生项目申请开启，单项最高获 12000 元奖金！

SeaTunnel 2023-05-09

477

点击蓝字关注我们

通知！

开源之夏 2023 学生报名已经正式开启！Apache SeaTunnel(Incubating)今年继续参与开源之夏的活动，2023 年 4 月 29 日-6 月 3 日 15:00 UTC+8，同学们可以在开源之夏官网 https://summer-ospp.ac.cn/ 找到 SeaTunnel 下的项目，挑选自己感兴趣的课题，通过项目相对应导师联系方式与导师沟通并准备申请资料，提交申请。

开源之夏 2023 介绍

开源之夏是由中科院软件所“开源软件供应链点亮计划”发起并长期支持的一项暑期开源活动，旨在鼓励在校学生积极参与开源软件的开发维护，培养和发掘更多优秀的开发者，促进优秀开源软件社区的蓬勃发展，助力开源软件供应链建设。

开源之夏联合国内外开源社区，针对重要开源软件的开发与维护提供项目任务，面向全球高校学生开放报名。中选学生将在项目资深开发者（项目导师）的指导下，参与开源贡献，完成开发工作并贡献给开源社区。

零距离体验顶级开源项目、跟着技术大牛提升研发能力、用成果赢取丰厚奖金和证书等，都是此次活动的亮点，非常值得一试。

奖金设置

● 进阶难度：学生结项奖金税前人民币 12000 元。

● 基础难度：学生结项奖金税前人民币 8000 元。

活动流程

当前，活动已经进行到学生注册、遇到事沟通项目、提交项目申请的阶段，满足条件的学生均可报名参加。今年 11 月，活动将进入尾声，公布年度优秀学生名单。

可参考学生指南查看报名详细流程：https://summer-ospp.ac.cn/help/student/

SeaTunnel 社区介绍

SeaTunnel(原名Waterdrop) 是一个云原生的高性能数据集成平台，支持海量数据的实时同步,每天可以稳定、高效地同步数百亿条数据。美国时间 2021 年 12 月 9 日， SeaTunnel以全票通过的优秀表现正式成为 Apache 孵化器项目，这也是 Apache 基金会中第一个诞生自中国的数据集成平台项目。目前，SeaTunnel 在GitHub 上Star 数达 5.1k+，社区达到5000+人规模。2017 年对外开源后，SeaTunnel 已经发布了 40多个版本，并经过大量企业生产使用，在 Bilibili、新浪、水滴筹、搜狗、Shopee、唯品会等公司的生产实践中，广泛应用于海量数据集成、数据 ETL、数据聚合以及多源数据处理等场景中，贡献者 170+。

项目官网：https://seatunnel.apache.org/

GitHub：https://github.com/apache/incubator-seatunnel

加入Slack：https://join.slack.com/t/apacheseatunnel/shared_invite/zt-1kcxzyrxz-lKcF3BAyzHEmpcc4OSaCjQ

SeaTunnel 开源之夏 2023 项目课题

本次活动，Apache SeaTunnel(Incubating)开源社区共有 2 个项目课题经过组委会评审，同学们可在链接页面中挑选自己感兴趣的项目：https://summer-ospp.ac.cn/org/projectlist?lang=zh&pageNum=1&pageSize=50

1 优化Apache SeaTunnel Zeta

作业提交流程

项目链接：https://summer-ospp.ac.cn/org/prodetail/23b660195?list=org&navpage=org

项目难度：进阶

支持语言：中文&英文

项目社区导师：Lucifer Tyrant

导师联系邮箱：tyrantlucifer@gmail.com

技术领域：Java

开源协议：Apache License 2.0

项目简述：

当前Zeta引擎在提交作业时，Client 会先在本地加载连接器的插件，然后将连接器 jar 包和连接器运行时依赖的 jar 包（比如数据库驱动包）的绝对路径保存在作业的逻辑执行计划中。任务提交到 Zeta 引擎的服务端后，服务端会从逻辑执行计划中获取每个 Task中需要的 jar包的路径，然后用这些路径从服务端机器上加载这些 jar 包并运行。

这种方式有两个很强的限制：

1. 服务端需要拥有所有连接器及其依赖的 jar 包。

2. Client 的安装路径必须和服务端完全一样，而且所有节点的安装路径也必须一样。

这会导致 SeaTunnel Zeta 的引擎端比较重，在做 docker 或 k8s 提交作业时，容器的体积会非常大。

在这个题目中，我们需要优化 Zeta 引擎执行作业的逻辑，服务端只应该有引擎的核心 jar 包，所有的连接器包都在 Client 端，当提交作业时，Client 端应该在需要的 jar 包上传到服务端，而不是仅仅保留 jar 包的路径。服务端执行作业时，下载该作业需要的 jar 包，然后加载。作业运行完成后，jar 包删除。

项目产出要求：

详细的设计文档
功能代码
测试代码
文档

项目技术要求：

java语言
rpc通信
高并发编程

项目成果仓库：

https://github.com/apache/incubator-seatunnel

2 实现 Apache SeaTunnel Zeta

中传递配置文件参数的功能

项目链接：

https://summer-ospp.ac.cn/org/prodetail/23b660198?list=org&navpage=org

项目难度：基础

支持语言：中文

项目社区导师：liugddx

导师联系邮箱：liugddx@gmail.com

技术领域：Java、Shell

开源协议：Apache License 2.0

项目简述：

目前 SeaTunnel 有 Flink、Spark、Zeta 三种引擎，配置文件格式使用 hocon 格式。Flink、Spark 引擎可以通过-i命令行参数传递自定义的值去替换配置文件中的占位符。这样可以方便用户将一些在配置任务时拿不到的参数通过命令的方式传递进去。目前 Zeta 还不具备这样的能力。

本题我们需要让 Zeta 引擎也具备这样的能力，并且可以在 docker/k8s/ 本地测试通过。所以需要做以下任务：

1、Zeta具备 -i 传递自定义参数能力

2、编写 Dockerfile 将 Zeta 打包成镜像并运行 -i 的命令行解析任务

3、编写 k8s 的 yaml 文件在 k8s 部署 Zeta 并测试-i 的命令行解析任务

项目产出要求：

详细的设计文档
功能代码
测试代码
文档

项目技术要求：

java语言
Shell

项目成果仓库：

https://github.com/apache/incubator-seatunnel

欢迎同学们报名 SeaTunnel 的项目，为社区建设添砖加瓦的同时，获得丰富的开源经历和丰厚的奖金回报！

为加快项目报名申请速度，建议同学们可以主动向导师发送邮件进行沟通，附上自己的方案和简历，让我们更加了解你，并认真了解社区项目文档，与导师充分沟通。

我们还有专门的开源之夏活动交流群，给大家解答关于项目和参与活动的疑惑，添加小助手 17743592110 微信，并备注“开源之夏 2023”，我们将拉您进入交流群。

Apache SeaTunnel

Apache SeaTunnel(Incubating) 是一个分布式、高性能、易扩展、用于海量数据（离线&实时）同步和转化的数据集成平台

仓库地址：

https://github.com/apache/incubator-seatunnel

网址：

https://seatunnel.apache.org/

Proposal：

https://cwiki.apache.org/confluence/display/INCUBATOR/SeaTunnelPro

Apache SeaTunnel(Incubating) 下载地址：

https://seatunnel.apache.org/download

衷心欢迎更多人加入！

我们相信，在「Community Over Code」（社区大于代码）、「Open and Cooperation」（开放协作）、「Meritocracy」（精英管理）、以及「多样性与共识决策」等 The Apache Way 的指引下，我们将迎来更加多元化和包容的社区生态，共建开源精神带来的技术进步！

我们诚邀各位有志于让本土开源立足全球的伙伴加入 SeaTunnel 贡献者大家庭，一起共建开源!

提交问题和建议：

https://github.com/apache/incubator-seatunnel/issues

贡献代码：

https://github.com/apache/incubator-seatunnel/pulls

订阅社区开发邮件列表 :

dev-subscribe@seatunnel.apache.org

开发邮件列表：

dev@seatunnel.apache.org

加入 Slack:

https://join.slack.com/t/apacheseatunnel/shared_invite/zt-1cmonqu2q-ljomD6bY1PQ~oOzfbxxXWQ

关注 Twitter: