当大数据调度系统遇见数据湖，神奇的数据处理能力解锁了！

SeaTunnel 2022-07-09

643

点亮 ⭐️ Star · 照亮开源之路

GitHub:

https://github.com/apache/incubator-seatunnel

活动简介

数据湖作为一个企业级的数据管理平台，用于分析不同类型的数据源。它既可以满足实时分析的需要，也可以作为数据仓库，满足批量数据挖掘的需要。在数据湖之上，借助一个任务调度系统高效、稳定且易于扩展的协调能力来扩充数据湖的外部能力，如数据摄取、数据存储、数据探索、数据发现、数据治理等，数据用户将可以轻松地与数据湖互动，而不必关注太多的技术细节。

本次活动中，最受欢迎的云原生大数据工作流调度平台 Apache DolphinScheduler 将与最受欢迎的数据湖产品 Apache Hidi 强强联手，带来调度系统与数据湖强强联手的最佳实践，通过实践案例，解析云原生时代下，大数据处理的神奇能力。

Apache DolphinScheduler[1]：一个云原生并带有强大可视化界面的大数据工作流调度平台，致力于让调度变得更加容易。截至目前已累计在 1000 多家公司生产环境中作为企业的核心调度系统，包括 IBM、腾讯、科大讯飞、美团、360、联通、顺丰等，覆盖金融、电信、零售、云计算、数据处理等广泛领域。贡献者超过 350+ 人，以开源社区的模式集合全球顶尖高科技公司的共同贡献，打造全球极致简单易用、稳定可扩展的 DataOps 平台。

Apache Hudi[2] 作为新一代流式数据湖平台。支持插入、更新、删除、增量读取等核心特性，目前已在国内外包括AWS、Uber、阿里巴巴、腾讯、字节跳动、华为、顺丰科技、滴滴、快手、Shoppe等大公司生产落地，社区贡献者290+，以开源共建方式共同打造极致性能、易用性好的数据湖平台。

本次 Meetup 邀请来自阿里巴巴、Shopee、宇动源、传智教育的技术专家，带来一线实践分享，帮助开发者更好的将 Hudi、DolphinScheduler 应用于实际业务场景。

活动详情

活动报名

扫描下方二维码/点击链接/点击阅读原文, 别再犹豫，立即参与活动吧！

https://www.slidestalk.com/m/987/hudiweb1

Apache SeaTunnel

Apache SeaTunnel(Incubating) 是一个分布式、高性能、易扩展、用于海量数据（离线&实时）同步和转化的数据集成平台。

仓库地址：

https://github.com/apache/incubator-seatunnel

网址：

https://seatunnel.apache.org/

Proposal：

https://cwiki.apache.org/confluence/display/INCUBATOR/SeaTunnelProposal

Apache SeaTunnel(Incubating) 2.1.0 下载地址：

https://seatunnel.apache.org/download

衷心欢迎更多人加入！

能够进入 Apache 孵化器，SeaTunnel(原 Waterdrop) 新的路程才刚刚开始，但社区的发展壮大需要更多人的加入。我们相信，在「Community Over Code」（社区大于代码）、「Open and Cooperation」（开放协作）、「Meritocracy」（精英管理）、以及「多样性与共识决策」等 The Apache Way 的指引下，我们将迎来更加多元化和包容的社区生态，共建开源精神带来的技术进步！

我们诚邀各位有志于让本土开源立足全球的伙伴加入 SeaTunnel 贡献者大家庭，一起共建开源!

提交问题和建议：

https://github.com/apache/incubator-seatunnel/issues

贡献代码：

https://github.com/apache/incubator-seatunnel/pulls

订阅社区开发邮件列表 :

dev-subscribe@seatunnel.apache.org

开发邮件列表：

dev@seatunnel.apache.org

加入 Slack:

https://join.slack.com/t/apacheseatunnel/shared_invite/zt-123jmewxe-RjB_DW3M3gV~xL91pZ0oVQ

关注 Twitter: