暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

让数据同步纵享丝滑,SeaTunnel Web 安装指南

SeaTunnel 2023-10-19
3449

在大数据技术的不断进步之下,Apache SeaTunnel 成为了众多开发者和企业关注的焦点。今天,我们很高兴地宣布:Apache SeaTunnel Web功能已正式发布,带来了前所未有的易用性和效率。

Apache SeaTunnel Web 是 SeaTunnel 项目下的一个新组件,专为那些希望通过图形化界面管理和监控其大数据流处理任务的用户设计。不再需要复杂的命令行操作,开发者和数据工程师现在可以在友好的用户界面上轻松配置、提交和管理他们的任务。

Web Demo 演示

准备Apache SeaTunnel环境

由于Apache SeaTunnel Web使用SeaTunnel Java Client提交作业,运行SeaTunnel Web需要首先准备一个SeaTunnel Zeta引擎服务。

基于SeaTunnel Zeta引擎的使用要求,提交作业的SeaTunnel客户端节点必须与运行作业的SeaTunnel服务器节点具有相同的操作系统和安装目录结构。因此,如果您想在IDEA中运行SeaTunnel Web,您必须在与IDEA相同的机器上安装并运行一个SeaTunnel Zeta引擎服务器。

别担心,下面的步骤将告诉您如何在不同情况下正确安装SeaTunnel Zeta引擎服务器。

在服务器上运行SeaTunnel Web

要在服务器上运行SeaTunnel Web,您需要首先拥有一个SeaTunnel Zeta引擎服务器环境。

如果您还没有,您可以参考以下步骤进行部署。

在服务器节点上部署SeaTunnel Zeta Engine Server

您有两种方式获取SeaTunnel安装包。从源代码构建或从SeaTunnel网站下载。

这里使用的SeaTunnel版本仅用于编写此文档以展示使用的过程,并不一定代表正确的版本。SeaTunnel Web和SeaTunnel引擎有严格的版本依赖性,您可以通过xxx确认具体的版本映射

支持的SeaTunnel版本

  • • 仅SeaTunnel 2.3.3

从源代码构建

  • • 从https://seatunnel.apache.org/download 或 https://github.com/apache/seatunnel.git 获取源代码包

  • • 使用maven命令构建安装包

  •  ./mvnw -U -T 1C clean install -DskipTests -D"maven.test.skip"=true -D"maven.javadoc.skip"=true -D"checkstyle.skip"=true -D"license.skipAddThirdParty"

  • • 然后您可以在 ${Your_code_dir}/seatunnel-dist/target
     中获取安装包,例如:apache-seatunnel-2.3.3-SNAPSHOT-bin.tar.gz

下载安装包

获取SeaTunnel Zeta引擎服务器安装包的另一种方式是从 https://seatunnel.apache.org/download 下载安装包并在线安装插件。

  • • 下载并安装连接器插件(在此过程中,一些第三方依赖包也将自动下载并安装,例如hadoop jar)。您可以从 https://seatunnel.apache.org/docs/2.3.3/start-v2/locally/deployment 获取步骤。

  • • 完成前一步后,您将收到一个可用于在服务器上安装SeaTunnel Zeta引擎服务器的安装包。运行 tar -zcvf apache-seatunnel-2.3.3-SNAPSHOT-bin.tar.gz apache-seatunnel-2.3.3-SNAPSHOT

部署SeaTunnel Zeta服务器

在完成3.1.1或3.1.2之后,您可以获得一个安装包 apache-seatunnel-2.3.3-SNAPSHOT-bin.tar.gz
,然后您可以将其复制到您的服务器节点并参考 https://seatunnel.apache.org/docs/seatunnel-engine/deployment 进行部署。

部署SeaTunnel Zeta客户端

如果您使用SeaTunnel Web,您需要在SeaTunnel Web运行节点中部署一个SeaTunnel Zeta客户端。如果您在同一节点上运行SeaTunnel Zeta服务器和SeaTunnel Web,您可以跳过此步骤

  • • 将 apache-seatunnel-2.3.3-SNAPSHOT-bin.tar.gz
     复制到SeaTunnel Web节点并解压缩 到SeaTunnel Zeta服务器节点的相同路径

  • • 设置 SEATUNNEL_HOME
     为环境变量,就像SeaTunnel Zeta服务器节点一样。

  • • 配置 hazelcast-client.yaml
     参考 https://seatunnel.apache.org/docs/seatunnel-engine/deployment#6-config-seatunnel-engine-client

  • • 运行 $SEATUNNEL_HOME/bin/seatunnel.sh --config $SEATUNNEL_HOME/config/v2.batch.config.template
    ,如果这个作业运行完成,表示客户端部署成功。

下载并安装SeaTunnel Web

  1. 1. 从 https://seatunnel.apache.org/download 下载seatunnel web

  2. 2. 将 apache-seatunnel-web-bin-${project.version}.tar.gz
     复制到您的服务器节点并解压缩。

tar -zxvf apache-seatunnel-web-bin-${project.version}.tar.gz

初始化数据库

编辑 apache-seatunnel-web-bin-${project.version}/script/seatunnel_server_env.sh
 文件,完成已安装的数据库地址、端口、用户名和密码。这里是一个例子:

```
export HOSTNAME="localhost"
export PORT="3306"
export USERNAME="root"
export PASSWORD="123456"
```

  1. 1. 运行初始化 shell sh apache-seatunnel-web-bin-${project.version}/script/init_sql.sh
     如果操作过程中没有错误,就表示初始化成功。

2.4 配置应用并运行SeaTunnel Web后端服务器

  • • 编辑 apache-seatunnel-web-bin-${project.version}/conf/application.yml
     在文件中填写数据库连接信息。

  • • 复制 $SEATUNNEL_HOME/config/hazelcast-client.yaml
     到 apache-seatunnel-web-bin-${project.version}/conf/

  • • 复制 apache-seatunnel-2.3.3-SNAPSHOT/connectors/plugin-mapping.properties
     文件到 apache-seatunnel-web-bin-${project.version}/conf/
     目录.

2.5 启动SeaTunnel Web

cd apache-seatunnel-web-${project.version}
sh bin/seatunnel-backend-daemon.sh start

在浏览器中访问http://127.0.0.1:8801/ui/ ,默认用户名和密码是admin/admin。


新手入门

 SeaTunnel 让数据集成变得 So easy!  3 分钟入门指南

从 0 到 1 快速入门 Apache SeaTunnel 

初探 Apache SeaTunnel / 深入理解 Apache SeaTunnel


 MySQL 同步到 Hive / 从MySQL同步到StarRocks

通过 SeaTunnel 将数据写入 OSS-HDFS 

MySQL 到 Elasticsearch 实时同步解决方案


启动 SeaTunnel / 3 分钟部署 SeaTunnel Zeta 

 部署 Apache SeaTunnel 分布式集群

 

最佳实践

 OPPO 清风 天翼云 马蜂窝

孩子王 哔哩哔哩 唯品会


测试报告

 性能测试报告:SeaTunnel 批量同步数据比 GLUE 快 420%!

最新性能对比报告:SeaTunnel 是 Airbyte 30 倍!

比DataX快20%!SeaTunnel同步计算引擎性能测试全新发布


Apache SeaTunnel





Apache SeaTunnel 是一个分布式、高性能、易扩展、用于海量数据(离线&实时)同步和转化的数据集成平台


仓库地址: 

https://github.com/apache/seatunnel


网址:

https://seatunnel.apache.org/


Apache SeaTunnel 下载地址:

https://seatunnel.apache.org/download

 

衷心欢迎更多人加入!


我们相信,在「Community Over Code」(社区大于代码)、「Open and Cooperation」(开放协作)、「Meritocracy」(精英管理)、以及「多样性与共识决策」等 The Apache Way 的指引下,我们将迎来更加多元化和包容的社区生态,共建开源精神带来的技术进步!


我们诚邀各位有志于让本土开源立足全球的伙伴加入 SeaTunnel 贡献者大家庭,一起共建开源!


提交问题和建议:

https://github.com/apache/seatunnel/issues


贡献代码:

https://github.com/apache/seatunnel/pulls


订阅社区开发邮件列表 : 

dev-subscribe@seatunnel.apache.org


开发邮件列表:

dev@seatunnel.apache.org


加入 Slack:

https://join.slack.com/t/apacheseatunnel/shared_invite/zt-1kcxzyrxz-lKcF3BAyzHEmpcc4OSaCjQ


关注 Twitter: 

https://twitter.com/ASFSeaTunnel




文章转载自SeaTunnel,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论