【每周 FAQ】第一期 | 回答你关于 Apache SeaTunnel 的疑问

点击蓝字 关注我们

为了让 Apache SeaTunnel 的广大用户和爱好者对于此项目的疑问得到及时快速的解答，社区特发起此次【每周 FAQ】栏目，希望可以解决大家的实际问题。

关于本栏目的要点：

1. 本栏目每周将通过腾讯文档（每周更新）从社区微信群收集 10-30 个问答，并在每周五整理具有典型代表意义的问答后发布，供大家参考。

2. 所有人均可登录文档并提出问题，每人限 2 个提问，提问范围包括：

1. 关于 Apache SeaTunnel 的使用问题和技术性问题；

2. 在实际应用中遇到的瓶颈问题；

3. 参与社区贡献遇到的困难；

4. 关于社区发展的疑问。

3. 资源有限，请勿提问项目无关问题。

4. 【每周FAQ】是一个社区互助的项目，发起宗旨是鼓励社区成员相互帮助，因此，欢迎大家积极踊跃志愿回答提出的疑问，在腾讯文档中写下答案即可。（高手们都别“潜水”了，出来露一手😜😎）

5. 在社群里已经提问的问题，请勿在文档中重复提问，节约资源。

6. 本栏目招募志愿者，有兴趣参与的小伙伴请加微信小助手 17743592110 报名。

SeaTunnel 要求Spark版本最低是2.4么？

SeaTunnel 2.1.x 可以支持Spark2.3。

SeaTunnel操作Hive数据的时候还需要额外加什么依赖jar包么？

https://seatunnel.apache.org/docs/2.3.1/connector

v2/source/Hive#description 中有说明，如果用的是Spark/Flink引擎，需要Spark/Flink已经集成好了Hive。

如果用SeaTunnel Zeta引擎，需要将seatunnel-hadoop3-3.1.4-uber.jar 和 hive-exec-2.3.9.jar 放到 $SEATUNNEL_HOME/lib/ 目录下。

SeaTunnel支持图片、音视频的采集吗？

暂时不支持。

DolphinSchedulercdc模式，不够20000条不能写入？

升级DolphinScheduler，现问题是因为sink中没有设置source_table_name。

DolphinScheduler是不是只能集成SeaTunnel+2.1.X版本？有官方文档或教程吗？

社区已经提供了支持最新SeaTunnel版本的PR，待merge。

SeaTunnel如何设置占用的内存大小？

在$SeaTunnel_HOME/config目录中有jvm_options文件和jvm_client_options文件，jvm_options文件控制的是Zeta Cluster模式下的进程的内存。jvm_client_options控制的是提交作业的client和local模式下的作业的内存。

SeaTunnel完成从HDFS的数据同步到MySQL中，怎么写？

参考官方文档HDFS Source和JDBC Sink连接器：https://seatunnel.apache.org/docs/2.3.1/about。

执行完成 sh install-pulgins之后，运行官方给的demo，还是报错plugin找不到是怎么回事？

确认下$SeaTunnel_HOME/connectors/SeaTunnel 目录下是否有对应的插件jar包

Sink 之前先清理下数据, 类似于做个 truncate table  这样的操作, 如何配置sink?

这个目前还不支持，需要等社区SaveMode这个特性做完。

SeaTunnel 使用zeta引擎 -i传参的时候，配置文件里面应该怎么写？

现在zeta暂时不支持-i。

SeaTunnel支持Doris到MySQL吗？

支持。

有无数把PostgreSQL用cdc的方式同步到Hudi数据湖，SeaTunnel是否支持？

PG cdc有PR，待merge，https://github.com/apache/incubator-seatunnel/pull/3867/files。

使用http source请求api数据，但是需要先请求到token，然后把token传递给下一个http source作为参数，这个具体怎么实现呢？

1. 写shell请求token

2.作为SeaTunnel前置依赖 

3.传递token到SeaTunnel作业。

Apache SeaTunnel