关注我们

支持引擎
Spark
Flink
SeaTunnel Zeta
主要功能
使用 Xa 事务
来确保精确一次性
。因此,只支持对支持Xa 事务
的数据库进行精确一次性
操作。您可以设置is_exactly_once=true
来启用它。
描述
支持的数据源信息
| 数据源 | 支持的版本 | 驱动程序 | URL | Maven |
数据库依赖
请下载与 'Maven' 相对应的支持列表,并将其复制到 '$SEATNUNNEL_HOME/plugins/jdbc/lib/'
工作目录中
例如,对于 DB2 数据源:cp db2-connector-java-xxx.jar $SEATNUNNEL_HOME/plugins/jdbc/lib/
数据类型映射
| DB2数据类型 | SeaTunnel数据类型 |
Sink 选项
| 名称 | 类型 | 必填 | 默认值 | 描述 |
com.ibm.db2.jdbc.app.DB2Driver。 | ||||
INSERT ..., query具有更高的优先级。 | ||||
database和 table-name自动生成 SQL,并接收上游输入数据写入数据库。此选项与 query互斥,并具有更高的优先级。 | ||||
query互斥,并具有更高的优先级。 | ||||
insert、 delete和 update操作。 | ||||
batch_size或时间达到 batch_interval_ms时,数据将刷新到数据库。 | ||||
batch_size或时间达到 batch_interval_ms时,数据将刷新到数据库。 | ||||
xa_data_source_class_name。 | ||||
com.db2.cj.jdbc.Db2XADataSource。其他数据源请参考附录。 | ||||
提示
如果未设置 partition_column
,则将以单一并发方式运行;如果设置了partition_column
,则根据任务的并发度并行执行。
任务示例
简单示例:
该示例定义了一个 SeaTunnel 同步任务,通过 FakeSource 自动生成数据并发送到 JDBC Sink。FakeSource 生成总共 16 行数据(row.num=16),每行有两个字段,name(字符串类型)和 age(整数类型)。最终的目标表是 test_table,在表中也将有 16 行数据。在运行此作业之前,您需要在您的 DB2 中创建数据库 test 和表 test_table。如果您尚未安装和部署 SeaTunnel,请按照 安装 SeaTunnel 中的说明安装和部署 SeaTunnel。然后按照 使用 SeaTunnel 引擎快速入门 中的说明运行此作业。
# 定义运行时环境
env {
# 您可以在这里设置 Flink 配置
execution.parallelism = 1
job.mode = "BATCH"
}
source {
# 这是一个示例源插件,仅用于测试和演示源插件功能
FakeSource {
parallelism = 1
result_table_name = "fake"
row.num = 16
schema = {
fields {
name = "string"
age = "int"
}
}
}
# 如果您想要获取更多关于如何配置 SeaTunnel 并查看完整的源插件列表的信息,
# 请访问 https://seatunnel.apache.org/docs/category/source-v2
}
transform {
# 如果您想要获取更多关于如何配置 SeaTunnel 并查看完整的转换插件列表的信息,
# 请访问 https://seatunnel.apache.org/docs/category/transform-v2
}
生成 Sink SQL
该示例不需要编写复杂的 SQL 语句,您可以配置数据库名称和表名称,以自动生成要插入的语句。
sink {
jdbc {
url = "jdbc:db2://127.0.0.1:50000/dbname"
driver = "com.ibm.db2.jdbc.app.DB2Driver"
user = "root"
password = "123456"
query = "insert into test_table(name,age) values(?,?)"
}
# 如果您想要获取更多关于如何配置 SeaTunnel 并查看完整的接收插件列表的信息,
# 请访问 https://seatunnel.apache.org/docs/category/sink-v2
}
sink {
jdbc {
url = "jdbc:db2://127.0.0.1:50000/dbname"
driver = "com.ibm.db2.jdbc.app.DB2Driver"
user = "root"
password = "123456"
# 根据数据库表名自动生成 SQL 语句
generate_sink_sql = true
database = test
table = test_table
}
}
精确一次性:
为了确保精确写入场景,我们保证精确一次性。
sink {
jdbc {
url = "jdbc:db2://127.0.0.1:50000/dbname"
driver = "com.ibm.db2.jdbc.app.DB2Driver"
max_retries = 0
user = "root"
password = "123456"
query = "insert into test_table(name,age) values(?,?)"
is_exactly_once = "true"
xa_data_source_class_name = "com.db2.cj.jdbc.Db2XADataSource"
}
Apache SeaTunnel
精彩推荐
点击阅读原文了解更多⭐️!

文章转载自SeaTunnel,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。





