ogg版本 11.2.1.0.3update获取的列如何获取全部列

我来答

2025-01-07

ogg拉取数据到kakfa的过程中update获取的列只有被修改的列，获取全部列FETCHCOLS(*)加上这个参数发现有的可以获取全部列有的只是获取指定列大佬们知道什么原因吗

{
"table":"wdd.TEST",
"op_type":"U",
"op_ts":"2025-01-07 07:28:39.097574",
"current_ts":"2025-01-07T15:28:45.237000",
"pos":"00000000080003857077",

"before":{
"FEE_ID":"10010",
"LAST_MAINT_TS":"2025-01-07 15:26:56",
"LAST_MAINT_USER_ID":"SYS"
},
"after":{
"FEE_ID":"10010",
"FEE_TYPE":"2",
"CD_ORDER":null,
"CD_BOX":"X16348602",
"DEPOT_ID":null,
"CD_ACC_ITEM":"EIRF",
"NM_ACC_ITEM":"设备交接单费",
"CD_COMP":"AMI022139",

"LAST_MAINT_TS":"2025-01-07 15:28:46",

"LAST_MAINT_USER_ID":"SYS"

}
}

我来答

添加附件

问题补充

2条回答

默认

最新

吾亦可往

考虑以下几个维度

配置文件差异
- 首先检查 OGG（Oracle GoldenGate）和 Kafka 相关的配置文件。可能在不同表的配置中，对于列获取的设置存在差异。例如，某些表在配置抽取（Extract）和投递（Delivery）进程时，可能有特定的列映射（Column Mapping）规则或者参数覆盖了FETCHCOLS(*)这个全局设置。
- 查看 OGG 抽取进程的参数文件（通常是.prm文件），检查是否有针对wdd.TEST表或者其他相关表的COLSECT或GETUPDATEBEFORES等类似参数。这些参数可能会影响列的抽取方式，导致部分表没有按照预期获取全部列。
数据类型和兼容性问题
- 考虑数据类型和 Kafka 接收数据的兼容性。有些数据类型可能在 OGG 向 Kafka 传递过程中出现特殊情况。比如，某些复杂的数据类型（如用户自定义类型、大对象类型等）可能无法正确地按照FETCHCOLS(*)的要求进行处理。
- 检查wdd.TEST表中列的数据类型，特别是那些没有获取全部列的情况。如果 Kafka 的连接器或者数据序列化方式对某些数据类型有特殊要求或者限制，可能会导致只获取部分列。例如，对于二进制数据类型或者时间戳数据类型，可能需要特殊的处理才能正确地获取和传递全部列的值。
OGG 版本和特性差异
- 不同版本的 OGG 可能对FETCHCOLS(*)参数的支持存在差异。有可能是在升级或者使用特定版本时，出现了一些未被发现的特性变化。
- 查看 OGG 的版本信息，检查官方文档中关于该版本在列抽取和传递到 Kafka 方面的说明。可能存在已知的问题或者特殊的设置要求，导致部分表无法正确获取全部列。例如，某些版本可能对更新操作（U操作类型）的列抽取有不同的默认行为或者 Bug。
Kafka 相关因素
- 从 OGG 到 Kafka 的数据投递过程中，Kafka 的消费者或者连接器可能会对数据进行进一步处理。检查 Kafka 消费者配置，看是否有过滤或者转换数据的设置。
- 例如，Kafka 的连接器可能会根据某些规则（如只关注特定列用于后续的流处理）对接收的数据进行二次筛选，导致看起来好像没有获取全部列。同时，检查 Kafka 主题（Topic）的配置，看是否有与数据格式或者列选择相关的设置。