同步比对是指在数据同步/迁移过程中进行配套的实时数据比对,确保源端和目标端数据的一致性。若存在差异数据,会将结果显示在表画像的 比对差异数量 中。差异数据分为 实时差异 和 超时差异 。实时差异指当前表源端比目的端多的数据行、目的端比源端多的数据行以及两端有差异的数据行的总和;超时差异指超过指定时间的比对差异数量总和(超时时间可通过比对配置项:cmp.sync.op.diffDataTime 调整)。对于差异数据的处理请查看 数据修复 章节。

创建带比对的同步任务
新建同步任务时,任务配置阶段可以选择 开启比对 功能,如下图所示。填写完必填信息后点击 下一步 。

配置表比对过滤字段
点击 源端高级配置 ,可以配置表比对过滤字段和保留字段。选择过滤字段时,不支持过滤主键、唯一索引、分发键以及分区键信息;选择保留字段时,需要同时选择唯一键信息。

同步比对限制说明
- 同步任务中的比对阶段采用滚动比对的机制,依赖采集组件从源端数据库当中采集到的主键信息,分别到两端数据库查询行数据进行数据比对,无法识别未采集的数据在两端数据库里面的差异。
- 源端和目标端表结构需要保持一致,否则可能产生差异误报。
- 实时差异化数据记录到文件中的信息,仅含有每行不一致数据的主键(和分发键),不包括每行的所有字段数据值(超时差异可以选择落盘数据完整信息)。
- 数据表的主键和分发键需要相同。对于主键和分发键不一样的场景,目前不支持。比对是根据主键和分发键值,分别到源端和目标端查询数据。
- 全加增同步任务,在任务进入增量阶段后(全量任务完成,并且已经有增量数据同步),界面全量比对差异数据量不会再更新。
- 同步比对,配置的比对过滤字段不支持主键、唯一索引、分发键、分区键。
- 同步比对,无法过滤掉事务的第一条delete语句。
- 定时一致性校验任务,时间间隔配置建议至少1分钟级别以上,否则可能出现下发校验过于频繁,导致无法正常运行。
「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。




