暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

GoldenDB数据修复

Whill 2025-05-06
479


数据修复功能能够修正比对过程中检测到的差异数据,从而使源端和目标端数据库表中的数据保持一致。

任务列表界面 

  • 选择菜单 同步任务管理 -> 任务列表 ,进入任务列表界面。

  • 在任务列表中,差异比对分为 实时差异 和 超时差异 。实时差异数量和超时差异数量显示在比对差异数量下方。如果增量比对阶段的实时差异在360分钟内未被消除,则会被标记为超时差异。

表视图 

  • 在表视图中,可以查看每张表的具体差异详情,包括仅源端数据、仅目标端数据、两端差异化数据以及超时差异。

差异修复 

  • 快照比对和同步比对支持在表视图界面进行 修数 或 生成SQL 

  • 修复操作支持批量修复和单表修复。修复完成后,界面会显示修复成功或失败的提示,用户还可以在 修复记录 中查看历史修复记录。

同步比对数据修复

全量比对修复

在全量表视图中,可以通过配置修复黑白名单来对产生差异化的表进行批量修复。

生成 SQL

  1. 在下拉框中选择 黑名单 或 白名单 以指定要修复的表(修复黑名单和白名单不能同时选择),点击 批量操作->生成 SQL ,即可为目标端差异化表生成修复 SQL 语句。

  2. 触发生成 SQL 成功后,界面右上角会弹出提示“修复或生成sql指令下发成功”。

  3. 生成 SQL 成功后,界面右上角会弹出提示“本地修复/生成 SQL 成功”。

  4. 生成的修复 SQL 语句可以在比对组件用户目录下的 ./dataComparator/data/diffSql 目录中查看,实时差路径可以在界面侧查看。

修数

  1. 在下拉框中选择 黑名单 或 白名单 以指定要修复的表(修复黑名单和白名单不能同时选择),点击 批量操作->修数 ,即可对目标端差异化表进行修复。

  2. 修复完成后,界面会展示本次修复结果,并在右上角弹出提示“本地修复/生成 SQL 成功”。

  3. 点击 其它->修复记录 ,可以查看最多最近十次的历史修复记录。

增量比对修复

在增量表视图中,可以对产生差异化的单表进行修复,也可以通过多选框对多表进行批量修复。

修复操作类型

  1. 增量修复/生成 SQL包含以下四种情况:

    • 单表生成 SQL :在待修复的表操作栏下,点击 更多->生成 SQL ,可以为单个目标端差异化表生成修复SQL语句。

    • 单表修数 :在待修复的表操作栏下,点击 修数 ,可以对单个差异化表执行修复操作。

    • 多表生成 SQL :在表视图页面,勾选待修复的差异化表前的多选框,点击 批量操作->生成 SQL ,可以批量生成多张目标端差异化表的修复 SQL 语句。

    • 多表修复 :在表视图页面,勾选待修复的差异化表前的多选框,点击 批量操作->修数 ,可以批量对有差异化的表进行修复操作。

  2. 触发生成 SQL 或修复操作成功后,界面右上角会弹出提示“触发修复或生成 SQL 成功”。

  3. 生成 SQL 或修复操作成功后,界面右上角会弹出提示“本地修复/生成 SQL 成功”。

  4. 生成的修复 SQL 语句可以在比对组件用户目录下的 ./dataComparator/data/diffSql 目录中查看,实时差异路径可以在表视图页面查看。

  5. 点击 其它->修复记录 ,可以查看最多最近十次的历史修复记录。

超时修复

在任务视图中,点击 更多->超时修复 ,可以对表的超时差异化进行修复操作。超时修复属于任务级修复,修复所有差异化表,但不展示修复结果。



快照比对数据修复

在快照表视图中,可以对有差异化的单表进行修复,也可以通过多选框对多表进行批量修复。

修复操作类型

  1. 快照修复/生成 SQL 包含以下四种情况:

    • 单表生成 SQL :在待修复的表操作栏下,点击 更多->生成 SQL ,可以为单个目标端差异化表生成修复 SQL 语句。

    • 单表修复 :在待修复的表操作栏下,点击 修数 ,可以对单个差异化表执行修复操作。

    • 多表生成 SQL :在表视图页面,勾选待修复的差异化表前的多选框,点击 批量操作->生成 SQL ,可以批量生成多张目标端差异化表的修复 SQL 语句。

    • 多表修复 :在表视图页面,勾选待修复的差异化表前的多选框,点击 批量操作->修数 ,可以批量对有差异化的表进行修复操作。

  2. 修复或生成 SQL 成功后,界面右上角会弹出提示“本地修复/生成 SQL 成功”。

  3. 生成的修复 SQL 语句可以在比对组件用户的实时差异路径目录中查看。

  4. 点击 其它->修复记录 ,可以查看最多最近十次的历史修复记录。


数据修复限制说明

  • 全量和增量比对的修数操作 
    • 全量比对的差异化数据仅支持一次性修复,而增量比对的差异化数据允许进行多次修复操作。
  • 快照比对的数据修复 
    • 在快照比对中,只有在全库白名单表比对完成且最后一次滚动比对完成后,才允许进行数据修复。修复完成后,若需要清 0,请注意可能会有短暂延迟,此期间禁止再次点击修复。
  • 表级生成SQL或修复的控制 
    • 全量比对的差异化数据可以通过指定白名单或黑名单来控制表级生成 SQL 或修复。白名单和黑名单互斥,选择一个后另一个自动不可用。若不输入任何内容,则默认所有有差异的表都将参与修复或生成 SQL。
  • 增量比对的数据修复 
    • 增量比对的差异化数据可以通过界面侧的表画像复选框,选择部分或全部表进行修复,或者仅生成 SQL 到文件。已转化为超时差异的数据可以直接点击超时修复进行修复。
  • 修复操作的建议 
    • 建议在阶段性业务停止的情况下进行增量修复,以避免业务同步过程中的数据变动影响修复流程。
    • 修复期间不能进行优停或比对暂停操作,优停或比对暂停期间不能触发修复操作。
    • 数据表的主键和分发键必须相同。
    • 对于全量加增量任务,只有在全量任务完成后且已有增量数据同步时,才能执行修复操作。
    • 同步任务不支持修复自增列。
  • 修复间隔和数量限制 
    • 前一次修复或生成 SQL 完成后,至少需间隔1分钟才能进行下一次修复或生成 SQL。
    • 比对修复或生成 SQL 时,建议差异化条数不超过 10 万条。
「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论