关键字：

电科金仓、KingbaseFlySync、KFS、KFSMC、数据比对、数据校验

1.功能描述

在异构或同构数据库之间进行数据搬迁或增量数据同步的过程中，进行日常运维巡检或出现入库异常场景时（可能是技术人员误操作、软件缺陷等），需要对两端数据的一致性进行确认。
KFS提供了数据校验功能，可以通过浏览器访问，以图形化的操作方式完成两端数据一致性的校验，并提供校验结果。

2.使用场景介绍

需要确认数据库间数据是否一致的场景：
1)数据搬迁后
2)数据实时同步已运行一段时间，日常巡检
3)数据实时同步发生异常
4)其他需要确认数据一致性的场景

3.配置使用方式介绍

前提条件：
1)数据源组合为KFS实时同步支持的组合
2)已安装KFS同步程序并启动，同步服务状态可为offline
3)已将KFS节点添加到【KFSMC】-【节点管理】，【KFSMC】-【服务管理】正常显示收集到的同步服务
4)在KFSMC所在机器，通过KFS同步程序的ini中配置的数据库连接信息，可正常访问两端数据库
5)访问KFSMC的机器，操作系统有GUI的环境，并安装了浏览器，推荐使用chrome
使用方式：

1. 通过浏览器访问KFSMC金仓数据同步管理平台
   2)【数据校验】-【任务管理】，新建、查看、删除校验任务
   3)【调度管理】，新建、修改、删除调度任务，校验任务必须关联调度任务才能执行
   4)【调度管理】-【任务列表】-【立即执行】，立即执行校验任务，或按调度任务的设置的策略，等待自动调起
   5)【数据校验】-【查看结果】，查看任务级的校验进度、执行结果
   6)【数据校验】-【查看结果】-【查看详情】，查看表级的校验进度及执行结果
   7)【数据校验】-【查看结果】-【查看详情】-【查看数据】，查看数据级的校验结果

4.示例

1)通过浏览器访问KFSMC金仓数据同步管理平台

检查【部署管理】-【节点管理】是否已添加节点，检查【部署管理】-【服务管理】是否已收集到同步服务，如果已收集到，可忽略此步骤


2)【数据校验】-【任务管理】-【新建】，新建校验任务

主要分为【填写任务信息】、【选择校验对象】两步

第一步：【填写任务信息】
通过此界面设置校验任务的基础信息。填写校验任务名，选择KFS源端、目标端同步服务（依赖同步服务的数据库连接信息、过滤器的配置等信息），选择校验类型，对象类型选择数据库。【高级参数】与校验类型有关，可按需设置。
【数据库信息转换】、【SSL加密】一般可不设置。【数据库信息转换】针对数据库地址与ini中地址信息不同，需要设置地址映射的场景。【SSL加密】针对Oracle的SSL加密连接的场景。

【校验类型】选项：
【精简模式】：只校验源端、目标端数据条数
【详细模式】：逐行逐列校验源端、目标端的值是否一致
【MD5校验】：校验每行的MD5值是否一致
【增量校验】：与KFS增量数据实时同步并行，仅校验增量部分数据
【无缝校验】：在有增量数据同步时校验两端数据的一致性，通过【详细模式】-【高级参数】-【无缝模式】开启，校验时会对源端、目标端的表加锁，可能影响业务数据写入，根据需要使用。
注意：在有增量数据同步的情况下，使用【精简模式】、【详细模式】、【MD5校验】，可能会导致校验结果显示有差异

第二步：【选择校验对象】
通过此界面设置需要校验的表及校验条件，支持通过树状结构勾选或导入txt文件。源端、目标端均需要设置表，两端均选择/导入表后，将自动匹配两端需要校验的表。


方式1：【选择】，此方式会树状结构展现数据库中的模式名、表名，需要勾选整个模式或少量表时，可采用此方式

方式2：【导入】，当需要勾选的表较多，勾选较繁琐时，可采用此方式


【筛选】：默认不筛选，可筛选符合条件的表进行校验，不符合条件的表将显示不校验。

【校验设置】、【分片】默认不用设置。【校验设置】可设置单表的校验条件，【分片】针对大表设置分片，可在熟悉数据校验模块的功能后使用。


设置完成后，点击【完成】，生成校验任务

3)【数据校验】-【任务管理】，查看校验任务信息
【数据校验】-【任务管理】-【配置详情】：查看校验任务的配置信息

【数据校验】-【任务管理】-【查看】：查看校验任务的校验表的范围

【数据校验】-【任务管理】-【刷新过滤器】：KFS过滤器配置信息变更或同步范围变更后，可通过刷新过滤器功能，刷新校验任务中的配置信息或将检验范围刷新成全量的同步表

4)【调度管理】-【新建】，新建调度任务关联校验任务

【执行任务】：调度任务关联的校验任务，可关联多个，调度执行时将执行所有关联的校验任务
【调度策略】：支持一次执行或按固定频率调起调度任务，仅一次执行、每月、每周、每日、每小时

新建成功后，可在【数据校验】-【调度管理】查看、修改、删除调度任务，【运行】/【暂停】可控制调度任务是否定时调起
5)【调度管理】-【任务列表】-【立即执行】，立即执行校验任务，或按调度任务的设置的策略，等待自动调起

6)【数据校验】-【查看结果】，查看任务级的校验进度、执行结果

7)【数据校验】-【查看结果】-【查看详情】，查看表级的校验进度及执行结果，并支持表级的手动数据修复操作

【开始同步】：点击表的【>>】图标，点击开始同步，可修复当前页选中表的差异数据
【批量同步】：修复当前页差异表的数据
【单表刷新】：慎用，会删除目标端表的数据，并按源端重新拉平表的数据
【差异结果处理】：为校验结果不一致的表快速添加一个新的校验任务
8)【数据校验】-【查看结果】-【查看详情】-【查看数据】，查看数据级的校验结果，并支持数据级的手动数据修复操作

【开始同步】：点击数据的【>>】图标，点击开始同步，可修复选中的差异数据
【批量更新】：同步UPDATE操作的数据
【批量增加】：同步INSERT操作的数据
【批量删除】：同步DELETE操作的数据