关键字:
金仓数据库、KingbaseFlySync、KFS、KFSMC、数据比对、数据校验
1.功能描述
在异构或同构数据库之间进行数据搬迁或增量数据同步的过程中,进行日常运维巡检或出现入库异常场景时(可能是技术人员误操作、软件缺陷等),需要对两端数据的一致性进行确认。KFS提供了数据校验功能,支持多种校验类型:精简模式、详细模式、MD5模式、增量校验。
按照筛选条件抽样数据属于详细模式中的一种,按照设置的筛选条件分别取源端、目标端的数据,校验数据的详细内容是否一致,以下内容将主要介绍按照条数抽样数据校验。
2.使用场景介绍
按照条数抽样数据校验对应数据库的where操作,主要使用场景:
- 表数据量大,仅筛选符合条件的数据进行校验,比如按日期筛选
3.配置使用方式介绍
前提条件:
- 数据源组合为KFS实时同步支持的组合
- 已安装KFS同步程序并启动,同步服务状态可为offline
- 已将KFS节点添加到【KFSMC】-【节点管理】,【KFSMC】-【服务管理】正常显示收集到的同步服务
- 在KFSMC所在机器,通过KFS同步程序的ini中配置的数据库连接信息,可正常访问两端数据库
使用方式: - 通过浏览器访问KFSMC金仓数据同步管理平台
- 【数据校验】-【任务管理】-【新建】,【校验类型】选择详细校验,【高级参数】选择【抽样校验】,勾选【按照条件抽样】,下一步到【选择校验对象】界面,【校验设置】录入抽样条件
- 【调度管理】,新建、修改、删除调度任务,校验任务必须关联调度任务才能执行
- 【调度管理】-【任务列表】-【立即执行】,立即执行校验任务,或按调度任务的设置的策略,等待自动调起
- 【数据校验】-【查看结果】,查看任务级的校验进度、执行结果
- 【数据校验】-【查看结果】-【查看详情】,查看表级的校验进度及执行结果
- 【数据校验】-【查看结果】-【查看详情】-【查看数据】,查看数据级的校验结果
注意事项: - 【校验设置】设置的条件,对应SQL语句WHERE 条件,需要保证录入的条件拼接在WHERE后在数据库能正确执行
4.示例
- 通过浏览器访问KFSMC金仓数据同步管理平台

检查【部署管理】-【节点管理】是否已添加节点,检查【部署管理】-【服务管理】是否已收集到同步服务,如果已收集到,可忽略此步骤


2)【数据校验】-【任务管理】-【新建】,新建校验任务

主要分为【填写任务信息】、【选择校验对象】两步

第一步:【填写任务信息】
填写校验任务名,选择KFS源端、目标端同步服务,校验类型选择详细模式,对象类型选择数据库,高级参数选择抽样校验-按条件筛选


其余参数默认即可。【数据库信息转换】、【SSL加密】一般可不设置。【数据库信息转换】针对数据库地址与ini中地址信息不同,需要设置地址映射的场景。【SSL加密】针对Oracle的SSL加密连接的场景。
第二步:【选择校验对象】
通过此界面设置需要校验的表及校验条件,支持通过树状结构勾选或导入txt文件。源端、目标端均需要设置表,两端均选择/导入表后,将自动匹配两端需要校验的表。


点击【校验设置】,选择条件列的运算符,在源端数值、目标端数值列分别录入条件

点击【完成】,生成校验任务

3) 【数据校验】-【任务管理】,查看校验任务信息
【数据校验】-【任务管理】-【配置详情】:查看校验任务的配置信息

【数据校验】-【任务管理】-【查看】:查看校验任务的校验表的范围

【数据校验】-【任务管理】-【刷新过滤器】:当KFS过滤器配置信息变更或同步范围变更后,可通过刷新过滤器功能,刷新校验任务中的配置信息或将检验范围刷新成全量的同步表

4) 【调度管理】-【新建】,新建调度任务关联校验任务


【执行任务】:调度任务关联的校验任务,可关联多个,调度执行时将执行所有关联的校验任务
【调度策略】:支持一次执行或按固定频率调起调度任务,仅一次执行、每月、每周、每日、每小时

新建成功后,可在【数据校验】-【调度管理】查看、修改、删除调度任务,【运行】/【暂停】可控制调度任务是否定时调起
5) 【调度管理】-【任务列表】-【立即执行】,立即执行校验任务,或按调度任务的设置的策略,等待自动调起

6) 【数据校验】-【查看结果】,查看任务级的校验进度、执行结果

7) 【数据校验】-【查看结果】-【查看详情】,查看表级的校验进度及执行结果,支持按照校验状态及对象名搜索

【差异结果处理】:手动为校验结果不一致的表快速添加一个新的详细校验或MD5校验任务,相较于新创建校验任务,省略了一些步骤

8)【数据校验】-【查看结果】-【查看详情】-【查看数据】,查看数据级的详细的校验结果,支持按照状态筛选





