暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

金仓数据库KFS支持按照筛选条件抽样数据校验功能介绍与配置使用说明

原创 KFS补给站 2024-11-06
230

关键字:

金仓数据库、KingbaseFlySync、KFS、KFSMC、数据比对、数据校验

1.功能描述

在异构或同构数据库之间进行数据搬迁或增量数据同步的过程中,进行日常运维巡检或出现入库异常场景时(可能是技术人员误操作、软件缺陷等),需要对两端数据的一致性进行确认。KFS提供了数据校验功能,支持多种校验类型:精简模式、详细模式、MD5模式、增量校验。
按照筛选条件抽样数据属于详细模式中的一种,按照设置的筛选条件分别取源端、目标端的数据,校验数据的详细内容是否一致,以下内容将主要介绍按照条数抽样数据校验。

2.使用场景介绍

按照条数抽样数据校验对应数据库的where操作,主要使用场景:

  1. 表数据量大,仅筛选符合条件的数据进行校验,比如按日期筛选

3.配置使用方式介绍

前提条件:

  1. 数据源组合为KFS实时同步支持的组合
  2. 已安装KFS同步程序并启动,同步服务状态可为offline
  3. 已将KFS节点添加到【KFSMC】-【节点管理】,【KFSMC】-【服务管理】正常显示收集到的同步服务
  4. 在KFSMC所在机器,通过KFS同步程序的ini中配置的数据库连接信息,可正常访问两端数据库
    使用方式:
  5. 通过浏览器访问KFSMC金仓数据同步管理平台
  6. 【数据校验】-【任务管理】-【新建】,【校验类型】选择详细校验,【高级参数】选择【抽样校验】,勾选【按照条件抽样】,下一步到【选择校验对象】界面,【校验设置】录入抽样条件
  7. 【调度管理】,新建、修改、删除调度任务,校验任务必须关联调度任务才能执行
  8. 【调度管理】-【任务列表】-【立即执行】,立即执行校验任务,或按调度任务的设置的策略,等待自动调起
  9. 【数据校验】-【查看结果】,查看任务级的校验进度、执行结果
  10. 【数据校验】-【查看结果】-【查看详情】,查看表级的校验进度及执行结果
  11. 【数据校验】-【查看结果】-【查看详情】-【查看数据】,查看数据级的校验结果
    注意事项:
  12. 【校验设置】设置的条件,对应SQL语句WHERE 条件,需要保证录入的条件拼接在WHERE后在数据库能正确执行

4.示例

  1. 通过浏览器访问KFSMC金仓数据同步管理平台

图片.png
检查【部署管理】-【节点管理】是否已添加节点,检查【部署管理】-【服务管理】是否已收集到同步服务,如果已收集到,可忽略此步骤
图片.png
图片.png

2)【数据校验】-【任务管理】-【新建】,新建校验任务
图片.png
主要分为【填写任务信息】、【选择校验对象】两步
图片.png
第一步:【填写任务信息】
填写校验任务名,选择KFS源端、目标端同步服务,校验类型选择详细模式,对象类型选择数据库,高级参数选择抽样校验-按条件筛选

图片.png
图片.png
其余参数默认即可。【数据库信息转换】、【SSL加密】一般可不设置。【数据库信息转换】针对数据库地址与ini中地址信息不同,需要设置地址映射的场景。【SSL加密】针对Oracle的SSL加密连接的场景。
第二步:【选择校验对象】
通过此界面设置需要校验的表及校验条件,支持通过树状结构勾选或导入txt文件。源端、目标端均需要设置表,两端均选择/导入表后,将自动匹配两端需要校验的表。
图片.png
图片.png
点击【校验设置】,选择条件列的运算符,在源端数值、目标端数值列分别录入条件
图片.png
点击【完成】,生成校验任务
图片.png
3) 【数据校验】-【任务管理】,查看校验任务信息
【数据校验】-【任务管理】-【配置详情】:查看校验任务的配置信息
图片.png
【数据校验】-【任务管理】-【查看】:查看校验任务的校验表的范围
图片.png
【数据校验】-【任务管理】-【刷新过滤器】:当KFS过滤器配置信息变更或同步范围变更后,可通过刷新过滤器功能,刷新校验任务中的配置信息或将检验范围刷新成全量的同步表
图片.png
4) 【调度管理】-【新建】,新建调度任务关联校验任务
图片.png
图片.png

【执行任务】:调度任务关联的校验任务,可关联多个,调度执行时将执行所有关联的校验任务
【调度策略】:支持一次执行或按固定频率调起调度任务,仅一次执行、每月、每周、每日、每小时
图片.png
新建成功后,可在【数据校验】-【调度管理】查看、修改、删除调度任务,【运行】/【暂停】可控制调度任务是否定时调起
5) 【调度管理】-【任务列表】-【立即执行】,立即执行校验任务,或按调度任务的设置的策略,等待自动调起
图片.png
6) 【数据校验】-【查看结果】,查看任务级的校验进度、执行结果
图片.png
7) 【数据校验】-【查看结果】-【查看详情】,查看表级的校验进度及执行结果,支持按照校验状态及对象名搜索
图片.png
【差异结果处理】:手动为校验结果不一致的表快速添加一个新的详细校验或MD5校验任务,相较于新创建校验任务,省略了一些步骤
图片.png
8)【数据校验】-【查看结果】-【查看详情】-【查看数据】,查看数据级的详细的校验结果,支持按照状态筛选
图片.png

「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论