暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

中电科金仓KFS支持校验增量数据功能介绍与配置使用说明

原创 KFS补给站 2025-02-08
221


关键字:

中电科金仓、KingbaseFlySync、KFS、KFSMC、电科金仓、数据校验、数据比对、校验增量数据、增量校验

1. 功能描述

KFS增量校验是数据校验与增量数据实时同步并行,仅校验增量部分数据是否一致的方式。校验解析到源端的增量数据与目标端数据库中数据,不需要连接源端数据库查询数据,对源端业务无影响。

2. 使用场景介绍

在数据库迁移、数据汇聚、容灾备份和大数据平台建设等场景下,源端业务不停机,且存量数据大,数据校验耗时长,仅校验增量数据一致性的场景。

3. 配置使用方式介绍

1.参考《Kingbase FlySync 安装部署手册》部署金仓数据同步管理平台(KFSMC)、同步程序(KFS),并启动服务

2.KFSMC的部署管理-节点管理,添加KFS节点。

1) 登录KFSMC

2) 点击部署管理-节点管理-新建,添加KFS源端、目标端节点

3) 点击数据校验-任务管理,新建校验任务,选择增量校验,填写触发大小、触发时间

4) 点击数据校验-调度管理,新建调度任务,关联校验任务

5) 点击数据校验-调度管理-立即执行,或等待校验任务定时自动调起

6) 点击数据校验-查看结果,查看校验任务执行结果

4. 示例

4.1 前置条件

1.参考《Kingbase FlySync 安装部署手册》部署金仓数据同步管理平台(KFSMC)、同步程序(KFS),同步服务已启动,且服务状态正常

2.KFSMC的部署管理-节点管理,已添加KFS节点

4.2 操作步骤

1.创建数据校验任务,校验类型选择【增量校验】,触发大小设置为 10,触发时间设置为 10min(注:触发大小和触发时间都是自定义的,触发大小,指主键值个数超过多少个时触发,时间单位有分、时、天,指上次执行成功后间隔多久触发) 

图片.png

2.选择要校验的表

图片.png

3.创建调度任务,关联增量校验任务,创建完成后,点击立即执行

图片.png

 

 

 

4.3 结果展示

1.执行调度任务,会在结果页面生成一个持续在运行的数据校验任务

图片.png

2.源端插入数据 1 条数据,等待 10min 会自动触发一次数据校验

图片.png

图片.png

 

3.在 10min 内,在源端插入 11 条数据,会自动触发一次数据校验

 图片.png

图片.png

 

4.4 注意事项

1. 当前支持 oracle-kes、kes-kes、sqlserver-kes、oracle-dws组合

2. 校验的是解析到的 kufl 数据和目标端数据的一致性,故如果解析异常,无法识别到源端、目标端数据是否一致

参考资料

《Kingbase FlySync 安装部署手册》、《Kingbase FlySync 管理手册》、《Kingbase FlySync 版本限制手册》



「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论