关键字:
中电科金仓、KingbaseFlySync、KFS、KFSMC、电科金仓、数据校验、数据比对、校验增量数据、增量校验
1. 功能描述
KFS增量校验是数据校验与增量数据实时同步并行,仅校验增量部分数据是否一致的方式。校验解析到源端的增量数据与目标端数据库中数据,不需要连接源端数据库查询数据,对源端业务无影响。
2. 使用场景介绍
在数据库迁移、数据汇聚、容灾备份和大数据平台建设等场景下,源端业务不停机,且存量数据大,数据校验耗时长,仅校验增量数据一致性的场景。
3. 配置使用方式介绍
1.参考《Kingbase FlySync 安装部署手册》部署金仓数据同步管理平台(KFSMC)、同步程序(KFS),并启动服务
2.KFSMC的部署管理-节点管理,添加KFS节点。
1) 登录KFSMC
2) 点击部署管理-节点管理-新建,添加KFS源端、目标端节点
3) 点击数据校验-任务管理,新建校验任务,选择增量校验,填写触发大小、触发时间
4) 点击数据校验-调度管理,新建调度任务,关联校验任务
5) 点击数据校验-调度管理-立即执行,或等待校验任务定时自动调起
6) 点击数据校验-查看结果,查看校验任务执行结果
4. 示例
4.1 前置条件
1.参考《Kingbase FlySync 安装部署手册》部署金仓数据同步管理平台(KFSMC)、同步程序(KFS),同步服务已启动,且服务状态正常
2.KFSMC的部署管理-节点管理,已添加KFS节点
4.2 操作步骤
1.创建数据校验任务,校验类型选择【增量校验】,触发大小设置为 10,触发时间设置为 10min(注:触发大小和触发时间都是自定义的,触发大小,指主键值个数超过多少个时触发,时间单位有分、时、天,指上次执行成功后间隔多久触发)


2.选择要校验的表


3.创建调度任务,关联增量校验任务,创建完成后,点击立即执行


4.3 结果展示
1.执行调度任务,会在结果页面生成一个持续在运行的数据校验任务


2.源端插入数据 1 条数据,等待 10min 会自动触发一次数据校验



3.在 10min 内,在源端插入 11 条数据,会自动触发一次数据校验


4.4 注意事项
1. 当前支持 oracle-kes、kes-kes、sqlserver-kes、oracle-dws组合
2. 校验的是解析到的 kufl 数据和目标端数据的一致性,故如果解析异常,无法识别到源端、目标端数据是否一致
参考资料
《Kingbase FlySync 安装部署手册》、《Kingbase FlySync 管理手册》、《Kingbase FlySync 版本限制手册》




