暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

人大金仓-数据不”流浪“|金仓KFS的TB级全库数据校验

数据猿 2023-09-27
312


关键字:人大金仓、KFS、数据校验

数据不”流浪“|金仓KFS的TB级全库数据校验

背景:

某财务系统数据库服务采用2节点Oracle RAC实例,现需要进行国产化项目改造,将数据迁移到4台数据库服务器部署的一主三备KES主备高可用集群中。


 

 

全库数据量级高达TB级。财务系统数据至关重要,且停机窗口时间有限,客户要求在数据迁移后的10小时内完成数据一致性确认。而且面对繁杂的数据类型,那么大的数据量,数据一致性校验又要求是对全库数据内容的逐条校验,对常规的校验工具来说,几乎是不可能的任务。

而事实也证明了本次任务难度:项目验证阶段,现场技术人员小刘采用的校验工具无法按时完成校验任务。

数据库国产化迁移,如何确认全库迁移数据是否一致?

TB级数据,怎么才能快速逐条校验?

单表巨大大,数据校验无从下手?

数据库迁移如何保障每条数据安全抵达”新家园“,不”流浪“。小刘求助金仓MOSS,开启”灵魂发问“.........

 

金仓MOSS:

嘿~终于等到你 还好我没放弃!

感谢关注“金仓智能数据站”平台,这里是金仓MOSS。

关于数据库的任何问题,我都可以为您解答。

 

小刘:

TB级数据迁移后,怎么才能完成数据一致性校验?

金仓MOSS:

推荐使用金仓异构增量数据同步产品KFS,支持TB级大数量的快速校验,同时也支持差异数据修复,最大程度确保数据稳定。请问您的数据迁移场景具体情况?

 

小刘:

异构数据库迁移,Oracle 12c rac迁移至KES集群。

金仓MOSS:

全库数据量多大,表的数据库量分布如何?

小刘:

全库有570+张表,800+分区。全库数据量1TB+,约20亿+条数据,单表最大数据量100G+,7亿条数据。

金仓MOSS:

收到,数据类型包含哪些?

小刘:

除常见的整型、字符型、日期类型外,还有数据校验比较棘手,会极大拉低校验速度的大对象类型、xml等类型。

金仓MOSS:

请问对数据校验的完成时间是否有要求?

小刘:

停机窗口时间有限,必须在10小时内完成全库的数据一致性确认。

金仓MOSS:

收到,后台将根据您的数据校验场景进行模拟验证。

请稍等,金仓MOSS从未离开.....

 

 

金仓MOSS:

恭喜您。经历测试环境多轮验证,平均耗时7小时16分,完全能满足您的需求。

测试环境验证结果:

次数

耗时

第1次

7小时22分

第2次

7小时10分

第3次

7小时17分

 

小刘:

面对如此复杂困难的场景,KFS是如何超出我们的预期完成任务?

金仓MOSS:

好问题。KFS能轻松完成任务,离不开KFS的大表分片和多表并行校验技术。

小刘:

请解释大表分片和多表并行校验。

金仓MOSS:

您是想要官方的回答还是幽默的回答?

小刘:

想要你的回答。

金仓MOSS:

很抱歉,我好像不太明白您的意思。

不过我可以用图片来解释大表分片和多表并行校验技术。

大表分片

面对单表数据量大,KFS可以根据指定列的数据,将大表数据拆分成多个区间,通过比对各区间的数据,从而覆盖全表数据。


多表并行校验

面对全库校验,KFS支持设置并行数,多表并行校验,充分利用硬件资源,提高校验性能,减少校验耗时。


小刘:

技术可行,但时间紧迫,现场人员的实施工作难度如何?

金仓MOSS:

别担心。KFS图形化界面提供了任务创建、校验执行、校验进度监控及结果查看,通过图形界面覆盖了数据校验的全生命流程,易上手,极大降低了使用难度。


小刘:

行,我们这就着手使用KFS数据校验的计划。

金仓MOSS:

祝您好运。

 

小刘开始计划数据校验任务,使用KFS图形化管理平台,提前创建和设置数据校验任务。等待数据迁移完成后,利用KFS大表分片和多表并行校验技术来完成全库数据校验。

几天后,小刘顺利完成本次项目的数据迁移和校验。经过应用验证后,项目圆满上线。

小刘:

感谢你提供的数据校验方案,我们项目已经成功上线了。使用KFS进行全库数据校验共耗时7小时32分。

金仓MOSS:

收到您提供的数据,已上传后台分析库,以便下次为您提供更准确的预测结果。

期待您的下次呼叫。

 

结语:

“数据千万条,安全第一条”。数据库国产化迁移中,数据一致性保障非常重要。KFS作为一款面向同城/异地灾备等场景的异构增量数据同步产品,在保证自身数据同步高可用、高可靠、高性能的同时,考虑到用户对数据一致性的强烈需求,为用户提供了数据校验功能,不仅支持TB级大数量的快速校验,同时也支持差异数据修复,最大程度确保数据安全。

「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论