暂无图片
暂无图片
4
暂无图片
暂无图片
暂无图片

金点分享 | 基于金篆GoldenDB的数据迁移评估——金融应用指南10

蒋宇智 2024-06-07
311

为帮助金融机构做好分布式数据库产品的选型,推动分布式数据库产品在金融领域的稳妥应用,金篆GoldenDB在北京金融科技产业联盟的指导下编写《GoldenDB分布式事务型数据库金融应用指南》。《指南》深入探讨了如何从应用规划、应用开发、数据迁移等关键环节,将金篆GoldenDB引入金融机构的IT系统中;在数据安全方面介绍了数据加密、访问控制等功能,在性能调优部分提供了完整的优化策略。

过去5期为大家讲解了如何基于金篆GoldenDB完成金融应用开发。本期是系列文章的第10期,将深入介绍在基于金篆GoldenDB数据库迁移前,如何完成调研评估。

兼容性评估


金篆GoldenDB提供一套兼容性采集分析工具集,包含迁移评估,并行迁移,以及性能评估三大核心任务,以只读的方式部署,持续不断地进行SQL采集,将采集到的全量SQL在兼容系统进行评估分析生成兼容度报告。

CACtool迁移评估功能结构

金篆GoldenDB CACtool(迁移评估工具)通过对源库进行信息采集、分析,预估迁移的可行性、金篆GoldenDB对源库的兼容情况以及迁移到金篆GoldenDB的代价成本(包含兼容程度/改造成本、组网代价等)。

CACtool通过对源库采集ddl/dml/dql/各类统计信息等进行分析,支持对表结构(字段类型)、序列、函数、存储过程、同义词以及SQL语句进行兼容性分析,并根据内置规则自动进行DDL转换,通过对SQL分析结果和采集的表信息进行表画像,并根据表画像和各类内置规则计算分发方式进行SQL兼容性评估,最终生成兼容性分析报告,整个报告包含:

1. 源库采集到的各类统计信息、ddl/dml/dql等

2. 转换后的分布式ddl(分析推荐)

3. 兼容性评估结果

4. 整体分析报告和迁移建议

5. 过程中的各种辅助日志

6. 数据库对象迁移包括:数据库用户和权限、数据库表、分区、索引、视图、存储过程、包、函数、触发器、序列、DBLINK等数据库对象迁移

数据迁移调研


为确保正常数据迁移,数据迁移前一定要做调研:

01 明确数据迁移要求

如迁移方案(离线、在线等)、割接窗口期大小、源库数据量大小、是否需要反向同步、数据库字符集(建议与老系统一致,除非不支持)是否需要调整等等。

02 通过调查分析了解源库的真实信息

1. 调查并验证源库的硬件资源情况、业务承载情况,以及所支撑的并发数,波峰波谷情况、日志归档配置及归档空间是否足够等,为评估迁移同步计划以及割接窗口期做准备。

2. 源数据库到目标数据库间的网络质量评估。确保端到端的万兆网络,并实际测试验证。如网络质量差(千兆或者更差),需考虑延长数据同步时间并降低并发量。

3. 与客户及业务厂家确认,哪些表仅需同步表结构,哪些表的表结构和数据都无需迁移(如零时表,tmp类表),哪些表既迁移表结构,又迁移表数据。

4. 调查并验证源库总数据大小、物理表数量和各表总行数。

5. 源库是否有表压缩,迁移前和迁移后保证相同的压缩属性。

6. 源库各表是否有伪列,数据迁移配置时需去除。

7. 源库关键表静态分析。需对超过20G的表、超过一千万行的表、超过150字段以上宽表、含有LOB字段的表专题分析,为配置迁移调度策略做准备,超大型表可提前整表迁移或者不变分区迁移。

8. 源库关键表动态分析。需对源库的热点表、周期性DDL操作的表及分区(turncate、Drop、Create、Move)进行调查分析,为提升数据迁移效率,这些表可能需要特殊处理,比如turncate表/分区,仅在割接窗口期进行全量迁移即可。

9. 统计源库无主键、无唯一索引的表以及各表行数,为提升数据同步速度,可能需对这些表增加索引。

10. 对于割接窗口期很短的应用场景,需对关键表进行专题分析,如针对更新或插入频繁的热点大表是否可以分阶段全量迁,小的热点更新表可以在割接窗口期全量迁。

11. 调查是否含有金篆GoldenDB不支持的数据类型,沟通是否可以不迁移或者数据类型变更。

12. 是否有含中文字段的表(多是用于运维的非关键表,可废弃),建议不迁移。

03 迁移服务器集群资源评估

很多的核心业务系统需要在短时间内完成大批量的数据迁移,对服务器规格有很高的要求,因此对这类数据迁移场景建议采用高配服务器(4路CPU、512G内存以上、万兆网卡等),且至少3台(可根据具体要求增加)。如数据迁移量不大,且迁移窗口长,也可以选择低配的服务器,或者与金篆GoldenDB集群合设。

本期为大家讲解了基于金篆GoldenDB数据库迁移前,如何完成调研评估,下期将深入介绍如何确定迁移方案,步骤明确详实,敬请期待。

公开资料显示,金篆GoldenDB是金融市场排名第1的金融级分布式数据库,银行业金融级分布式数据库市场份额占比为24.4%,银行核心系统市场投产数量占行业50%,银行次核心及非银核心系统市场投产数量占行业32%,这3项数据均为行业第1。金篆GoldenDB是目前国内唯一在大型银行、券商和运营商实现核心业务投产的国产数据库,核心系统案例覆盖国有大行、政策性银行、股份制银行、城商行、农商行、大型金融机构、券商、保险,具备支撑金融行业最核心业务系统的深厚实力和经验!

「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论