
为帮助金融机构做好分布式数据库产品的选型,推动分布式数据库产品在金融领域的稳妥应用,金篆GoldenDB在北京金融科技产业联盟的指导下编写《GoldenDB分布式事务型数据库金融应用指南》。《指南》深入探讨了如何从应用规划、应用开发、数据迁移等关键环节,将金篆GoldenDB引入金融机构的IT系统中;在数据安全方面介绍了数据加密、访问控制等功能,在性能调优部分提供了完整的优化策略。
过去5期为大家讲解了如何基于金篆GoldenDB完成金融应用开发。本期是系列文章的第10期,将深入介绍在基于金篆GoldenDB数据库迁移前,如何完成调研评估。


兼容性评估
金篆GoldenDB提供一套兼容性采集分析工具集,包含迁移评估,并行迁移,以及性能评估三大核心任务,以只读的方式部署,持续不断地进行SQL采集,将采集到的全量SQL在兼容系统进行评估分析生成兼容度报告。

CACtool迁移评估功能结构
金篆GoldenDB CACtool(迁移评估工具)通过对源库进行信息采集、分析,预估迁移的可行性、金篆GoldenDB对源库的兼容情况以及迁移到金篆GoldenDB的代价成本(包含兼容程度/改造成本、组网代价等)。
CACtool通过对源库采集ddl/dml/dql/各类统计信息等进行分析,支持对表结构(字段类型)、序列、函数、存储过程、同义词以及SQL语句进行兼容性分析,并根据内置规则自动进行DDL转换,通过对SQL分析结果和采集的表信息进行表画像,并根据表画像和各类内置规则计算分发方式进行SQL兼容性评估,最终生成兼容性分析报告,整个报告包含:
1. 源库采集到的各类统计信息、ddl/dml/dql等
2. 转换后的分布式ddl(分析推荐)
3. 兼容性评估结果
4. 整体分析报告和迁移建议
5. 过程中的各种辅助日志
6. 数据库对象迁移包括:数据库用户和权限、数据库表、分区、索引、视图、存储过程、包、函数、触发器、序列、DBLINK等数据库对象迁移

数据迁移调研
为确保正常数据迁移,数据迁移前一定要做调研:

01 明确数据迁移要求
如迁移方案(离线、在线等)、割接窗口期大小、源库数据量大小、是否需要反向同步、数据库字符集(建议与老系统一致,除非不支持)是否需要调整等等。

02 通过调查分析了解源库的真实信息
1. 调查并验证源库的硬件资源情况、业务承载情况,以及所支撑的并发数,波峰波谷情况、日志归档配置及归档空间是否足够等,为评估迁移同步计划以及割接窗口期做准备。
2. 源数据库到目标数据库间的网络质量评估。确保端到端的万兆网络,并实际测试验证。如网络质量差(千兆或者更差),需考虑延长数据同步时间并降低并发量。
3. 与客户及业务厂家确认,哪些表仅需同步表结构,哪些表的表结构和数据都无需迁移(如零时表,tmp类表),哪些表既迁移表结构,又迁移表数据。
4. 调查并验证源库总数据大小、物理表数量和各表总行数。
5. 源库是否有表压缩,迁移前和迁移后保证相同的压缩属性。
6. 源库各表是否有伪列,数据迁移配置时需去除。
7. 源库关键表静态分析。需对超过20G的表、超过一千万行的表、超过150字段以上宽表、含有LOB字段的表专题分析,为配置迁移调度策略做准备,超大型表可提前整表迁移或者不变分区迁移。
8. 源库关键表动态分析。需对源库的热点表、周期性DDL操作的表及分区(turncate、Drop、Create、Move)进行调查分析,为提升数据迁移效率,这些表可能需要特殊处理,比如turncate表/分区,仅在割接窗口期进行全量迁移即可。
9. 统计源库无主键、无唯一索引的表以及各表行数,为提升数据同步速度,可能需对这些表增加索引。
10. 对于割接窗口期很短的应用场景,需对关键表进行专题分析,如针对更新或插入频繁的热点大表是否可以分阶段全量迁,小的热点更新表可以在割接窗口期全量迁。
11. 调查是否含有金篆GoldenDB不支持的数据类型,沟通是否可以不迁移或者数据类型变更。
12. 是否有含中文字段的表(多是用于运维的非关键表,可废弃),建议不迁移。

03 迁移服务器集群资源评估
很多的核心业务系统需要在短时间内完成大批量的数据迁移,对服务器规格有很高的要求,因此对这类数据迁移场景建议采用高配服务器(4路CPU、512G内存以上、万兆网卡等),且至少3台(可根据具体要求增加)。如数据迁移量不大,且迁移窗口长,也可以选择低配的服务器,或者与金篆GoldenDB集群合设。
本期为大家讲解了基于金篆GoldenDB数据库迁移前,如何完成调研评估,下期将深入介绍如何确定迁移方案,步骤明确详实,敬请期待。

公开资料显示,金篆GoldenDB是金融市场排名第1的金融级分布式数据库,银行业金融级分布式数据库市场份额占比为24.4%,银行核心系统市场投产数量占行业50%,银行次核心及非银核心系统市场投产数量占行业32%,这3项数据均为行业第1。金篆GoldenDB是目前国内唯一在大型银行、券商和运营商实现核心业务投产的国产数据库,核心系统案例覆盖国有大行、政策性银行、股份制银行、城商行、农商行、大型金融机构、券商、保险,具备支撑金融行业最核心业务系统的深厚实力和经验!




