暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

海量智库第11期 | 使用exBase迁移国外主流数据库到Vastbase数据库详解(二)

海量数据 2023-05-18
2307

往期

回顾


使用exBase迁移国外主流数据库到Vastbase数据库详解(一)


海量数据库所配备的生态工具——异构数据库一键式迁移平台exBase是针对数据库迁移痛点定制的解决方案。


《使用exBase迁移国外主流数据库到Vastbase数据库详解》的上篇介绍了“对象兼容性评估”的功能,接下来将带大家深入了解exBase的 “应用兼容性评估”功能。


应用兼容性评估


应用兼容性评估为可选性功能,主要针对应用系统层面的SQL文本来进行兼容性判断。有条件的情况下,可以对准予接入的应用进行兼容性评估,否则,则在功能适配过程中对有不兼容的功能点进行直接改造。


应用兼容性评估包含有扫描数据库扫描应用文件两种方式。

其包含有以下三种判断结果:


兼容 

目标数据库支持该 SQL 语句,无需转化

可转换

目标数据库不支持该 SQL 语句中的某些语法,可通过简单的语法转换或关键字替换进行兼容

不兼容

目标数据库不支持该 SQL 语句,没有可行的转换方式,需要进行SQL重写



扫描数据库


exBase 通过扫描数据库的方式进行应用评估,是通过 JDBC 连接到源数据库,持续性地对源数据库会话信息进行采集,再进行解析获取 SQL 语句,对 SQL 语句进行脱敏去重操作,得到 SQL 样本,最后再使用exBase内置的兼容性分析逻辑对 SQL 的兼容情况进行分析。


应用评估展示:




扫描应用文件


exBase 通过扫描 MyBatis 的 Mapper 文件的方式进行应用评估,通过解析用户上传的 Mapper文件,获取 SQL 语句,再调用兼容性分析逻辑对 SQL 进行分析,生成兼容性报告与改造建议。



用户在 WEB 界面发起源数据库的全量数据库迁移到Vastbase任务后,exBase 会根据作业配置中的源数据库对象列表,结合迁移规则模版,自动转换对象结构,并在目标数据库中重建。


重建完毕后,exBase 会将表类型的所有数据,在不破坏表定义的前提下,按照一定顺序批量导入到目标数据库中。


全量迁移任务有以下特点:

1. 可选数据库对象与数据独立迁移或一键迁移

2. 支持用户通过 where 条件选择需要迁移数据

3. 支持数据迁移自动转换字符集

4. 支持特殊数据处理

5. 支持手动修改对象结构定义语句,可再次执行自定义修改内容


迁移展示:



数据迁移完毕后,exBase 可对源数据库和目标数据库(Vastbase)进行迁移结果校验,判断:

1. 源数据库和目标数据库中是否均存在需要迁移的对象

2. 源数据库和目标数据库中,需迁移的表数据是否一致


最后,exBase 会根据校验的结果,生成数据迁移结果校验报告。





增量同步

增量同步功能使用基于日志的增量重做机制,对网络带宽消耗少、数据延迟低、能有效保持事务原子性,并能够支持断点续传。


实时增量数据同步,主要是针对数据源的变化进行跟踪采集,将变化的数据传输到目标端,保证目标端的数据与源端一致。


增量同步功能具备以下功能:



01

增量数据捕获 

随时监测和捕获源端的数据变更



02

增量数据应用

将获取的增量数据写入到异构目标端



03

数据分发

可以根据需要创建多个任务,将数据分发到多个目标端



04

断点续传

数据增量同步过程中可以手动暂停数据同步,重新运行时可以基于上次同步的位置续传数据;数据增量同步过程中因数据库或迁移平台节点故障也可以在故障处理后进行断点续传



05

同步监控

通过增量迁移报告,可以监控到源库与目标库数据同步延迟情况


增量迁移适用场景一:


针对大规模、关键性的数据库,可通过全量迁移结合增量同步功能,平滑迁移数据库,完成数据对象异构迁移与数据迁移,并持续跟踪采集源库变更,进行增量的数据同步,直到源数据库与目标数据库的数据差异在可接受范围内,可有效缩短停机窗口,大幅降低迁移风险和管控难度,提升系统持续性服务时间


增量迁移适用场景二:


针对数据同步应用场景,可使用数据库增量同步,实现异构关系数据库之间的实时单向数据同步、双向数据同步、数据共享等,满足在不同的应用程序之间分布和整合数据、或者管理其他基于复制的需求。因不使用触发器或者执行数据库查询,而是通过读取本地数据库日志来捕获变更。


对于面临大量批处理的业务或者被过度利用的应用,这种基于日志的更改数据捕获方法,能够确保即使运行在源系统上、要求最苛刻的任务关键型应用的性能也不会受到负面影响




使用总结

exBase通过简便易用的WEB界面,可以轻松将异构数据库迁移到自主可控的国产化数据库或开源数据库中,其在具有传统迁移工具的功能的情况下,进一步丰富了产品的功能,解决了如下的问题:


1、迁移前的兼容性评估,实现项目总体预览,协助项目规划

2、迁移前的工作量和成本投入评估,实现项目进度成本可控

3、迁移进度可视化及迁移结果可视化,排查异常简便快捷,加快项目进度

4、支持增量迁移,实现国产化转换停机时间窗口可控

5、内置最佳转换规则模板,免除人工转换投入成本的增加

6、一键平滑迁移,技术门槛低,人力投入成本更低

7、迁移完成后一键校验数据及校验结果可视化,免除人工检验成本

8、支持多数主流数据库国产化,实现自动一键式平滑迁移


总的来说,使用exBase迁移工具能够极大降低异构数据库国产化的迁移投入成本和迁移周期




于海量数据

北京海量数据技术股份有限公司(股票代码:603138.SH)成立于2007年,是国内首家以数据库为主营业务的主板上市企业。公司十余年来秉承“专注做好数据库”的初心,始终致力于数据库产品的研发、销售和服务。核心产品海量数据库Vastbase系列、数据库一体机Vastcube系列,全栈国产化,应用满足度高,目前广泛应用于政务、制造、金融、通信、能源、交通等多个重点行业,已成为国产企业级数据库的首选之一。




文章转载自海量数据,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论