暂无图片
暂无图片
4
暂无图片
暂无图片
暂无图片

oracle迁移Oceanbase数据迁移踩坑记(一)

IT那活儿 2020-10-12
3179

小伙伴们,大家好。今天我们来分享oracle迁移至Oceanbase,数据迁移过程中遇到的一些问题。

[
事件背景
]

OceanBase迁移服务(OceanBaseMigration Service,OMS)是OceanBase提供的一种支持同构或异构RDBMS与OceanBase之间进行数据交互的服务,它提供了数据的在线迁移和实时增量同步的数据复制能力。

随着国产化进度的深入,笔者所在客户现场也开始核心业务OB迁移。对于OB数据迁移流程,先简单介绍几个我们熟悉和保障过程遇到的比较典型的问题。

介绍问题之前先介绍下OMS迁移的流程:

1>迁移前检查。

在迁移之前需要检查源端数据库的字符集等配置和用户权限。

2>添加数据源。

在OMS中将源端数据库和目标端数据库分别添加为数据源。

3>创建迁移项目。

在迁移项目中指定源端、目标端、迁移类型和需要迁移的表。

4>数据迁移。

不需要中间任务的额外处理或者启停和中断等人为操作,OMS就可以自动完成整个数据迁移的全部流程。

5>数据校验。

迁移完成后,您可以进行数据校验,验证数据的完整性和正确性。

6>同步链路切换。

数据迁移完成后,在业务应用至目标端前可先进行同步链路切换操作,以创建目标端到源端的同步链路。

7>清理任务。

确认迁移成功,并不再需要同步源库和目标库的数据后,可以清理将当前的迁移任务。

[
踩坑案例
]

数据迁移整体流程中的重点是数据迁移部分,主要有两部分:全量迁移和增量迁移。数据迁移问题常发点也基本都是在这一过程中。

问题一:

因生产系统数据迁移链路阿里工程师已经配置,所以为了熟悉迁移流程,我们配置了一个单机oralce测试环境配置链路同步数据至OB数据库创建的测试用户。

按照文档及要求检查环境、机器时间,创建迁移用户,配置数据库设置,在OMS平台配置数据源,创建迁移项目,配置迁移白名单。一切就绪运行任务,结果在启动源端DRC时报错,这是启动增量进程的配置,如果无法启动将导致增量链路无法发起,查看链路情况同步位点时间是null。

通过链路监控查看store号

登录到OMS管理主机查看日志

日志显示如下

原因及解决办法

因增量链路是通过解析归档日志来同步,检查scn号在当前日志期间,并没有问题,翻查日志发现有thread2的信息。检查源端oracle单机数据库,因是从rac环境拷贝,所以有些集群参数还存在,造成OB增量进程去解析第二个节点的归档,找不到。修改相关参数,重新发起作业后正常。

问题二:

数据全量迁移过程中发生ora-00904Invalid indentifed “XXX”in field list报错

检查日志

登录oms主机

找到报错表

原因及解决办法:

因OB迁移过程中可以选择无主键表创建隐藏列,数据全量迁移时会插入相关数据。

登录ob客户端

showcreate table table_name\G

发现未创建隐藏列

解决方法1:

登录oms管理平台

在OB客户端删除有问题的表:

Drop table tablename;

回到页面执行表结构子任务重置

重置完表结构复检迁移作业

解决方法2:

在OB客户端删除有问题的表

Drop table tablename;

登录oms主机

手工查找建表语句

在OB客户端删除有问题的表

执行建表语句,创建隐藏列和索引

创建完表showcreate table检查建表语句,复检迁移作业

问题三:

数据全量迁移过程中发生ora-02149Specified partition does not exist报错

oracle端:

OB端:

原因及解决办法:

因oracle源端数据库中分区或表做了ddl删除操作,导致数据迁移过程中找不到分区或表。将ob端多余的分区手工删除,重新发起迁移任务复检就可以恢复正常

[
分析总结
]

OB国产化数据库大规模商业化目前还是处在推进阶段,在具体的迁移过程中,行业中都是摸着石头过河,需要不断的探索,OMS数据迁移是OB官方提供的ORACLE到OB数据库进行数据迁移的平台,由于目前还是推进过程中,所以不同场景下会遇到不同的问题,现有公开资料不多,需要我们在工作过程中多总结积累踩坑处理经验,填充知识库,并在此基础上运用平台工具嫁接最后一公里的运营短板。这次的分享到此结束,后续会持续为大家带来OB迁移及运维中遇到的第一手鲜活案例,敬请期待。

最后修改时间:2020-10-12 09:28:19
文章转载自IT那活儿,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论