CN114153923A 一种数据装载时的异常处理方法、装置及设备.pdf
免费下载
(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号
(43)申请公布日
(21)申请号 202111434802 .X
(22)申请日 2021 .11 .29
(71)申请人 北京人大金仓信息技术股份有限公
司
地址 100102 北京市朝阳区容达路7号院5
号楼1至3层101内二层201
(72)发明人 王凯龙
(74)专利代理机构 北京开阳星知识产权代理有
限公司 11710
代理人 王艳斌
(51)Int.Cl.
G06F
16/27
(2019 .01)
(54)发明名称
一种数据装载时的异常处理方法、装置及设
备
(57)摘要
本公开涉及一种数据装载时的异常处理方
法、装置及设备，该方法包括：将源端数据库中数
据同步至目标端数据库；当发生数据提交异常
时，将批量装载模式调整为单条装载模式，执行
如下写入操作：判断是否存在第一文件；如果不
存在，则根据表名称和第一后缀新建第一文件，
并在第一文件中写入数据表的结构定义信息；如
果存在，则不做操作；判断是否存在第二文件；如
果存在，则追加异常数据；如果不存在，则根据表
名称和第二后缀新建第二文件，并在第二文件中
写入异常数据；根据以上写入操作，将异常数据
写入外部的错误记录文件。本公开能够显著降低
对原数据装载程序的性能影响，有效缩减整体的
装载时间，提高整体的装载效率。
权利要求书2页 说明书6页 附图2页
CN 114153923 A
2022.03.08
CN 114153923 A
1 .一种数据装载时的异常处理方法，其特征在于，包括：
将源端数据库中数据同步至目标端数据库；
当数据同步的过程中发生数据提交异常时，将批量装载模式调整为单条装载模式，并
执行如下写入操作：
判断是否存在第一文件；其中，所述第一文件是以异常数据所属数据表的表名称为文
件名，且后缀为预设第一后缀的错误记录文件；
如果不存在所述第一文件，则根据所述表名称和所述第一后缀新建第一文件，并在所
述第一文件中写入所述数据表的结构定义信息；
如果存在所述第一文件，则不做操作；
判断是否存在第二文件；其中，所述第二文件是以所述数据表的表名称为文件名，且后
缀为预设第二后缀的错误记录文件；
如果存在所述第二文件，则追加所述异常数据；
如果不存在所述第二文件，则根据所述表名称和所述第二后缀新建第二文件，并在所
述第二文件中写入所述异常数据；
根据以上写入操作，将所述异常数据写入外部的所述错误记录文件。
2 .根据权利要求1所述的方法，其特征在于，所述方法还包括：
通过初始化装载程序从所述错误记录文件中获取所述异常数据；
按照修改和/或删除的方式对所述异常数据进行修订，得到修订后数据；
将所述修订后数据写入目标端数据库。
3 .根据权利要求2所述的方法，其特征在于，所述将所述修订后数据写入目标端数据
库，包括：
通过所述初始化装载程序将所述错误记录文件中的修订后数据加载为DBMSEvent记
录；
将所述DBMSEvent记录写入目标端数据库。
4 .根据权利要求1所述的方法，其特征在于，所述判断是否存在第一文件，包括：
当调用写出错误记录的方法时，判断是否存在第一文件。
5 .根据权利要求1所述的方法，其特征在于，所述第一文件用于存储所述数据表的结构
定义信息，所述第二文件用于存储所述异常数据。
6 .根据权利要求1所述的方法，其特征在于，所述数据表的结构定义信息包括：按照表
格形式定义的所述异常数据的位置、名称和类型。
7 .根据权利要求1所述的方法，其特征在于，所述第一后缀为def，所述第二后缀为dat。
8 .一种数据装载时的异常处理装置，其特征在于，包括：
同步模块，用于将源端数据库中数据同步至目标端数据库；
异常处理模块，用于当数据同步的过程中发生数据提交异常时，将批量装载模式调整
为单条装载模式，并执行如下写入操作：
第一判断模块，用于判断是否存在第一文件；其中，所述第一文件是以异常数据所属数
据表的表名称为文件名，且后缀为预设第一后缀的错误记录文件；以及，在不存在所述第一
文件的情况下，根据所述表名称和所述第一后缀新建第一文件，并在所述第一文件中写入
所述数据表的结构定义信息；在存在所述第一文件的情况下，不做操作；
权 利 要 求 书
1/2 页
2
CN 114153923 A
2
of 11
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论