CN202111459660.2-数据处理方法、装置、电子设备和计算机可读存储介质.PDF
免费下载
(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号
(43)申请公布日
(21)申请号 202111459660 .2
(22)申请日 2021.12.02
(71)申请人 北京人大金仓信息技术股份有限公
司
地址 100102 北京市朝阳区容达路7号院5
号楼1至3层101内二层201
(72)发明人 王凯龙
(74)专利代理机构 北京开阳星知识产权代理有
限公司 11710
代理人 唐博
(51)Int.Cl.
G06F
16/27
(2019 .01)
G06F
16/2455
(2019 .01)
G06F
9/54
(2006 .01)
(54)发明名称
数据处理方法、装置、电子设备和计算机可
读存储介质
(57)摘要
本公开实施例提供一种数据处理方法、装
置、电子设备和计算机可读存储介质，涉及数据
处理领域。该方法通过获取的目标读取线程在源
端数据库中读取目标数据，对读取的目标数据进
行处理，得到多个目标数据包；获取所述多个目
标数据包对应的目标写出线程组；基于所述目标
写出线程组中的多个目标写出线程，将所述多个
目标数据包中的数据写入目标数据库。在本公开
实施例提供的数据处理方法中，使用了一个目标
读取线程读取源端数据库中的目标数据，多个目
标写出线程在目标数据库中进行目标数据的写
入，提高了目标数据迁移的效率。
权利要求书2页 说明书11页 附图5页
CN 114254037 A
2022.03.29
CN 114254037 A
1 .一种数据处理方法，其特征在于，包括：
获取目标读取线程，基于所述目标读取线程在源端数据库中读取目标数据；
对所述目标读取线程在源端数据库中读取的目标数据进行处理，得到多个目标数据
包；
获取所述多个目标数据包对应的目标写出线程组；
基于所述目标写出线程组中的多个目标写出线程，将所述多个目标数据包中的数据写
入目标数据库。
2.根据权利要求1所述的方法，其特征在于，所述对所述目标读取线程在源端数据库中
读取的目标数据进行处理，得到多个目标数据包，包括：
基于所述目标读取线程，对所述读取的目标数据以预设规则进行封装，得到多个封装
数据包；
将所述封装数据包缓存至所述目标读取线程对应的输出队列，得到所述多个目标数据
包。
3 .根据权利要求2所述的方法，其特征在于，所述基于所述目标读取线程，对所述读取
的目标数据以预设规则进行封装，得到多个封装数据包，包括：
获取所述读取的目标数据的数据量；
根据所述预设规则和所述读取的目标数据的数据量，对所述读取的目标数据进行封
装，得到所述多个封装数据包；其中，各封装数据包中的数据量为所述预设规则对应的预设
数据量。
4 .根据权利要求1所述的方法，其特征在于，所述基于所述目标写出线程组中的多个目
标写出线程，将所述多个目标数据包中的数据写入目标数据库，包括：
获取所述目标写出线程组中各目标写出线程对应的输入队列；
将所述多个目标数据包分配至各目标写出线程对应的输入队列；
基于各目标写出线程，将分配至各目标写出线程对应的输入队列的目标数据包中的数
据写入所述目标数据库。
5 .根据权利要求4所述的方法，其特征在于，所述将所述多个目标数据包分配至各目标
写出线程对应的输入队列，包括：
获取动态分配线程，所述动态分配线程用于对所述输出队列中的所述多个目标数据包
进行读取；
基于所述动态分配线程，将读取的目标数据包分配至各目标写出线程对应的输入队
列。
6 .根据权利要求4或5所述的方法，其特征在于，所述基于各目标写出线程，将分配至各
目标写出线程对应的输入队列的目标数据包中的数据写入所述目标数据库，包括：
通过各目标写出线程，对分配至所述各目标写出线程对应的输入队列中的目标数据包
进行读取；
对各目标写出线程从对应的输入队列中读取的目标数据包进行拆包处理，得到各目标
写出线程对应的待装载数据；
通过各目标写出线程，将各目标写出线程对应的待装载数据写入所述目标数据库。
7 .根据权利要求5所述的方法，其特征在于，所述基于所述动态分配线程，将读取的目
权 利 要 求 书
1/2 页
2
CN 114254037 A
2
of 19
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论