基于多并发技术从数据库快速导出批量数据方法和系统_CN110362617B_人大金仓.PDF
免费下载
(19)国家知识产权局
(12)发明专利
(10)授权公告号
(45)授权公告日
(21)申请号 201910549011 .8
(22)申请日 2019 .06.24
(65)同一申请的已公布的文献号
申请公布号 CN 110362617 A
(43)申请公布日 2019 .10 .22
(73)专利权人 北京人大金仓信息技术股份有限
公司
地址 100085 北京市朝阳区容达路7号院5
号楼1至3层101内二层201
(72)发明人 袁远松 王建华 杜春魁
(74)专利代理机构 北京纽乐康知识产权代理事
务所(普通合伙) 11210
专利代理师 白明珠
(51)Int.Cl.
G06F
16/25
(2019 .01)
(56)对比文件
CN 101515291 A ,2009 .08 .26
CN 107844498 A,2018.03 .27
CN 103500196 A ,2014 .01 .08
CN 106682036 A ,2017 .05 .17
US 8782101 B1 ,2014 .07 .15
审查员 王月
(54)发明名称
基于多并发技术从数据库快速导出批量数
据方法和系统
(57)摘要
本发明公开了基于多并发技术从数据库快
速导出批量数据方法和系统，该系统包括数据导
出工具和注册到数据库服务器的数据导出插件，
数据导出插件包括一个写文件进程和多个数据
处理进程；该方法包括以下步骤：数据导出工具
负责读取配置文件连接和调用数据导出插件进
行导出工作；所述数据导出插件接收连接的进程
为写文件进程，写文件进程创建多个数据处理进
程；每个数据处理进程读取对应数据块的数据进
行元组解析；将解析后的所述元组转化为目标格
式数据后存入共享内存队列；写文件进程遍历所
有所述共享内存队列，从中取出目标格式数据后
批量写入目标数据文件。本发明有益效果：增强
了扩展性，降低了与数据库服务器的耦合性，提
高了导出效率。
权利要求书2页 说明书8页 附图7页
CN 110362617 B
2023.06.13
CN 110362617 B
1 .一种基于多并发技术从数据库快速导出批量数据方法，其特征在于，包括以下步骤：
数据导出工具负责读取配置文件，与数据导出插件的写文件进程相连接，并调用所述
数据导出插件进行数据导出工作；
每个所述写文件进程接收所述数据导出工具的连接后创建多个数据处理进程，其中，
将数据处理流程的元组读取、元组解析和数据转换三个阶段合并在一个所述数据处理进
程，所述数据处理进程的具体个数根据用户的输入参数来决定；
将解析后的所述元组转化为目标格式数据后存储于共享内存队列；
所述写文件进程遍历所有所述共享内存队列，从其取出目标格式数据后批量写入到目
标数据文件。
2.根据权利要求1所述的基于多并发技术从数据库快速导出批量数据方法，其特征在
于，该方法还包括：在所述写文件进程的初始化函数中获取当前快照并存储，并将存储的快
照名传给所述数据处理进程，所述数据处理进程根据所述快照名读取相应的快照。
3 .根据权利要求1所述的基于多并发技术从数据库快速导出批量数据方法，其特征在
于，该方法还包括：在所述数据处理进程中采用异常捕获机制捕获出错信息进行异常处理，
将错误进行分类处理并记入日志。
4 .根据权利要求1‑3任一项所述的基于多并发技术从数据库快速导出批量数据方法，
其特征在于，所述数据导出工具包括：
在所述数据导出工具读取命令行参数和解析配置文件；
将解析后的配置信息存储于链表，并将所述链表中的配置选项转化成字符串；
将配置选项作为函数的参数，调用数据导出插件中快速导出函数；
数据库服务器根据配置选项导出数据。
5 .根据权利要求4所述的基于多并发技术从数据库快速导出批量数据方法，其特征在
于，调用数据导出插件中快速导出函数包括：
将快速导出函数进行参数解析；
创建第一Reader模块和第一Writer模块，并调用对应模块的初始化函进行数初始化；
循环判断已导出的条数是否小于限制数，若导出的条数小于所述限制数，则通过所述
第一Reader模块获取下一个元组，如果下一个元组不为空，则通过所述第一Writer模块导
出元组；否则，若导出的条数超过受限范围或者获取元组为空则结束导出流程；
数据导出完成后，将导出的结果信息通过函数的返回值的形式返回。
6 .一种基于多并发技术从数据库快速导出批量数据系统，其特征在于，
包括数据导出工具和注册到数据库服务器的数据导出插件，其中，所述数据导出插件
包括一个写文件进程和多个数据处理进程，所述数据导出工具与所述写文件进程相连接；
所述数据导出插件接收连接后创建多个数据处理进程，其中，将数据处理流程的元组
读取、元组解析和数据转换三个阶段合并在一个所述数据处理进程，所述数据处理进程的
具体个数根据用户的输入参数来决定。
7 .根据权利要求6所述的基于多并发技术从数据库快速导出批量数据系统，其特征在
于，所述数据导出工具包括：
配置和参数解析模块，用于在所述数据导出工具读取命令行参数和解析配置文件，将
解析后的配置信息存储于链表，并将所述链表中的配置选项转化成字符串；
权 利 要 求 书
1/2 页
2
CN 110362617 B
2
of 18
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论