【GoldenDB】数据处理方法、装置、设备及存储介质_CN202411967913.0_金篆信科有限责任公司.pdf
免费下载
(19)国家知识产权局
(12)发明专利申请
(10)申请公布号
(43)申请公布日
(21)申请号 202411967913 .0
(22)申请日 2024 .12.30
(71)申请人 金篆信科有限责任公司
地址 100176 北京市大兴区北京经济技术
开发区科谷一街10号院8号楼18层(北
京自贸试验区高端产业片区亦庄组
团)
(72)发明人 刘明杰
(74)专利代理机构 北京华夏泰和知识产权代理
有限公司 11662
专利代理师 卢万腾
(51)Int.Cl .
G06F
9/48
(2006 .01)
G06F
9/50
(2006 .01)
G06F
11/32
(2006 .01)
G06F
11/30
(2006 .01)
G06F
16/25
(2019 .01)
G06F
16/27
(2019 .01)
(54)发明名称
数据处理方法、装置、设备及存储介质
(57)摘要
本申请涉及一种数据处理方法、装置、设备
及存储介质，通过利用并发任务队列导出数据，
并在数据库执行数据导出过程中，动态监控上一
周期每个并发任务的监控数据，根据监控数据确
定下一周期每个并发任务对应的分配资源信息，
根据分配资源信息确定目标线程数，进一步的根
据目标线程数动态调整并发任务的配置文件，使
得数据库利用配置文件控制并发任务在下一周
期执行数据导出操作，实现了在数据导出过程中
实时监控并动态调整各个工作线程的性能参数
配置、资源的合理分配和最大化利用，进而减少
资源空闲率、有效提升数据导出性能。
权利要求书2页 说明书12页 附图5页
CN 119883561 A
2025.04.25
CN 119883561 A
1 .一种数据处理方法，其特征在于，所述方法包括：
在数据库执行并发任务队列的过程中，针对所述并发任务队列中的任一并发任务，获
取所述并发任务队列在当前周期被执行过程中的监控数据；
根据所述监控数据确定下一周期所述并发任务对应的分配资源信息；
根据所述分配资源信息得到所述并发任务对应的目标线程数；
根据所述目标线程数对所述并发任务的配置文件进行调整，以使所述数据库利用所述
配置文件控制所述并发任务在下一周期执行数据导出操作。
2 .根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取数据导出指令，解析所述数据导出指令得到字段描述信息；
根据所述字段描述信息得到数据库语句，根据所述数据库语句构建并发任务队列；
将所述并发任务队列提交给数据库，以使所述数据库执行所述并发任务队列中的并发
任务。
3 .根据权利要求1所述的方法，其特征在于，所述根据所述监控数据确定下一周期所述
并发任务对应的分配资源信息，包括：
解析所述监控数据得到阻塞信息和所述并发任务对应的分配资源信息；
根据所述阻塞信息确定当前所述并发任务是否存在阻塞；
在确定当前所述并发任务存在阻塞的情况下，获取当前所述并发任务对应的分配资源
信息。
4 .根据权利要求3所述的方法，其特征在于，所述根据所述阻塞信息确定当前并发任务
是否阻塞，包括：
在所述阻塞信息大于阻塞阈值的情况下，确定当前并发任务存在阻塞；
在所述阻塞信息小于等于所述阻塞阈值的情况下，确定当前并发任务不存在阻塞。
5 .根据权利要求1所述的方法，其特征在于，所述根据所述分配资源信息得到所述并发
任务对应的目标线程数，包括：
解析所述分配资源信息得到处理速率、剩余数据量、剩余时间、当前线程数；
根据所述剩余数据量和最小剩余时间计算得到期望速率，其中，所述最小剩余时间指
示所述并发任务被执行完成所需的剩余时间中的最小值；
根据所述期望速率、所述处理速率以及所述当前线程数计算得到目标线程数。
6 .根据权利要求1所述的方法，其特征在于，所述根据所述目标线程数对所述并发任务
的配置文件进行调整，包括：
获取所述并发任务的配置文件；
解析所述配置文件对应的性能参数信息；
利用所述目标线程数对所述性能参数信息进行调整，以执行对所述并发任务的配置文
件的调整。
7 .根据权利要求6所述的方法，其特征在于，所述利用所述目标线程数对所述性能参数
信息进行调整，以执行对所述并发任务的配置文件的调整，包括：
解析所述分配资源信息得到所述并发任务队列中任一并发任务的剩余时间；
将所述剩余时间按照从大到小的顺序排列，其中，所述剩余时间越大优先级越高；
将所述并发任务队列中的任一并发任务按照所述剩余时间从大到小的顺序排列得到
权 利 要 求 书
1/2 页
2
CN 119883561 A
2
of 20
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论