数据库的批量数据插入的处理方法、存储介质与设备 _CN116244363A_北京人大金仓信息技术股份有限公司.PDF
免费下载
(19)国家知识产权局
(12)发明专利申请
(10)申请公布号
(43)申请公布日
(21)申请号 202310147393 .8
(22)申请日 2023 .02 .20
(71)申请人 北京人大金仓信息技术股份有限公
司
地址 100102 北京市朝阳区容达路7号院5
号楼1至3层101内二层201
(72)发明人 李威 李楠
(74)专利代理机构 北京智汇东方知识产权代理
事务所(普通合伙) 11391
专利代理师 刘长江
(51)Int.Cl .
G06F
16/25
(2019 .01)
G06F
16/215
(2019 .01)
H04L
67/5651
(2022 .01)
H04L
67/01
(2022 .01)
(54)发明名称
数据库的批量数据插入的处理方法、存储介
质与设备
(57)摘要
本发明提供了一种数据库的批量数据插入
的处理方法、存储介质与设备。其中数据库的批
量数据插入的处理方法包括：获取待插入的批量
数据；扫描批量数据，以识别出批量数据中出现
的重复数据；将重复数据使用替代符号进行替
换，得到传输数据；向数据库服务器发送传输数
据，由数据库服务器将传输数据恢复为批量数据
并执行插入操作。本发明的方案，客户端一次性
将批量插入数据发往数据库服务器，能减少网络
交互次数，从而提升效率；另一方面，客户端向数
据库服务器发送的传输数据使用替代符号代替
了重复数据，从而大大减小了数据传输量，节省
了传输带宽资源。
权利要求书2页 说明书7页 附图3页
CN 116244363 A
2023.06.09
CN 116244363 A
1 .一种数据库的批量数据插入的处理方法，包括：
获取待插入的批量数据；
扫描所述批量数据，以识别出所述批量数据中出现的重复数据；
将所述重复数据使用替代符号进行替换，得到传输数据；
向数据库服务器发送所述传输数据，由所述数据库服务器将所述传输数据恢复为所述
批量数据并执行插入操作。
2.根据权利要求1所述的数据库的批量数据插入的处理方法，其中
所述扫描所述批量数据的步骤包括：按照元组的标识顺序逐条扫描所述批量数据，判
断所述批量数据中元组中某一属性值是否与在前已扫描的任一元组对应属性的数值重复；
若出现重复，将所述重复的属性值作为所述重复数据，并记录所述批量数据中第一次出现
所述属性值的元组的标识，并且
在所述将所述重复数据使用替代符号进行替换的步骤之前还包括：根据所述重复数据
对应的被记录的元组的标识生成所述替代符号。
3 .根据权利要求1所述的数据库的批量数据插入的处理方法，其中
在得到所述传输数据的步骤之后还包括：将所述传输数据放入预设的缓冲区内；并且
向所述数据库服务器发送所述传输数据的步骤包括：获取开启发送的触发事件；从所
述缓冲区内调取所述传输数据并进行发送。
4 .根据权利要求3所述的数据库的批量数据插入的处理方法，其中
在所述将所述传输数据放入预设的缓冲区内的步骤之前还包括：
根据所述传输数据的大小扩大所述缓冲区的容量。
5 .根据权利要求3所述的数据库的批量数据插入的处理方法，其中所述触发事件包括：
所述缓冲区被全部占用的事件；和/或
收到缓冲区清理指令的事件；和/或
所述传输数据全部写入缓冲区的事件。
6 .根据权利要求1所述的数据库的批量数据插入的处理方法，其中在所述扫描所述批
量数据的步骤之前还包括：
判断所述批量数据是否满足预设的优化条件；
若是，则执行所述扫描所述批量数据的步骤；
若否，直接向所述数据库服务器发送所述批量数据。
7 .根据权利要求6所述的数据库的批量数据插入的处理方法，其中判断所述批量数据
是否满足预设的优化条件的步骤包括：
判断所述批量数据的元素数量是否大于预设的数据量阈值；
若是，判定所述批量数据满足所述优化条件。
8.根据权利要求6所述的数据库的批量数据插入的处理方法，其中判断所述批量数据
是否满足预设的优化条件的步骤包括：
对所述待插入的批量数据进行抽样统计，以确定所述批量数据的重复率；
判断所述重复率是否大于预设的重复率阈值；
若是，判定所述批量数据满足所述优化条件。
9.一种机器可读存储介质，其上存储有机器可执行程序，所述机器可执行程序被处理
权 利 要 求 书
1/2 页
2
CN 116244363 A
2
of 13
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论