【GoldenDB】分布式数据库的实时数据处理方法、装置及存储介质_CN202411007515.4_金篆信科有限责任公司.PDF
免费下载
(19)国家知识产权局
(12)发明专利申请
(10)申请公布号
(43)申请公布日
(21)申请号 202411007515 .4
(22)申请日 2024 .07 .25
(71)申请人 金篆信科有限责任公司
地址 100176 北京市大兴区北京经济技术
开发区科谷一街10号院8号楼18层
(72)发明人 葛崇林
(74)专利代理机构 北京华夏泰和知识产权代理
有限公司 11662
专利代理师 田然
(51)Int.Cl .
G06F
16/27
(2019 .01)
G06F
16/215
(2019 .01)
(54)发明名称
分布式数据库的实时数据处理方法、装置及
存储介质
(57)摘要
本申请涉及一种分布式数据库的实时数据
处理方法、装置及存储介质，该方法包括：获取待
处理的实时数据，采用异步分批申请的方式在分
布式数据库的中间件上为实时数据申请物理分
区，以及自首批物理分区申请成功开始，执行将
实时数据写入对应的物理分区中，在将实时数据
全部成功写入对应的物理分区之后，将实时数据
从中间件上持久化到分布式数据库中。通过异步
分批申请物理分区的方式，可以有效结合异步处
理和分层架构的优势，提高写入效率、资源利用
率和系统的灵活性，同时增强数据的可靠性和一
致性。
权利要求书2页 说明书15页 附图4页
CN 118981498 A
2024.11.19
CN 118981498 A
1 .一种分布式数据库的实时数据处理方法，其特征在于，所述方法包括：
当分布式数据库接收到实时任务时，获取待处理的实时数据；
采用异步分批申请的方式在所述分布式数据库的中间件上为所述实时数据申请物理
分区，以及自首批物理分区申请成功开始，执行将所述实时数据写入对应的物理分区中；
在将所述实时数据全部成功写入对应的物理分区之后，将所述实时数据从所述中间件
上持久化到所述分布式数据库中。
2 .根据权利要求1所述的方法，其特征在于，所述采用异步分批申请的方式在所述分布
式数据库的中间件上为所述实时数据申请物理分区，包括：
根据所述实时数据的数据量确定初始化物理分区数和所述实时数据实际所需的目标
物理分区数，并按照所述初始化物理分区数在所述分布式数据库的中间件上为所述实时数
据申请物理分区；
在所述初始化物理分区数小于所述目标物理分区数的情况下，启动定时任务，所述定
时任务用于周期性地按照设定数目在所述分布式数据库的中间件上为所述实时数据申请
物理分区；
在申请成功的物理分区的数目达到所述目标的情况下，结束所述定时任务。
3 .根据权利要求2所述的方法，其特征在于，根据所述实时数据的数据量确定初始化物
理分区数，包括：
将所述实时数据的数据量与预设的第一阈值和第二阈值分别进行比较，所述第一阈值
小于所述第二阈值；
在比较出所述实时数据的数据量小于或等于所述第一阈值的情况下，将所述第一阈值
确定为初始化物理分区数；
在比较出所述实时数据的数据量大于或等于所述第二阈值的情况下，将所述第二阈值
确定为初始化物理分区数；
在比较出所述实时数据的数据量大于所述第一阈值且小于所述第二阈值的情况下，根
据所述实时数据的数据量确定初始化比例值，将所述初始化比例值与所述目标物理分区数
相乘，得到初始化物理分区数。
4 .根据权利要求3所述的方法，其特征在于，根据所述实时数据的数据量确定初始化比
例值，包括：
将所述实时数据的数据量代入至预先拟合出的初始化比例值计算公式，得到初始化比
例值。
5 .根据权利要求2所述的方法，其特征在于，所述按照所述初始化物理分区数在所述分
布式数据库的中间件上为所述实时数据申请物理分区，包括：
确定所述中间件上空闲物理分区的数目；
将所述初始化物理分区数与所述空闲物理分区的数目进行比较；
在比较出所述空闲物理分区的数目大于或等于所述初始化物理分区的数目的情况下，
按照所述初始化物理分区数从所述空闲物理分区中选择目标物理分区分配给所述实时数
据；
在比较出所述空闲物理分区的数目小于所述初始化物理分区的数目的情况下，将全部
的所述空闲物理分区分配给所述实时数据，并按照所述初始化物理分区数和所述空闲物理
权 利 要 求 书
1/2 页
2
CN 118981498 A
2
of 22
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
文档被以下合辑收录
评论