数据处理方法和装置_CN-105404679-B_熊刚_华为技术有限公司.pdf
免费下载
(19)中华人民共和国国家知识产权局
(12)发明专利
(10)授权公告号
(45)授权公告日
(21)申请号 201510828383 .6
(22)申请日 2015 .11 .24
(65)同一申请的已公布的文献号
申请公布号 CN 105404679 A
(43)申请公布日 2016 .03 .16
(73)专利权人 华为技术有限公司
地址 518129 广东省深圳市龙岗区坂田华
为总部办公楼
(72)发明人 熊刚 彭勇飞
(74)专利代理机构 北京同立钧成知识产权代理
有限公司 11205
代理人 马爽 黄健
(51)Int.Cl .
G06F
16/2455
(2019 .01)
G06F
16/27
(2019 .01)
(56)对比文件
CN 102968498 A ,2013 .03.13 ,
CN 102307250 A ,2012 .01.04 ,
CN 104794162 A ,2015 .07.22 ,
CN 103116661 A ,2013 .05.22 ,
US 2010/0312749 A1 ,2010 .12 .09 ,
审查员 刘洋
(54)发明名称
数据处理方法和装置
(57)摘要
本发明实施例提供一种数据处理方法和装
置。本发明数据处理装置，包括：第一哈希模块、
至少一个第二哈希模块和块数据扫描器模块；第
一哈希模块包括多个槽位，各槽位用于与各数据
分区一一对应或者与各数据集合一一对应；至少
一个第二哈希模块中的每一个第二哈希模块与
第一哈希模块中的一个槽位相关联，第二哈希模
块用于存放相关联槽位对应的数据分区的业务
数据在存储引擎中的位置信息，或者订阅关系的
数据集合中的业务数据在存储引擎中的位置信
息。利用本发明的数据处理装置在需要将数据分
区或订阅关系的数据集合中的业务数据同步到
其他结点时，可以快速的将相应数据分区或订阅
关系的数据集合中的所有业务数据同步到其他
结点，处理效率高。
权利要求书3页 说明书8页 附图5页
CN 105404679 B
2019.02.01
CN 105404679 B
1 .一种数据处理装置，所述数据处理装置应用于分布式数据库系统中的数据节点中，
其特征在于，包括：第一哈希模块、至少一个第二哈希模块和块数据扫描器模块；
所述第一哈希模块包括多个槽位，各槽位用于与各数据分区一一对应或者与各订阅关
系的数据集合一一对应；
至少一个第二哈希模块中的每一个第二哈希模块与所述第一哈希模块中的一个槽位
相关联，所述第二哈希模块用于存放相关联槽位对应的数据分区的业务数据在存储引擎中
的位置信息，或者订阅关系的数据集合中的业务数据在存储引擎中的位置信息；
所述块数据扫描器模块用于根据所述第一哈希模块的槽位在与所述槽位对应的第二
哈希模块中进行扫描，获取业务数据在存储引擎中的位置信息，并根据所述位置信息在所
述存储引擎中提取业务数据。
2 .根据权利要求1所述的数据处理装置，其特征在于，在数据节点启动时，所述第一哈
希模块还用于根据分布策略或订阅关系对第一哈希模块的槽位，和所述槽位与所述第二哈
希模块的关联关系进行初始化操作。
3 .根据权利要求2所述的数据处理装置，其特征在于，所述分布策略包括所述节点的至
少一个分区标识和业务数据的特征值与分区标识的映射函数；
所述第一哈希模块还用于根据分布策略对第一哈希模块的槽位，和所述槽位与所述第
二哈希模块的关联关系进行初始化操作具体包括：
所述第一哈希模块还用于将各分区标识与所述第一哈希模块的各槽位一一对应，根据
业务数据的特征值和所述业务数据的特征值与分区标识的映射函数获取所述业务数据对
应的分区标识，将所述业务数据在存储引擎中的位置信息存放在与所述分区标识对应的槽
位相关联的第二哈希模块中。
4 .根据权利要求3所述的数据处理装置，其特征在于，若需要在所述数据节点中存储新
增业务数据，将所述新增业务数据存放在所述数据节点的存储引擎中，所述第一哈希模块
还用于根据所述新增业务数据的特征值和所述映射函数，计算所述新增业务数据对应的分
区标识，将所述新增业务数据在存储引擎中的位置信息存放在与所述新增业务数据对应的
分区标识相关联的第二哈希模块中。
5 .根据权利要求3所述的数据处理装置，其特征在于，若需要删除所述数据节点中的一
业务数据，将存储引擎中的业务数据删除，所述第一哈希模块还用于根据业务数据的特征
值和所述映射函数，计算业务数据对应的分区标识，将与业务数据对应的分区标识相关联
的第二哈希模块中的业务数据在存储引擎中的位置信息删除。
6 .根据权利要求2所述的数据处理装置，其特征在于，在数据节点启动时，所述订阅关
系包括至少一个满足预设条件的数据集合信息；
所述第一哈希模块还用于根据订阅关系对第一哈希模块的槽位，和所述槽位与所述第
二哈希模块的关联关系进行初始化操作，具体包括：
所述第一哈希模块还用于将各满足预设条件的数据集合信息与所述第一哈希模块的
槽位一一对应，将满足预设条件的业务数据的位置信息存放在与满足预设条件的数据集合
信息相关联的第二哈希模块中。
7 .根据权利要求6所述的数据处理装置，其特征在于，若需要在所述数据节点中存储新
增业务数据，将所述新增业务数据存放在所述数据节点的存储引擎中，所述第一哈希模块
权 利 要 求 书
1/3 页
2
CN 105404679 B
2
of 17
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论