一种分布式数据连接处理方法、装置、设备及存储介质_CN201811015813.2.PDF
免费下载
(19)中华人民共和国国家知识产权局
(12)发明专利
(10)授权公告号
(45)授权公告日
(21)申请号 201811015813.2
(22)申请日 2018 .08 .31
(65)同一申请的已公布的文献号
申请公布号 CN 109271408 A
(43)申请公布日 2019 .01 .25
(73)专利权人 阿里巴巴集团控股有限公司
地址 英属开曼群岛大开曼资本大厦一座四
层847号邮箱
(72)发明人 陈萌萌
(74)专利代理机构 北京众达德权知识产权代理
有限公司 11570
代理人 刘杰
(51)Int.Cl .
G06F
16/2453
(2019 .01)
G06F
16/2455
(2019 .01)
(56)对比文件
CN 105187468 A ,2015 .12.23
US 2017060970 A1 ,2017 .03 .02
CN 108156154 A ,2018 .06.12
审查员 赖女女
(54)发明名称
一种分布式数据连接处理方法、装置、设备
及存储介质
(57)摘要
本说明书实施例提供了一种分布式数据连
接处理方法、装置、设备及存储介质。其方法包
括：根据本端的表单数据生成第一布隆过滤器，
并将第一布隆过滤器发送给对端；接收对端发送
的第二布隆过滤器；合并所述第一布隆过滤器和
所述第二布隆过滤器；利用合并后的布隆过滤器
对本端的表单数据进行布隆过滤。
权利要求书2页 说明书7页 附图4页
CN 109271408 B
2020.07.28
CN 109271408 B
1 .一种分布式数据连接处理方法，其特征在于，包括：
读取本端的数据集合过程中，周期性地生成第一布隆过滤器并发送给对端；
周期性地接收所述对端发送的第二布隆过滤器，所述第二布隆过滤器是由所述对端根
据所述对端的数据集合生成的；
每接收到一个第二布隆过滤器，合并当前接收到的第二布隆过滤器与最近一次生成的
第一布隆过滤器或合并当前接收到的第二布隆过滤器与当前进行布隆过滤所使用的双边
布隆过滤器，利用最新的双边布隆过滤器对本端的所述数据集合中的数据进行过滤，其中，
合并之后的布隆过滤器为双边布隆过滤器；
将过滤不成功的数据写入到第三端中。
2.据权利要求1所述的方法，其特征在于，该方法还包括：
缓存过滤成功的数据；
利用后续合并的双边布隆过滤器对缓存的数据再次进行过滤。
3.根据权利要求2所述的方法，其特征在于，所述利用后续合并的双边布隆过滤器对缓
存的数据再次进行布隆过滤，包括：
利用最后一次合并的双边布隆过滤器对所述本端的所述数据集合中的数据进行布隆
过滤。
4 .根据权利要求1
~
3任一项所述的方法，其特征在于，该方法还包括：
在读取完所述本端的所述数据集合中的全部数据，且未接收到所述对端发送的第二扫
描结束指令时，向所述对端发送第一扫描结束指令；
在接收到所述对端发送的所述第二扫描结束指令后，利用最近一次生成的第一布隆过
滤器对所述本端的所述数据集合的数据进行过滤。
5.一种分布式数据连接处理装置，其特征在于，包括：
第一布隆过滤器模块，用于读取本端的数据集合过程中，周期性地生成第一布隆过滤
器并发送给对端；
第二布隆过滤器模块，用于周期性地接收所述对端发送的第二布隆过滤器，所述第二
布隆过滤器是由所述对端根据所述对端的数据集合生成的；
布隆过滤执行模块，用于每接收到一个第二布隆过滤器，合并当前接收到的第二布隆
过滤器与最近一次生成的第一布隆过滤器或合并当前接收到的第二布隆过滤器与当前进
行布隆过滤所使用的双边布隆过滤器，利用最新的双边布隆过滤器对本端的所述数据集合
中的数据进行过滤，其中，合并之后的布隆过滤器为双边布隆过滤器；
数据连接操作模块，用于将过滤不成功的数据写入到第三端中。
6.根据权利要求5所述的装置，其特征在于，还包括缓存模块，用于：缓存过滤成功的数
据；
所述布隆过滤执行模块还用于：利用后续合并的双边布隆过滤器对缓存的数据再次进
行过滤。
7 .根据权利要求5
~
6任一项所述的装置，其特征在于，还包括扫描结束指令发送模块，
用于在读取完所述本端的所述数据集合中的全部数据，且未接收到所述对端发送的第二扫
描结束指令时，向所述对端发送第一扫描结束指令；
所述布隆过滤执行模块还用于：在接收到所述对端发送的所述第二扫描结束指令后，
权 利 要 求 书
1/2 页
2
CN 109271408 B
2
of 14
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论