一种基于单机的大规模图数据处理系统_朱筱可 刘阳 刘书昊 樊文飞_CN 116680296 A_崖山数据库.pdf
免费下载
(19)国家知识产权局
(12)发明专利申请
(10)申请公布号
(43)申请公布日
(21)申请号 202310695465 .2
(22)申请日 2023 .06 .12
(71)申请人 深圳计算科学研究院
地址 518000 广东省深圳市龙华区民宝路
红山6979园区26座9-10层
(72)发明人 朱筱可 刘阳 刘书昊 樊文飞
(74)专利代理机构 深圳市智胜联合知识产权代
理有限公司 44368
专利代理师 黄勃
(51)Int.Cl .
G06F
16/245
(2019 .01)
G06F
16/2453
(2019 .01)
G06F
16/901
(2019 .01)
G06F
16/903
(2019 .01)
G06F
9/54
(2006 .01)
(54)发明名称
一种基于单机的大规模图数据处理系统
(57)摘要
本申请提供了一种基于单机的大规模图数
据处理系统，包括数据加载模块、数据计算模块、
数据释放模块、存储管理模块和磁盘；数据加载
模块用于从磁盘获取状态为活跃的子图，并将子
图传输至数据计算模块；数据计算模块用于对子
图进行更新，并将更新产生的消息传输至存储管
理模块；数据计算模块还用于将子图传输至数据
释放模块；数据释放模块用于将子图写入磁盘；
当子图被写入磁盘时，存储管理模块用于将子图
的状态设置为收敛。通过将基于子图中心的计算
模型应用到单机系统，并且建立一套独特的流水
线处理架构，该架构能够重叠数据I/O和CPU操
作，从而降低传统的顶点中心计算模型的I/O成
本同时提高CPU利用率，并促进对磁盘的顺序访
问。
权利要求书1页 说明书6页 附图2页
CN 116680296 A
2023.09.01
CN 116680296 A
1 .一种基于单机的大规模图数据处理系统，其特征在于，包括数据加载模块、数据计算
模块、数据释放模块、存储管理模块和磁盘；所述磁盘存储有由若干子图构成的大规模图数
据；所述存储管理模块存储有与每一所述子图对应的状态信息；初始状态下，所述子图的状
态为活跃；
所述数据加载模块用于从所述磁盘获取状态为活跃的所述子图，并将所述子图传输至
所述数据计算模块；
所述数据计算模块用于对所述子图进行更新，并将更新产生的消息传输至所述存储管
理模块；
当更新后的所述子图存在改变时，所述数据计算模块还用于将所述子图传输至所述数
据释放模块；
当所述子图非当前轮更新中的最后一个时，所述数据释放模块用于将所述子图写入所
述磁盘；
当所述子图被写入所述磁盘时，所述存储管理模块用于将所述子图的状态设置为收
敛。
2 .根据权利要求1所述的系统，其特征在于，当更新后的所述子图不存在改变时，所述
数据计算模块还用于将所述子图写入所述磁盘。
3 .根据权利要求1所述的系统，其特征在于，当所述子图为当前轮更新中的最后一个
时，所述数据释放模块还用于将所述子图传输至所述数据加载模块。
4 .根据权利要求1所述的系统，其特征在于，当当前轮更新结束时，所述存储管理模块
还用于将接收到消息的所述子图的状态设置为活跃。
5 .根据权利要求1所述的系统，其特征在于，当当前轮更新结束且所述存储管理模块中
不存在消息缓存时，所述数据计算模块还用于对全部所述子图进行聚合，得到更新后的大
规模图数据。
6 .根据权利要求1所述的系统，其特征在于，所述存储管理模块包括消息存储单元和状
态管理单元；所述状态管理单元存储有所述状态信息；
所述数据计算模块用于将更新产生的消息传输至所述消息存储单元；
当当前轮更新结束时，所述状态管理单元用于将接收到消息的所述子图的状态设置为
活跃。
7 .根据权利要求6所述的系统，其特征在于，所述数据计算模块包括聚合计算单元；
当当前轮更新结束且所述消息存储单元内不存在消息缓存时，所述聚合计算单元用于
对全部所述子图进行聚合，得到更新后的大规模图数据。
8.根据权利要求1所述的系统，其特征在于，当所述子图被所述数据加载模块获取时，
所述存储管理模块还用于将所述子图的状态设置为等待计算。
9 .根据权利要求1所述的系统，其特征在于，当所述子图被传输至所述数据计算模块
时，所述存储管理模块还用于将所述子图的状态设置为正在计算。
10.根据权利要求1所述的系统，其特征在于，当所述子图被传输至所述数据释放模块
时，所述存储管理模块还用于将所述子图的状态设置为释放中。
权 利 要 求 书
1/1 页
2
CN 116680296 A
2
of 10
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论