暂无图片
暂无图片
暂无图片
暂无图片
暂无图片
首页 / WSDM2022 : 基于双曲几何无标度图建模的知识感知推荐，性能最高提升15%

WSDM2022 : 基于双曲几何无标度图建模的知识感知推荐，性能最高提升15%

深度学习与图网络 2022-06-20
678


点击上方 蓝字关注我们

Modeling Scale-free Graphs with Hyperbolic Geometryfor Knowledge-aware Recommendation
WSDM2022
作者：Yankai Chen, Menglin Yang, Yingxue Zhang, Mengchen Zhao, Ziqiao Meng, Jianye Hao, Irwin King
https://arxiv.org/abs/2108.06468
本文博客转自MIND lab， 原文地址https://mp.weixin.qq.com/s/rVHz5vUVI9fkyXddmxaXJA

为了缓解传统推荐系统中的冷启动与数据稀疏问题，近年来，向推荐系统中引入外部知识构建知识图谱受到了越来越多的关注。此外，由于图神经网络在提取图数据特征方面的强大性能，一些研究将推荐系统与GNN结合了起来。基于GNN的知识图谱推荐模型通常将用户-物品历史交互与外部知识图谱的交互统一为三部图，然而在数据统一之后，这些三部图通常呈现出无标度（或层次）图的特点，如图1(a)所示，两项基准数据集的度分布近似于幂律分布。而现有研究表明，对于树状（幂律分布）数据，欧式空间将会获得较高的失真，同样地，传统的基于欧式空间的图嵌入方法可能无法有效地捕获无标度网络的内在层次结构，从而使得节点嵌入高度失真，最终降低了推荐的性能。
现有研究表明双曲空间，即具有指数增长特性的连续树形空间，对具有层次数据结构或无标度网络结构数据可产生较少的失真，如图1(b)所示，在双曲空间中，靠近图中心的节点距离较小，而靠近图边界的节点距离较大。为了解决上述问题，本文提出了基于的双曲几何洛伦茨模型的知识感知推荐模型，简称为LKGR。

相关定义

2.1 知识图谱
知识图谱一般可定义为三元组{(e1,r,e2)|e1,e2∈E,r∈R}，r表示连接实体1与实体2的关系，知识图谱一般被用来提供项目的外部知识；而用户-项目的交互关系可表示为{(u,r*,i)|u∈U,i∈I}，r*表示用户与项目之间的所有交互行为(如浏览，点击，购买等)；将用户行为与项目外部知识结合到统一知识图(UKG)中,可表示为G={(h,r,t)|h,t∈E',r∈R'},E'=E∪U,R'=R∪{r*}，如图2(a)所示。
2.2 双曲几何
双曲几何是一种非欧几里得几何，其具有恒定的负曲率，测量集合物品如何偏离平面。本文使用洛伦茨模型来建模双曲几何空间。
2.2.1 洛伦茨流形与切平面
令下式表示双曲空间中的洛伦茨内积：
表示带有恒定曲率-1/c的d维洛伦茨流体，其以x为中心的欧几里得空间切平面表示为，切平面是洛伦茨流体在x处的局部一阶近似，其对于在双曲空间中执行图卷积操作很有用。
2.2.2 指数与对数映射
双曲空间与切平面空间可以由指数映射与对数映射相互对应，给定，指数映射，对应的对数映射将投影回到切平面空间，具体表示为：
 

LKGR模型



本文的LKGR 模型整体框架如图2(b)所示，具体包括编码层，洛伦茨卷积层以及预测层。
3.1 编码层
在进行后续的卷积操作之前，需要先将欧式空间中的嵌入表示映射到洛伦茨流形上，具体可表示为：

其中，[0,xE]为在切平面空间的d维向量，向量o={}表示洛伦茨流形中的原点，o被用作执行切空间操作的参考向量。此处曲率-1/c为可训练的参数，其动态地衡量嵌入空间的层次结构。
3.2 洛伦茨卷积层
3.2.1 洛伦茨流形上的注意力机制
本文提出了一种注意力机制，其考虑了洛伦茨流形上知识三元组的局部结构，首先计算实体h，t之间关系r下边的注意力权重，表示为：
归一化表示为：
此注意力机制基于节点嵌入h,t以及权重矩阵Wr，使得LKGR可以自动权衡邻居的不同贡献，从而进行有效的传播与聚合。
3.2.2 洛伦茨消息传递
为了在洛伦茨流形上传播邻域信息，需要分别计算用户和物品邻域的洛伦茨线性组合。如图2(a)所示，由于用户仅仅与物品有交互行为，用户u的邻域表示了其历史交互信息，故其消息传递可表示为：
类似地，物品与用户以及外部知识相连，故其消息传递可表示为：
3.2.3 洛伦茨邻域聚合
在获得了上文提到的邻域信息后，需要对其进行聚合，并更新用户及物品嵌入。本文利用了三种聚合方式以实现邻域聚合：
①累加聚合：对输入求和，并进行非线性变换，然后洛伦茨流形上进行激活：

其中，A和b为在相应切平面空间中可训练的权重与偏置。
②拼接聚合：将输入向量拼接，表示为：
③邻域聚合：直接将输入特征输出为节点表示：
给定A与b，上文三种邻域聚合中的洛伦茨线性变换可表示为：
激活函数表示为：
3.2.4 高阶知识提取
如图2(b)所示，为了进一步探索KGS中的高阶信息，并将远程知识传播到条目中，可以探索多跳子图，并相应地在LKGR中叠加更多的传播层。首先需要对物品i进行l跳子图采样，以获得其在知识图谱中的高阶子图；然后从l跳子图传播知识，并迭代聚合到节点i。例如，e为物品i在知识图谱中的l跳邻居，在l跳的传播中，通过探索e的邻接子图来表示e’的邻居表示，具体表示为：
3.3 预测层及优化
3.3.1 预测层
在传统的基于嵌入的匹配模型中，内积和L2距离被广泛采用。本文利用学习得到的用户和物品的双曲表示，在双曲空间中取内积以估计它们之间的匹配分数，表示为：

3.3.2 模型优化
令表示用户与物品之间的正交互集合，即，表示负采样得到的负交互集合，。本文LKGR模型的损失表示为：
本文方法LKGR的整体算法框架如算法1所示。

本文实验使用的数据集为推荐系统中三项基准数据集，数据集具体如表1所示。
本文方法与基线方法的实验对比如表2所示，本文模型基本取得了最好的效果。
图3展示了topk推荐任务下本文算法与基线算法的性能对比。

本文的消融实验如表3所示，消融实验分别研究了用户物品之间消息传递(IS)，物品的外部知识提取(KE)，双曲空间(HG)以及注意力机制(LKA)的影响。
本文方法的时间分析如图4所示。


本文提出了一个KG-增强的推荐模型，即LKGR，该模型学习用户和物品的嵌入，以及KG实体在双曲空间中的嵌入。本文在洛伦兹流形上提出了一种知识感知的注意机制来区分图节点的信息量贡献，然后通过多层聚集来实现高阶信息传播。在三个基准数据集上的实验结果不仅验证了LKGR相对于最近最先进的解决方案的性能改善，而且还证明了所有提出的模型组件的有效性。

原文地址：https://dl.acm.org/doi/10.1145/3488560.3498419

文章转载自深度学习与图网络，如果涉嫌侵权，请发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。

评论