顶快讯 | 3篇KDD相关的硬核工作：图上的预训练；基于图的多元时间序列预测；图上最优低通滤波设计

深度学习与图网络 2020-07-27

399

1题目：GPT-GNN:Generative Pre-Training of Graph Neural Networks

训练GNN通常需要大量标记数据，获取这些数据成本往往非常高。减少标记工作的一种有效方法是在未标记数据上预训练一个具有表达能力的GNN模型，并进行自我监督，然后将学习到的模型迁移到只有少量标记的下游任务中。

在本文中，作者提出了GPT-GNN框架，通过生成式预训练来初始化GNN。GPT-GNN引入了一个自监督属性图生成任务来预训练一个GNN，使其能够捕获图的结构和语义属性信息。将图生成的概率分解为两部分:1)属性生成和2)边生成。通过对两个组件进行建模，GPT-GNN捕捉到生成过程中节点属性与图结构之间的内在依赖关系。在10亿规模的开放学术图和亚马逊推荐数据上进行的综合实验表明，GPT-GNN在不经过预训练的情况下，在各种下游任务中的表现显著优于最先进的GNN模型，最高可达9.1%。

关键词：生成式预训练，图神经网络，图表示学习，神经嵌入，GNN预训练

2 题目：Connecting the Dots: Multivariate Time Series Forecasting with Graph Neural Networks

多元时间序列预测背后的一个基本假设是，其变量相互依赖，但仔细观察，可以说现有方法无法完全利用变量对之间的潜在空间依赖性。同时，近年来，图神经网络（GNN）在处理关系依赖方面表现出了很高的能力。GNN需要用于信息传播的定义明确的图结构，这意味着它们无法直接应用于事先不知道相关性的多元时间序列。

在本文中，作者提出了一个专门为多元时间序列数据设计的通用图神经网络框架。我们的方法通过图形学习模块自动提取变量之间的单向关系，可以轻松地将诸如变量属性之类的外部知识整合到其中。进一步提出了一种新颖的混合跳跃传播层和一个扩张的起始层来捕获时间序列内的空间和时间依赖性。在端到端框架中共同学习图学习，图卷积和时间卷积模块。实验结果表明，我们提出的模型在4个基准数据集中的3个方面优于最新的基线方法，并在提供额外结构信息的两个交通数据集上与其他方法相比具有同等的性能。

3 题目：Adaptive Graph Encoder for Attributed Graph Embedding

现有的基于GCN的方法具有三个主要缺点。首先，实验表明图卷积滤波器和权重矩阵的纠缠将损害性能和鲁棒性。其次，这些方法中的图卷积滤波器是广义拉普拉斯平滑滤波器的特例，但它们并未保留最佳的低通特性。最后，现有算法的训练目标通常是恢复与现实应用并不总是一致的邻接矩阵或特征矩阵，为了解决这些问题，作者提出了一种新型的属性图嵌入框架Adaptive Graph Encoder（AGE）。

AGE由两个模块组成：（1）为了更好地减轻节点特征中的高频噪声，AGE首先应用了精心设计的拉普拉斯平滑滤波器。（2）AGE采用了自适应编码器，该编码器迭代地增强了滤波后的特征，以实现更好的节点嵌入。使用四个公共基准数据集进行实验，验证AGE在节点群集和链接预测任务上的作用。实验结果表明，AGE在这些任务上始终优于最新的图形嵌入方法。

https://arxiv.org/abs/2007.01594

数据库

文章转载自深度学习与图网络，如果涉嫌侵权，请发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。

顶快讯 | 3篇KDD相关的硬核工作：图上的预训练；基于图的多元时间序列预测；图上最优低通滤波设计

评论