点击上方 蓝字关注我们
2021年的10月已经过去，下面我们看看过去的一个月有哪些比较有影响力的研究工作，小编根据paperwithcode找到了三篇相关的论文，涉及图的可扩展性，图上的鲁棒性，以及图上新的传递方式，如果你有好的，有影响力的论文推荐，欢迎私信我（微信：leaners201）
本文内容涉及到下面的论文
1. VQ-GNN: A Universal Framework to Scale up Graph Neural Networks using Vector Quantization
2. Robustness of Graph Neural Networks at Scale
3. Nested Graph Neural Networks
Scaling up图神经网络
大多数图神经网络 （GNN） 涉及邻居之间信息传递。将 GNN 缩放到大型图结构数据通常一般需要考虑采样技术。采样技术很难适用于利用多跳或全局上下文的 GNN，并且表现不稳定，不能加速推理。Ding等人（2021年）最近提出了一个框架，VQ-GNN，通过使用vector quantization 来scale up convolution-based GNNs 。
在 VQ-GNN 框架中，每个小批量消息传递（左）都由 VQ codebook更新（中）和近似消息传递（右）近似。
与采样技术相比，VQ-GNN 在每个 GNN 层中使用 VQ 来学习和更新少量全局节点表示的量化参考向量，从而有效地保留传递给小批量节点的所有消息。这一新框架有助于避免"邻里爆炸（neighbor explosion）"问题，同时不影响性能。VQ-GNN 在大图节点分类和链路预测基准上展示了可扩展性和竞争性能。
https://arxiv.org/abs/2110.14363v1
VQ-GNN: A Universal Framework to Scale-up
Graph Neural Networks using Vector Quantization
图神经网络的稳健性
如上一节所述，图神经网络在可扩展性方面仍有改进的空间。这些模型的性能需要提升，它们对对抗性扰动的鲁棒性也是如此。大多数相关工作研究了 GNN 对小图的对抗性攻击的脆弱性。相比之下，Geisler et al. (2021) 研究了大规模提高 GNN 鲁棒性的问题。
使用所提出的方法和以前的方法进行全局攻击的 GPU 内存消耗。虽然两种方法产生相似的对抗精度，但所提出的方法显示出更高的内存效率。
随着 GNN 部署在实际应用中，大规模研究它们的鲁棒性变得很重要。为了应对这一挑战，这项工作引入了实用且内存高效的攻击，即使参数数量与节点数量成二次方。还提出了使用聚合函数 Soft Median 的可扩展防御，该函数在所有规模上都证明是稳健和有效的。防御可以将攻击的成功率从 90% 左右降低到 1%。建议的攻击和防御在多达 1.11 亿个节点的图形上使用标准 GNN 进行评估。这是评估和改进 GNN 系统在实际应用中的稳健性迈出的一步。
https://github.com/sigeisler/robustness_of_gnns_at_scale
https://arxiv.org/abs/2110.14038v2
嵌套图神经网络
GNN 通过迭代地将相邻节点特征聚合到中心节点来获得节点表示。节点表示编码围绕中心节点的有根子树，然后将其合并为单个全图表示。这些有根子树的表达能力对于表示非树图是有限的。为了解决这个问题，Zhang 和 Li (2021) 提出了一个新框架，即嵌套图神经网络 (NGNNs)，它解决了这个问题，并表示一个带有根子图而不是子树的图。
执行NGNN框架。图来源：Muhan zhang & Pan Li (2021)
这种方法通过使每个节点表示编码围绕它的子图而不是子树来提高表达能力和表示。如上图所示，NGNN 在每个节点周围提取一个局部子图，然后将带有池化层的基础 GNN 应用于每个有根子图以学习子图表示。子图表示用作根节点的最终表示。然后将最终节点表示应用于图池化层以获得全图表示。NGNN 可以以即插即用的方式与各种成熟的 GNN 结合，并在多个基准数据集上取得有竞争力的结果。
https://github.com/muhanzhang/nestedgnn
https://arxiv.org/abs/2110.13197v1
📄 GNNs for improving propositional satisfiability solving - Wang et al. (2021)
🟡 GNNs for imbalanced node classification - Wang et al. (2021)
🚗 GNNs for transportation scenario planning - Peregrino et al. (2021)
🏆 GNNs for collaborative filtering - Chen et al. (2020)
🧬 GNNs for protein interface prediction - Fout et al. (2017)
🚦 GNNs for traffic forecasting - Zhang et al. (2021)
💠 GNNs for learning graph cellular automata - Grattarola et al. (2021)
🦠 GNNs for multiwave COVID-19 prediction - Xue et al. (2021)
🧠 GNNs for multimodal neuroimaging fusion learning - Shi et al. (2021)
🔐 GNNs for vulnerability detection - Nguyen et al. (2021)
