论文秀Live | WWW 2025“从图到表格：大模型如何用多模态与位置编码征服结构化数据？”

TuGraph 2025-03-05

464

点击蓝字，关注我们

结构化数据作为信息组织的核心载体，广泛存在于社交网络、金融风控、生物医药等领域。然而，传统方法在处理文本属性图（TAGs）和表格数据时，常面临标签依赖性强、跨域迁移能力不足以及空间信息丢失等关键挑战。随着大语言模型（LLM）与多模态技术的快速发展，如何让AI更高效地理解与推理结构化数据，成为学术界与工业界共同关注的焦点。

WWW（The ACM Web Conference )2025万维网技术领域的顶会将于当地时间4月28日-5月2日在澳大利亚悉尼举行。蚂蚁集团有多篇论文入选WWW 2025，其中两项研究成果《GraphCLIP: Enhancing Transferability in Graph Foundation Models for Text-Attributed Graphs》与《2D-TPE: Two-Dimensional Positional Encoding Enhances Table Understanding for Large Language Models》分别从图学习与表格理解的角度，提出了创新性解决方案。

本次论文秀将深度解析这两项技术的设计逻辑与实验验证。

论文一

GraphCLIP: Enhancing Transferability in Graph Foundation Models for Text-Attributed Graphs

文本属性图（Text-Attributed Graphs, TAGs）是一种图结构数据，其中每个节点都包含原始文本信息。由于现实世界中存在大量丰富的文本节点特征，并且随着大语言模型（LLM）的快速发展，TAGs在社交网络、推荐系统、引文网络等多个领域得到了广泛应用，受到学术界和工业界的高度关注。然而，当前的TAG方法仍面临两大主要挑战：（1）对标签信息的高度依赖；（2）跨域零样本或少样本的迁移能力不足。这些问题不仅限制了数据和模型规模的扩展，还由于高昂的人工标注成本和扩展方式的制约，阻碍了图基座模型的开发与应用。为了解决上述挑战，本文提出了GraphCLIP框架，旨在通过一种自监督对比图-摘要预训练方法，学习具备强大跨域零样本/少样本迁移能力的图基础模型。具体而言，我们借助LLM生成并整理大规模的图-摘要对数据，并结合不变性学习机制设计自监督图-摘要预训练方法，以增强图基础模型的跨域零样本迁移能力。此外，对于少样本学习场景，我们设计了一种与预训练目标一致的新型图提示调优技术，用以缓解灾难性遗忘问题并降低学习成本。

大量实验证明，GraphCLIP在零样本场景下的表现优于72B参数量的大语言模型，在少样本场景下也超越了其他图提示学习方法。此外，在多种下游任务（如节点分类、链接预测等）上的评估结果进一步验证了GraphCLIP的通用性和鲁棒性。

论文二

2D-TPE: Two-Dimensional Positional Encoding Enhances Table Understanding for Large Language Models

表格在各个领域广泛应用，用于简洁地呈现结构化信息。让大语言模型（LLM）能够有效推理表格数据是当前的研究热点。然而，由于典型的 LLM 仅支持一维输入，现有方法通常将二维表格展平为一系列标记，这会严重破坏表格的空间结构，导致重要上下文信息丢失。

在本文中，我们首先通过两个复杂的代理任务，实验证明了这种展平操作对 LLM 捕捉表格空间信息的负面影响。为了应对这一挑战，我们提出了一种简单而有效的位置编码方法——“2D-TPE”（二维表位置编码）。2D-TPE 允许每个注意力头根据上下文动态选择标记的排列顺序，从而关注不同的遍历模式，例如按列或按行遍历。这样，2D-TPE 能有效减少空间信息丢失的风险，同时保持计算效率，更好地保留表格结构。通过在五个基准测试中进行的大量实验，我们发现，2D-TPE 在表现上超过了强基线，突出表明保留表格结构对表格理解的准确性至关重要。进一步分析显示，2D-TPE 在处理大型表格时的可扩展性显著优于现有基线。

论文亮点聚焦

论文一：通过设计全新的对比图-摘要预训练方法并结合不变性学习技术，训练出具有强迁移能力的图基础模型。

论文二：引入一种新颖的二维位置编码方法2D-TPE，旨在保留表格结构和空间信息，显著提高LLM在表格理解任务上的性能。

本期论文秀Live

分别邀请两篇论文的第一作者

分享该技术的设计思路与验证过程