LLMs+知识图谱 (KG)，快速实现高效可靠的多步推理

AI 搜索引擎 2024-11-26

501

今天分享的是由南京大学新型软件技术国家重点实验室与微软联合发布的一篇论文：

论文题目：Call Me When Necessary: LLMs can Efficiently and Faithfully Reason over Structured Environments。

论文链接: https://aclanthology.org/2024.findings-acl.254.pdf

代码链接: https://github.com/microsoft/Readi

介绍

近年来，大型语言模型（LLMs）在结构化环境（SEs）中的推理能力引起了广泛关注。针对大规模语言模型在结构化环境中推理的问题，现有研究通常采用两种主流方法：逐步推理和微调模型。

逐步推理方法通过逐步扩展推理路径与SEs交互，每一步都需调用LLM。这种方式能够缓解幻觉问题，但效率较低。例如，要回答“奥巴马的女儿是谁”这样的问题，逐步推理需要调用 LLM 至少两次——首先查询“奥巴马”的相关关系，然后从候选关系中选择“父亲”。

微调模型方法则通过使用标注数据训练模型，帮助其记忆环境并直接生成推理路径，虽然效率较高，但其输出结果无法保证能够在SEs上被验证。此外，微调方法依赖大量标注数据，在大规模SEs中，标注成本高昂且难以获取。

为了解决上述问题，本文提出了 Reasoning-PathEditing (Readi) 框架，该方法充分利用了LLMs的内在规划能力，并结合动态反馈机制，实现高效且可靠的推理。

Readi框架首先生成完整的推理路径，并在SEs中进行实例化；只有在实例化失败时才会触发路径编辑，从而减少不必要的LLM调用，显著提高推理效率。同时，Readi通过记录环境反馈（如出错位置、部分完成的实例和关联关系）来为路径编辑（修正）提供精准指导，提升推理的可靠性和效果。

实验结果表明，在KGQA和TableQA的五个多跳推理任务的综合实验中，Readi表现优于其他基于LLM的解决方案，并且超过了大多数微调方法。

方法

Readi是一种多跳推理框架，其在知识图谱（KG）上进行路径规划、实例化和问题求解。它的核心流程包括推理路径生成、推理路径实例化、推理路径修订，以及最终基于知识图谱的问答生成，上图展示了Readi的运行示例。下面将详细介绍每一步骤。

1. 推理路径生成

Reasoning Path Generation

目标：利用LLM生成初始推理路径 (P)，为后续在KG上的实例化奠定基础。

方法：

输入问题 (Q) 和主题实体 (n) 个。
使用思维链（Chain of Thought, CoT）的方式生成推理路径 (P)，包含从每个主题实体出发的 (n) 个约束条件。

示例：例如，对于问题“哪个国家与法国接壤并包含服务尼美根的机场？”，推理路径生成：

从“France”出发，约束为“邻接的国家”；
从“Nijmegen”出发，约束为“服务该城市的机场”及“包含这些机场的国家”。

2. 推理路径实例化

Reasoning Path Instantiation

目标：将推理路径 (P) 的自然语言关系（NL关系）转化为KG中的关系，并找到符合约束的实体路径。

过程：

关系绑定：

将路径中的NL关系与KG中的关系模式绑定。
使用BM25和Contriever从KG中检索出与NL关系语义相似的关系模式作为候选关系。
示例：将“border”绑定为“adjoin, near_by, locations”等候选关系。

路径连接：

确定起始实体后，从KG中寻找符合候选关系序列的路径实例。
若某个候选关系能够连接到当前实体，则实例化该关系；重复该过程，直至实例化完整路径。
示例：对于图中的示例，首先需要检查KG中是否存在任何从“France”出发的路径实例，其中的关系依次匹配(P)中所有关系的绑定候选关系。具体而言，如果候选“adjoin, near_by, locations”中的任何关系连接到“France”（橙色粗体“adjoin”），将获得满足约束“[France] border”的实体，因此NL关系“border”在KG上实例化为“adjoin”。然后，对(P)中剩余的关系重复相同的过程，最终实例化整个路径

实例化失败：

如果某段路径无法实例化，例如没有候选关系能连接当前实体，则需要触发路径修订。

3. 推理路径修订

Reasoning Path Editing

目标：在路径实例化失败时，分析错误原因并通过修订更新路径。

过程：

错误摘要：

分类错误类型，定位错误位置和相关信息：

不相关NL关系：当前NL关系的候选KG关系均无法连接当前实体；
空路径：推理路径不存在；
路径以复合节点结束：实例化路径的最后一个节点是复合节点。

如果实例化出错，检测错误位置、相关NL关系及当前结束的实体

错误准备：

收集修订所需信息：

错误原因；
部分完成的实例路径；
当前结束节点附近的KG关系作为修订候选。

路径修订：

‍调用LLM基于问题 (Q) 和错误信息生成修订后的路径。

示例：对与图片中的样例，在实例化“[France] border”时，路径以复合节点结束（原因iii）。生成修订信息：

路径以复合节点结束
部分完成的路径“France Compound Node”；
修订候选关系“country”和“relationship”。

然后，LLM来根据问题Q和这些错误消息编辑前面的路径，生成路径[France] border→country。

4. 基于知识图谱的问答

QA Reasoning

目标：在实例化推理路径 (P) 后，根据合并的KG实例以及问题生成答案。

过程：

将每个路径（约束）实例的交集作为KG实例集合。
结合问题 (Q) 和调用LLM生成答案。

示例：

对与图片中的样例，其KG实例路径包含：

((France, adjoin, Compound Node))
((Compound Node, country, German))。

根据这些三元组推理得出: “邻接法国的国家是‘German’”。

总结

Readi采用模块化流程，结合LLM的规划能力与知识图谱的结构化数据，通过动态错误修订机制提高鲁棒性与效率，灵活应对多跳推理中的自然语言与结构化数据间的复杂挑战。这为LLMs在结构化环境中进行推理开辟了新的路径。

推理实例化

文章转载自AI 搜索引擎，如果涉嫌侵权，请发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。

LLMs+知识图谱 (KG)，快速实现高效可靠的多步推理

评论