24-大模型（LLMs）RAG 优化策略 —— RAG-Fusion篇.pdf

wzf0072

6页

0次

2025-07-04

5墨值下载

大模型（LLMs）RAG 优化策略 —— RAG-Fusion篇

来自： AiGC面试宝典

宁静致远 2024年03月19日 22:30

一、RAG 有哪些优点？

二、RAG 存在哪些局限性？

三、为什么需要 RAG-Fusion？

• 大模型（LLMs）RAG 优化策略 —— RAG-Fusion篇

• 一、RAG 有哪些优点？

• 二、RAG 存在哪些局限性？

• 三、为什么需要 RAG-Fusion？

• 四、说一下 RAG-Fusion 核心技术？

• 五、说一下 RAG-Fusion 工作流程？

• 5.1 多查询生成

• 5.2 多查询生成技术实现（提示工程）？

• 5.3 多查询生成工作原理？

• 5.4 逆向排名融合（RRF）

• 5.4.1 为什么选择RRF？

• 5.4.2 RRF 技术实现？

• 5.4.3 生成性输出用户意图保留

• 5.4.4 生成性输出用户意图保留技术实现

• 六、RAG-Fusion 的优势和不足

• 6.1 RAG-Fusion 优势

• 6.2 RAG-Fusion 挑战

• 致谢

1. 向量搜索融合：RAG通过将向量搜索功能与生成模型相结合，引入了一种新颖的范式。这种融

合使大型语言模型（LLM）能够生成更丰富、更具上下文意识的输出。

2. 减少幻觉现象：RAG显著降低了LLM产生幻觉的倾向，使生成的文本更加基于数据。

3. 个人和专业效用：从个人应用（如浏览笔记）到更专业的集成，RAG在提高生产力和内容质量

方面展示了其多功能性，同时基于可信的数据来源。

1. 当前搜索技术的限制：RAG受到限制的方面与我们的检索式基于词汇和向量的搜索技术相同。

2. 人类搜索效率低下：人类在向搜索系统输入他们想要的内容时并不擅长，如打字错误、含糊的

查询或词汇有限，这常常导致错过那些超出显而易见的顶部搜索结果的大量信息。虽然RAG有

所帮助，但它并没有完全解决这个问题。

3. 搜索的过度简化：我们普遍的搜索范式是将查询线性映射到答案，缺乏理解人类查询的多维

性。这种线性模型通常无法捕捉更复杂用户查询的细微差别和上下文，导致结果相关性较低。

扫码加

它解决了RAG固有的限制，通过生成多个用户查询并重新排序结果。利用逆向排名融合和自定义

向量评分加权进行综合、准确的搜索。

RAG-Fusion旨在弥合用户明确询问与他们意图询问之间的差距，更接近于发现通常隐藏的变革性

知识。

四、说一下 RAG-Fusion 核心技术？

RAG-Fusion的基础三元组与RAG相似，核心技术包括：

然而，与RAG不同的是，RAG-Fusion通过几个额外的步骤区分自己——查询生成和结果重新排

序。

五、说一下 RAG-Fusion 工作流程？

5.1 多查询生成

在传统的搜索系统中，用户通常输入一个查询来查找信息。虽然这种方法直接简单，但它有局限

性。

单一查询可能无法完全捕捉用户感兴趣的全部范围，或者可能过于狭窄而无法产生全面的结果。因

此，从不同角度生成多个查询就显得尤为重要。

5.2 多查询生成技术实现（提示工程）？

1. 通用编程语言，通常是Python。

2. 专用的向量搜索数据库，如Elasticsearch或Pinecone，用于驱动文档检索。

3. 强大的大型语言模型，如ChatGPT，用于创造文本。

• 为什么要生成多个查询？