小白学RAG：使用Rageval评估RAG系统

https://github.com/gomate-community/rageval

Rageval是一个用于评估RAG系统的工具。该评估包括六个子任务，包括查询重写、文档排名、信息压缩、证据验证、答案生成和结果验证。

生成任务

生成任务是基于RAG中检索模块提供的上下文来回答问题。通常情况下，上下文可以是从压缩器中提取/生成的文本片段，或者从重新排列器中提取的相关文档。在这里，我们将生成任务中使用的度量标准分为两类，即答案正确性和答案基础性。

答案正确性

通过将生成的答案与基准答案进行比较来评估正确性。以下是一些常用的度量标准：

• 答案F1正确性
• 答案NLI正确性
• 答案EM正确性
• 答案Bleu分数
• 答案Ter分数
• 答案chrF分数
• 答案Disambig-F1
• 答案Rouge正确性
• 答案准确度
• 答案LCS比率
• 答案编辑距离

答案基础性

通过将生成的答案与提供的上下文进行比较来评估基础性（也称为事实一致性）。以下是一些常用的度量标准：

• 答案引文精度
• 答案引文召回
• 上下文拒绝率

改写任务

重写任务旨在将用户问题重新表述为一组查询，使它们更适合RAG中的搜索模块。

检索任务

搜索任务是从知识库中检索相关文档。

• 上下文充分性：这类度量标准是通过将检索到的文档与基准上下文进行比较来评估充分性。
• 上下文相关性：这类度量标准是通过将检索到的文档与基准答案进行比较来评估相关性。

评测数据集

ASQA基准测试

ASQA数据集是一个包含事实性问题和长格式答案的问答数据集。该基准测试评估了数据集中答案的正确性。

ALCE基准测试

ALCE是用于自动语言模型引文评估的基准测试。ALCE包含三个数据集：ASQA、QAMPARI和ELI5。