检索增强生成（RAG）是解决大型语言模型（LLMs）固定知识限制的有效方法。然而，现有基准测试存在两个主要缺陷：缺乏反映检索文档特征的数据集和全面评估长形式响应的能力。为此，我们引入了Long2RAG基准和关键点召回（KPR）指标。Long2RAG包含280个问题，涵盖10个领域和8个类别，每个问题关联5篇平均2444字的检索文档。KPR评估模型在生成响应时融入检索文档关键点的程度，提供更细致的评估。

Long2RAG核心方法

本文提出了Long2RAG基准和关键点召回率（KPR）指标，用于解决现有RAG系统评估方法的不足。具体来说：

1. LONG2RAG基准

• LONG2RAG包含280个问题，涉及10个领域和8个问题的类别，每个问题与5篇平均长度为2444词的检索文档相关联。
• 这些问题既复杂又实用，要求全面的回答，并且经过精心设计以最小化数据污染的风险。

2. 关键点召回率（KPR）指标

• KPR用于评估模型在生成响应中利用检索文档中提取的关键点的程度。
• 具体来说，对于每个问题，自动从相关检索文档中提取关键点，并计算这些点在模型生成响应中的召回率。公式如下：

  其中， 是一个评估函数，用于评估关键点 在模型生成 中的蕴含关系。

实验设计

1. 数据收集

• 使用ELI5数据集生成初始问题池，并通过Evolve-Instruct方法生成新问题。
• 使用Google搜索引擎和Serper搜索引擎检索相关文档，并使用模型对文档进行重排，最终保留与问题最相关的5篇文档。

• 使用GPT-4模型自动从检索文档中提取关键点，并通过AutoDS工具的评分函数进行初步过滤，最后通过人工标注验证关键点的有效性。

3. 模型评估

• 评估了9种最先进的LLMs，包括闭源API LLMs和开源LLMs。所有模型都采用贪婪解码策略，并使用GPT-4o作为评估器。

结果分析

1. 整体性能

• 闭源API LLMs总体上优于开源LLMs，GPT-4o表现最佳。较大的模型并不总是优于较小的模型，例如Phi-3-mini在某些情况下表现优于72B的Qwen2模型。

• GPT-4o在所有领域中表现最佳，且每个模型在不同领域中有不同程度的专长。例如，GPT-4o和Claude-3-Sonnet在AI领域表现优异，而Phi-3和Mixtral在AI相关问题中表现较差。

3. 不同问题类别的性能

• 每个问题类别的性能差异显著，比较问题类别中几乎所有模型表现优异，能够有效整合比较双方的重要信息。

4. 文档长度的性能影响

• 随着输入文档长度的增加，模型性能趋于下降。然而，当生成长度从8K增加到16K时，某些模型的性能有所回升，这可能是由于模型在训练过程中对这些数据长度的熟悉度增加。

5. 其他检索策略的影响

• 截断输入文档会导致性能下降，使用文档摘要也会导致更显著的性能退化，这表明利用长上下文对RAG管道的贡献较大。

• 对于某些模型，性能几乎与生成内容的长度成正比，但对于Qwen2-72B模型，仅仅促进长生成并不是性能的唯一决定因素。

7. 评估器的选择

• 使用GPT-4o和Llama3-70B作为评估器时，模型排名基本一致，Llama3-70B由于对关键点的评估较为宽松，因此分配的KPR分数较高。

总结

这篇论文通过引入LONG2RAG基准和KPR指标，提出了一种新的评估方法，用于解决现有RAG系统评估方法的不足。LONG2RAG基准包含复杂且实用的实际问题，KPR指标则专注于评估模型在生成响应中利用检索信息的能力。实验结果表明，闭源API LLMs在处理长上下文和长形式RAG任务中表现优异，且较大的模型并不总是优于较小的模型。该研究为理解长上下文RAG系统和LLMs在利用检索信息方面的能力提供了新的视角和方法。

优点

1. 引入新基准和评估指标
   论文提出了LONG2RAG基准和关键点召回率（KPR）评估指标，解决了现有基准在评估长上下文和长形式检索增强生成（RAG）系统方面的两个关键缺陷。

2. 数据集设计
   LONG2RAG包含280个问题，覆盖10个领域和8个问题的8个类别，每个问题与平均长度为2444词的5篇检索文档相关联。数据集经过精心设计，以最小化数据污染的风险。

3. **关键点召回率

4. 关键点召回率（KPR）
   KPR评估模型在生成的响应中包含检索文档中提取的关键点的程度，提供了一种更细致的评估方法。

5. 多维度评估
   通过LONG2RAG和KPR，论文对9种最先进的LLMs进行了广泛的评估，提供了从多个维度理解长上下文RAG系统的见解。

6. 自动化的关键点提取和验证
   使用GPT-4进行自动化的关键点提取和验证，减少了人工标注的需求，提高了数据质量。

7. 详细的实验和分析
   论文提供了详细的实验结果和分析，涵盖了不同领域、问题类别、文档长度、截断策略、生成长度和评估器选择等多个方面。

不足

1. 数据集规模有限
   尽管LONG2RAG数据集多样且精心策划，但其规模有限，仅有280个问题。扩大数据集可以提供更具代表性和泛化能力的见解。

2. 语言限制
   评估主要集中在英语内容，可能无法完全反映LLMs在处理其他语言方面的能力。

3. 评估指标的局限性
   自动化的KPR指标虽然创新，但可能无法完美捕捉人类评估的细微差别，其依赖于关键点提取可能引入额外的偏见或错误。

4. 缺乏对不同检索策略的研究
   论文未深入探讨不同检索策略对LLMs性能的影响，这可能是RAG系统中的一个重要因素。

5. 忽略其他长文本方面
   研究主要关注LLMs在利用检索信息方面的有效性，忽略了长文本的其他方面，如事实准确性和逻辑连贯性。

问答环节

问题1：LONG2RAG基准是如何设计和构建的？其数据集有哪些特点？

LONG2RAG基准的设计旨在解决现有RAG系统评估方法的不足，特别是缺乏能够反映检索文档特性的数据集和综合评估方法。具体来说，LONG2RAG包含280个问题，涉及10个领域和8个问题的类别，每个问题与5篇平均长度为2444词的检索文档相关联。这些问题既复杂又实用，要求全面的回答，并且经过精心设计以最小化数据污染的风险。为了确保数据的质量，LONG2RAG使用了ELI5数据集生成初始问题池，并通过Evolve-Instruct方法生成新问题。使用Google搜索引擎和Serper搜索引擎检索相关文档，并使用模型对文档进行重排，最终保留与问题最相关的5篇文档。关键点提取使用GPT-4模型自动从检索文档中提取，并通过AutoDS工具的评分函数进行初步过滤，最后通过人工标注验证关键点的有效性。

问题2：关键点召回率（KPR）指标是如何定义和计算的？其主要优点是什么？

关键点召回率（KPR）指标用于评估模型在生成响应中利用检索文档中提取的关键点的程度。具体来说，对于每个问题，自动从相关检索文档中提取关键点，并计算这些点在模型生成响应中的召回率。公式如下：

其中， 是一个评估函数，用于评估关键点 在模型生成 中的蕴含关系。KPR的主要优点在于它提供了一种更为细致和全面的评估方法，不仅考虑了关键点是否被生成，还考虑了它们在生成响应中的具体表现。相比于传统的自动化评估方法，KPR更能准确地反映模型在利用检索信息方面的能力。

问题3：实验结果表明了哪些关于LLMs在长上下文和长形式RAG任务中的表现？

1. 整体性能
   闭源API LLMs总体上优于开源LLMs，GPT-4o表现最佳。较大的模型并不总是优于较小的模型，例如Phi-3-mini在某些情况下表现优于72B的Qwen2模型。

2. 不同领域的性能
   GPT-4o在所有领域中表现最佳，且每个模型在不同领域中有不同程度的专长。例如，GPT-4o和Claude-3-Sonnet在AI领域表现优异，而Phi-3和Mixtral在AI相关问题中表现较差。

3. 不同问题类别的性能
   每个问题类别的性能差异显著，比较问题类别中几乎所有模型表现优异，能够有效整合比较双方的重要信息。

4. 文档长度的性能影响
   随着输入文档长度的增加，模型性能趋于下降。然而，当生成长度从8K增加到16K时，某些模型的性能有所回升，这可能是由于模型在训练过程中对这些数据长度的熟悉度增加。

5. 其他检索策略的影响
   截断输入文档会导致性能下降，使用文档摘要也会导致更显著的性能退化，这表明利用长上下文对RAG管道的贡献较大。

6. 生成长度的性能影响
   对于某些模型，性能几乎与生成内容的长度成正比，但对于Qwen2-72B模型，仅仅促进长生成并不是性能的唯一决定因素。

7. 评估器的选择
   使用GPT-4o和Llama3-70B作为评估器时，模型排名基本一致，Llama3-70B由于对关键点的评估较为宽松，因此分配的KPR分数较高。

引用：https://arxiv.org/abs/2410.23000

关于社区

『社区持续纳新中』主要关注LLM、RAG、智能文档等技术方向，并持续提供AI行业热点资讯、精选论文解读。

• 加入方式：关注公众号，在菜单栏中点击【会员社区】->【技术社区群】，私信可领取·清华大学出版社《动手学AI绘画:Midjourney从入门到实践》

往期推荐

• RAG 专题
• 提示工程 专题
• 智能文档 专题
• ASR+TTS 专题