检索

不同检索方法的结果

 重新排序

• DLM 重新排序：这种方法使用深度语言模型（DLM）进行重新排序。这些模型经过微调，可将文档与查询的相关性分为 "真 "或 "假"。在微调过程中，使用查询和相关性注释文档对模型进行训练。在推理过程中，根据 "真 "标签的概率对文档进行排序。

• TILDE 重新排序：TILDE 通过预测模型词汇中每个术语的概率，独立计算每个查询术语的可能性。通过对查询词的预计算对数概率求和来对文档进行评分，从而在推理过程中实现快速重新排序。TILDEv2 在此基础上进行了改进，只对文档中存在的术语编制索引，使用 NCE loss 并扩展文档，从而提高了效率并缩小了索引规模。

 重新打包

 总结

检索结果可能包含冗余或不必要的信息，这会妨碍 LLM 生成准确的回复。此外，冗长的提示可能会减慢推理过程。因此，总结检索文档的有效方法在 RAG 流程中至关重要。

提取式压缩器将文本分割成句子，并根据其重要性进行评分和排序。生成式压缩器综合多个文档中的信息，重新表述并生成连贯的摘要。这些任务可以是基于查询的，也可以是不基于查询的。

主要评估了三种方法：

• Recomp：它具有提取式和生成式压缩器。提取压缩器选择有用的句子，而生成压缩器则从多个文档中合成信息。
• LongLLMLingua：它通过关注与查询相关的关键信息来改进 LLMLingua。
• Selective Context：它通过识别和删除输入上下文中的冗余信息来提高 LLM 效率。
  

如上图所示，建议使用 Recomp，因为它的表现非常出色。虽然 LongLLMLingua 的表现不佳，但它在没有经过这些实验数据集训练的情况下表现出了更好的泛化能力。因此，我们可以将其视为一种替代方法。

 结论

在本文中我得到了以下启示：

• 系统组件的重要性：本文强调了 RAG 系统中每个组件（如查询分类、检索、重新排序、文档重新打包、摘要和生成）的重要性。这表明，在设计复杂系统时，优化各个组件的性能至关重要。
• 模块化设计的重要性：分别优化和测试组件显示了模块化设计在复杂系统中的优势。模块化设计允许独立进行更新和优化，便于在各种应用中重复使用和调整，从而提高了可维护性。
• 系统的实验方法：通过对公认的数据集进行广泛测试，确保了其结果的可靠性和可推广性。这种系统的实验设计方法为其他研究人员提供了一个极好的范例。