• 长检索单元: 不同于传统的短检索单元，LongRAG 将维基百科等知识库处理成更长的语义单元， 比如整篇文章甚至多篇文章， 从而提供更完整的信息， 避免信息片段化带来的理解偏差。
• 长检索器: LongRAG 使用能够处理长文本输入的检索器， 从预处理后的知识库中检索与问题相关的长检索单元， 减轻了传统检索器需要精准定位答案片段的压力。
• 长答案生成器: LongRAG 利用强大的长上下文 LLM 作为“答案生成器”， 使其能够 "阅读" 由长检索单元提供的完整信息， 并生成更准确、 更全面的答案。

• 第一轮: 将长检索上下文和问题连接起来作为输入， 让长“答案生成器”生成一个初步的、 可能比较冗长的答案。
• 第二轮: 使用少量的上下文示例 (例如8个) 来引导长“答案生成器”从第一轮生成的答案中提取最重要的部分， 最终得到简洁准确的答案。

LongRAG 是一种全新的检索增强生成框架，重点解决传统RAG框架中检索器和阅读器之间工作负载不平衡的问题。传统RAG框架通常使用短文本作为检索单元，例如100字左右的段落，这使得检索器需要在庞大的语料库中寻找“针尖”（即包含答案的确切短文本单元）。相反，阅读器只需从检索到的短文本单元中提取答案，工作量相对较轻。这种“重”检索器和“轻”阅读器的不平衡设计会导致性能欠佳。

为了缓解这种不平衡，LongRAG提出了“长检索器”和“长阅读器”的概念，并围绕着4K词的检索单元进行构建。

3.1、LongRAG 的三大核心组件

1. 长检索单元： LongRAG将整个维基百科文档或多个相关文档组合在一起，构建了包含超过4K词的长检索单元。这种设计可以显著减少语料库的大小（语料库中检索单元的数量），从而减轻检索器的负担。例如，在NQ数据集上，LongRAG将语料库大小从2200万个减少到60万个文档单元。此外，长检索单元还提高了信息的完整性，避免了歧义或混淆。

2. 长检索器： 长检索器的任务是从所有长检索单元中识别与给定问题相关的粗粒度信息。它首先根据文档之间的关系（例如维基百科中的超链接）将文档分组，形成长检索单元。然后，利用编码器将问题和检索单元映射到向量空间，并通过计算向量之间的相似度来检索最相关的单元。最后，将排名前k位的检索单元拼接成一个长文本作为检索结果。

3. 长阅读器： 长阅读器负责从拼接后的长文本中提取答案。LongRAG直接使用现有的长文本语言模型（如Gemini或GPT-4）作为阅读器，并根据文本长度采用不同的提示策略。对于短文本，阅读器直接从检索到的文本中提取答案；对于长文本，则采用两阶段方法：首先让阅读器生成一个较长的答案，然后提示其从长答案中提取最核心的短答案。

左图展示了长检索单元是如何通过超链接按维基百科文档分组的。每个检索单元平均包含 4K 个 Token，对应于多个相关文档。右图展示了来自 HotpotQA 的多跳问答测试用例。最终结果可以通过仅使用几个检索单元来实现，然后将其输入到长阅读器中。

3.2、Long Retriever: 粗粒度召回，化解检索压力

Long Retriever的核心目标是从海量语料库中高效召回与问题相关的粗粒度信息，而非像传统检索器那样追求精确定位答案。其关键技术创新在于：

• 长检索单元构建: LongRAG巧妙利用维基百科的超链接结构，将相互关联的多个文档聚合为平均长度达4K词的长检索单元。这种设计一方面保证了检索单元的语义完整性，有利于多跳问答等复杂任务；另一方面，显著减少了检索单元总数，例如将NQ数据集语料库压缩了近30倍，极大降低了检索难度。

• 长文本相似度计算: 针对现有Embedding模型难以处理4K词级别长文本的挑战，Long Retriever采用了一种近似计算方法：将长文本切分成多个短文本块，分别计算每个块与问题的相似度，最终取最大值作为整体相似度。这种方法简单有效，但也为更精准高效的长文本Embedding模型研究提出了需求。

• 检索结果聚合: Long Retriever最终返回Top-K个最相关的长检索单元，并将它们拼接成更长的文本传递给Long Reader。K的选择需要根据检索单元粒度和阅读器模型的上下文窗口大小进行调整，论文实验表明最终传递给阅读器的文本长度在30K词左右较为合适。

3.3、Long Reader: 深度理解，精准提取答案

Long Reader负责接收Long Retriever返回的长文本，从中精确定位答案并生成最终结果。其性能直接取决于对长文本的理解能力，以及精准的答案提取策略。

• 长文本理解能力: LongRAG选择Gemini-1.5-Pro和GPT-4o这两款具备超长上下文窗口和出色理解能力的LLM作为Reader，充分发挥了长文本LLM的优势，为LongRAG框架的成功奠定了基础。

• 两阶段答案提取: 针对长文本，LongRAG采用了一种“先长后短”的两阶段答案提取策略：

• 首先，将检索到的长文本和问题一起输入LLM，让其生成一个相对完整的长答案，确保答案信息完整性。

• 然后，利用少量样本对LLM进行微调，引导其从长答案中提取最核心的短语或实体作为最终答案，提升答案精准度。

1. 闭卷问答 (Closed-book): 直接使用预训练语言模型进行问答，不依赖任何外部知识库。实验中采用了 GPT-4-Turbo、Gemini-1.5-Pro 和 Claude-3-Opus 等先进的大语言模型，并采用了 16-shot 提示策略。

2. 完全监督的 RAG (Fully-supervised RAG): 使用 RAG 框架，并在训练数据上进行完整的监督学习，例如 DPR、FiD、Atlas 等模型。

3. 无微调的 RAG (No Fine-tuning RAG): 使用 RAG 框架，但没有进行任何微调，例如 LongRAG (Gemini-1.5-Pro) 和 LongRAG (GPT-4o)。

• 长上下文信息至关重要: LongRAG 的成功得益于其对长上下文信息的有效利用。相比之下，传统的短文本 RAG 模型难以捕捉到复杂问题和答案之间的多跳推理关系，因此在性能上存在明显差距。
• 更强大的 LLM 可以进一步提升 LongRAG 性能: 实验结果显示，使用 GPT-4o 作为阅读器的 LongRAG 模型比使用 Gemini-1.5-Pro 的模型性能更优。这说明更强大的 LLM 能够更好地理解长文本信息，并更准确地提取答案。

LongRAG 框架创新性地解决了传统检索增强生成（RAG）框架中检索器负担过重的问题，通过引入“长检索单元”、“长检索器”和“长阅读器”，将完整的维基百科文章处理成 4K Token 的单元，将语料库大小缩减了 97% 以上，从而显著提升了检索效率和整体性能。

LongRAG 的优势主要体现在：

• 大幅提升检索效率： 在 NQ 和 HotpotQA 数据集上，LongRAG 无需复杂排序机制即可分别实现 71% 的 Recall@1 和 72% 的 Recall@2，远超传统的短文本检索方法。这体现了长检索单元在信息完整性和检索效率方面的优势。

• 零样本问答性能卓越： 在零样本问答任务中，LongRAG 在 NQ 和 HotpotQA 数据集上分别取得了 62.7% 和 64.3% 的 EM，与最先进模型相当，甚至超越了许多完全监督训练的 RAG 模型。这充分说明了 LongRAG 框架的有效性和长文本理解能力的强大潜力。

LongRAG 为 RAG 与长上下文语言模型的结合提供了新的思路，未来有望通过更强大的长嵌入模型和更通用的长单元公式进一步提升性能。