推荐语

探索产品思维下Deep Research的Co-RAG本质。

核心内容：
1. Deep Research与Deep Hallucination的区别
2. 多步骤解决问题对提升精确率的影响
3. Co-RAG在多模型协作中的关键角色

杨芳贤

53A创始人/腾讯云(TVP)最具价值专家

传统的「检索增强生成」（RAG, Retrieval-Augmented Generation）方法，一般是：

1. 先检索
   根据问题从外部知识库或语料中检索到一批相关文档。
2. 再生成
   将检索到的文档和原问题一并送给一个大语言模型（LLM），让它基于这些文档去写答案。

然而，RAG 在一些复杂场景下会遇到检索失败或推理不充分的问题。尤其是当问题需要多步推理，或在检索到的文档里没有一次就能找到所有关键信息时，单轮检索+单轮生成容易卡壳。

CoRAG 提出的核心思路是（如上面左图）：

• 让大语言模型分步骤地提出子查询(sub-query)，去检索更细粒度的信息，得到子答案(sub-answer)，再根据这些子答案来更新思路、继续提出新的查询。
• 如果某一步的子答案不理想，就通过拒绝采样(rejection sampling)的方式，丢弃这条检索链，重新来一条新的检索链。
• 最终模型会在多条可能的“查询→检索→子答案→再查询”的链条里，选出最优或较优的一条来输出结果。

数学解释

假设我们想从一个复杂的目标分布 p(x)中采样，但直接采样难度很高。我们引入一个辅助分布 q(x)，它满足：

• 易采样性
  我们可以轻松从 q(x)中生成样本。
• 包络条件
  存在一个常数 M
  使得对任意 x
  目标分布满足 p(x)≤Mq(x)
  
  

步骤：

1. 从 q(x)中生成一个候选样本 x^*。
2. 计算样本的接受概率：Paccept(x^∗)=p(x^∗)/Mq(x^∗)
   
3. 生成一个随机数 u∼U(0,1)u （从均匀分布中采样）。
4. 如果 u≤Paccept(x^∗)u，接受这个样本；否则拒绝并重新采样。

在 CoRAG 中，拒绝采样的场景和机制稍微抽象一些，但核心思想一致。具体可以这么理解：

1. 候选链生成
   CoRAG 会同时生成多个「查询-子答案链条」（检索链），每个链条是一个候选样本。

2. 计算接受概率（评估链条质量）
   根据当前链条的子答案质量、预测得分（模型给出的概率）等指标，模型可以评估某条链条是否可能通向正确答案。

3. 筛选有效链条（拒绝不好的链条）
   如果某条链的得分很低，或者生成的子答案不合理（比如与目标问题无关），模型会直接丢弃这条链，重新探索新的链条。

4. 选最优答案
   通过拒绝那些“不可能得出正确答案”的链条，模型最终能保留较优解，避免浪费计算资源。

含义：

• 目标

• 公式拆解
  P(Qi∣Q,Q<i,A<i)
  
  
• Q原始问题。
• Q<i之前生成的所有子查询
• A<i之前生成的所有子答案。

含义：

• 目标：优化子答案生成模型，使其能够根据子查询 Qi和检索到的文档 D^(i) 生成合适的子答案 Ai
  
  
• 公式拆解：P(Ai∣Qi,D^(i))表示在给定子查询和文档的条件下生成子答案的概率
• D^(i)：是通过检索器从知识库中获取的相关文档

CoRAG框架在评估检索链（推理）时，并非只评估每一步骤是否找到答案的可能性，而是评估整个链条最终导致模型输出“没有找到相关信息”的可能性。具体来说，其评估方式如下：

• “没有找到相关信息”的对数似然值：
• CoRAG 通过计算整个检索链在“假设答案是‘没有找到相关信息’”的条件下的对数似然值来评估该链的质量。
• 这个对数似然值是针对整个链条的，而不是针对链条中的某一步
  这意味着模型推理时只会考虑整个检索过程，看最终结果是否导致它输出 “没有找到相关信息”。
• 对数似然值越高，意味着模型认为在该检索链下，最终答案是 “没有找到相关信息” 的可能性越高
  
  
• 惩罚分数：
• “没有找到相关信息”的对数似然值被用作“惩罚分数”
• 惩罚分数是针对整个检索链计算的，而非每一步。
• 惩罚分数越高，检索链的质量越低；惩罚分数越低，检索链的质量越高
  
• 解码策略中的应用
  
  
• 在最佳N抽样（Best-of-N Sampling）中，模型会采样多条检索链，并选择惩罚分数最低的那一条链。
• 在树状搜索（Tree Search）中，模型会探索不同的检索链，并保留平均惩罚分数最低的状态。
• 这两种方法都依赖于整个检索链的惩罚分数来选择最佳的检索路径。

因此，CoRAG 推理时不是分别评估检索链每一步骤找到答案的可能性，而是通过整个链条的“没有找到相关信息”的对数似然值（或惩罚分数）来评估整个链条的质量。

那折腾半天训练的时候还要1和2两个关注于步骤的损失函数干嘛呢？

训练阶段：多任务学习

• CoRAG 的训练过程是一个多任务学习框架，同时优化以下三个损失函数 ：
• 子查询预测损失 (Lsub_query)
  训练模型生成合适的子查询 。
• 子答案预测损失 (Lsub_answer)
  训练模型从检索到的文档中提取正确的子答案 。
• 最终答案预测损失 (Lfinal_answer)
  训练模型生成最终的正确答案。
• 这三个损失函数共同作用，使得模型在训练过程中不仅学习如何进行逐步检索和推理，也学习如何最终生成正确的答案 。
• 中间步骤的损失函数
  （Lsub_query 和 Lsub_answer）至关重要，因为它们提供了中间过程的监督信号，帮助模型学习链式思维和逐步解决复杂问题的能力 。
• 没有中间步骤的训练，模型将无法有效地进行多跳推理
  
  

• 训练阶段的目标是学习能力
  ：训练阶段的目标是让模型学会如何进行逐步检索、推理和整合信息以解决复杂问题 。中间步骤的损失函数提供了必要的监督信号，帮助模型掌握这些能力。
• 推理阶段的目标是解决问题
  ：推理阶段的目标是使用训练好的模型来解决实际问题。我们最终关心的是模型能否给出正确的答案，而不是模型中间推理的步骤。
• 中间步骤的质量是最终答案质量的保证
  ：虽然推理阶段不直接评估中间步骤的质量，但是模型学习的中间步骤的质量会直接影响最终答案的质量 。