概念解释

RAG：如果不知道，请关闭本页面。
内知识：指模型本身的参数知识（先验知识）。
外知识：上下文，也称参考信息。
内外知识冲突：是指模型本身的参数知识和提供的参考信息知识不一致时的情况。比如对于一个问题：1+1=？，模型本身的参数知识是等于2，但提供的参考信息答案是3。

写在前面

召回难，回复难并称RAG下两大难题。之前文章笔者探讨过召回的一些方法，包括：知识注入等一些内容。今天借一篇论文来聊聊另一个难题。

问：为啥用这篇论文？

答：做过RAG的或多或少遇到过这个问题：召回的内容中包含错误的引导内容，或过多无用的信息。在这种情况下，模型该如何应对？今天我们借助《How faithful are RAG models? Quantifying the tug-of-war between RAG and LLMs’ internal prior》这篇论文来探讨一下。

论文分析

该论文系统地分析了当大语言模型（LLMs）的内部知识（先验）与检索到的外部信息（参考信息）发生冲突时的表现。作者通过实验，量化了这种内外知识冲突，并探讨了在不同情况下模型的表现和策略。

主要发现

1. 依赖错误信息：在模型内部先验较弱的情况下，模型更倾向于依赖参考信息，即使这些信息包含错误。例如，当提供的参考信息中包含错误答案时，模型在回答时更有可能重复这些错误答案。

2. 抵抗错误信息：当模型的内部先验较强时，即使参考信息包含错误内容，模型也倾向于忽略这些错误信息，依赖其内部知识。例如，当提供的错误信息与模型内部知识的差异较大时，模型更可能坚持其内部知识，给出正确答案。

3. 提示策略的影响：提示策略的选择对模型处理错误信息的能力有显著影响。严格提示强制模型依赖参考信息，而宽松提示则鼓励模型在参考信息和内部知识之间进行权衡。实验表明，宽松提示下，模型更能抵抗错误信息的影响。

   
   

实验结果

通过在六个不同领域的数据集上进行实验，论文展示了以下关键结果：

• 准确率提升：在没有参考信息的情况下，模型回答的平均准确率为34.7%；在有参考信息的情况下，准确率提升至94%。

• 错误信息依赖：当参考信息包含错误内容时，模型在内部先验较弱的情况下，错误信息依赖率为20%（即20%的情况下，模型会重复错误信息）。

• 偏好率与先验概率：在模型内部先验概率为0.1时，RAG偏好率平均为70%；而当先验概率为0.9时，RAG偏好率下降至30%。

• 提示策略影响：严格提示下，模型的RAG偏好率高达80%；而宽松提示下，RAG偏好率为50%。

  
  

量化具体指标

为了进一步量化和分析内外知识冲突问题，论文提出了以下具体指标：

1. 先验概率（Prior Probability）：模型在没有参考信息情况下的回答置信度。通过模型对每个回答的token概率计算得出，范围为0到1。

2. RAG偏好率（RAG Preference Rate）：模型在有参考信息情况下，选择参考信息而不是内部先验的比例。

3. 准确率（Accuracy）：模型回答与正确答案一致的比例。

4. 错误信息依赖率（Error Dependence Rate）：模型在提供错误参考信息时，重复错误信息的比例。

5. 提示策略影响指数（Prompt Strategy Impact Index）：不同提示策略下，模型对参考信息依赖程度的变化情况。

   
   

规避方案

为了规避内外知识冲突带来的问题，论文提出了以下建议：

1. 增强模型先验：通过增加训练数据和优化训练方法，增强模型内部知识的准确性和覆盖面。例如，可以通过引入更多高质量的训练数据，增加模型对正确答案的信心。

2. 优化提示策略：选择合适的提示策略，鼓励模型在内部知识和参考信息之间进行权衡。具体可以通过实验确定最适合的提示方式，以减少对错误信息的依赖。

3. 过滤参考信息：在将参考信息提供给模型之前，对其进行严格的过滤和验证，确保信息的准确性和相关性，减少错误信息对模型的干扰。

结论

内外知识冲突是RAG系统中一个重要且常见的问题，通过量化这种冲突并提出相应的规避方案，可以显著提升RAG系统的可靠性和准确性。理解和控制这种依赖关系对于优化RAG系统的设计和应用具有重要意义。

希望这篇分析能为大家在RAG系统的设计和应用中提供一些有价值的参考。

最后动动大家的小手，点下方的投币吧~