最近一直在用 AI 搜索，内心一直有个疑问，如果 RAG 提供的信息与 LLM 的先验信息有冲突，LLM 会如何处理？

针对这个问题，我上arxiv看了不少论文，最后看到一篇论文给到了我答案，今天我们就根据近期发表的一份论文——《How faithful are RAG models? Quantifying the tug-of-war between RAG and LLMs’ internal prior》和他的实验数据报告分析，对这一问题进行深度剖析，旨在揭示LLM在处理RAG与先验知识冲突时的具体策略、影响因素以及存在的挑战。

一、LLM处理RAG与先验知识冲突的策略

1. 模型先验强度与RAG偏好率的关系：研究指出，LLM对RAG提供的信息遵循程度（RAG偏好率）与模型在无上下文情况下的响应信心（先验概率）呈反比关系。这意味着LLM对检索信息的信任度随其自身先验信念的增强而减弱。引用论文中的发现：“The likelihood of the LLM to adhere to the retrieved information presented in context (RAG preference rate) is inversely correlated with the model’s confidence in its response without context (its prior probability).”

2. 先验知识与检索信息的偏离程度：随着检索信息与LLM先验知识之间的偏离程度增大，LLM对检索信息的偏好程度相应降低。这表明，当RAG提供的信息与模型内部知识差异较大时，LLM更倾向于依赖自己的先验知识。根据论文内容，LLMs will increasingly revert to their priors when the original context is progressively modified with unrealistic values.

为每个数据集生成修改后文档的示意图。向大语言模型（LLM）提出一个问题，情况分为有无提供包含相关查询信息的参考文档。随后，这份文档将被改动，加入一些修改后的信息，并将其作为背景信息提供给大语言模型。我们进一步观察，大语言模型是偏好这些修改后的信息，还是坚持自己原先的答案。

二、影响LLM处理冲突信息的因素

1. 检索内容质量：当检索到的内容与问题相关性高且准确时，LLM几乎总是能正确解答。然而，当检索内容质量下降，尤其是包含错误信息时，LLM的正确率显著下滑，且模型对错误信息的依赖程度与其先验知识的强度密切相关。这提示在构建RAG系统时，不仅要关注LLM本身的性能，还要确保检索模块能够提供高质量、准确的信息。

2. 领域特异性：不同领域数据集对LLM处理RAG与先验知识冲突的影响各异。在某些特定领域（如医疗、法律等专业领域），LLM对RAG信息的遵循程度可能受到更大影响，这可能是由于这些领域内的信息更为复杂、专业，模型的先验知识更为牢固。这意味着在应用RAG系统于特定领域时，需要特别关注模型在处理领域内专业知识与检索信息冲突时的表现。

3. 提示技术：通过分析LLM在面对不同程度的参考文档扰动时的响应，研究者发现，当文档被引入轻微至中等程度的错误值时，LLM通常仍能识别并采纳正确的信息；然而，当文档中的错误信息偏离LLM的先验知识达到一定程度时，模型开始更多地依赖其内部知识，即使这可能导致输出错误答案。提示技术的选择对LLM RAG偏好的显著影响，严格的提示导致较高的RAG遵循率，而宽松的提示则导致较低的遵循率和更陡峭的斜率，即随着先验概率每增加10%，RAG偏好率下降约2.3%。

在六个使用 GPT-4 的问答数据集中，我们发现 RAG 偏好率（y轴）与两个因素（x轴）呈反向关系：1. 模型的初步响应概率（左图），2. 与之前的偏离程度（右图）。RAG 偏好率是指与场景中呈现的信息一致的响应占比。模型的初步响应概率是通过计算未使用 RAG 时响应 token 的平均对数概率得出的。每对图的左图描绘了初步概率（分为 10 个等级）与 RAG 偏好率之间的关系，同时显示了最佳拟合趋势线与斜率。右图则展示了与参照信息绝对偏离值的关系（数值型数据集在顶部，最多改变两个对数倍；分类型数据集在底部，共有四种修改类型），以及趋势线。此外，右图还显示了上下半百分位数，表明低概率初步响应的 RAG 偏好率通常低于高概率响应。

三、RAG系统的局限性与挑战

1. RAG并非万能解：尽管RAG系统在减少LLM幻觉、提供最新知识方面展现出显著效果，但其并非万能解。在某些情况下，如检索内容错误、与模型先验知识严重冲突或模型内部知识更新不足时，RAG系统仍可能导致LLM犯错。

2. 伦理与社会影响：由于RAG系统常被用于提供权威性信息，如医疗建议、法律咨询等，其输出的准确性直接影响到用户的决策和权益。因此，必须确保RAG系统在处理信息冲突时能够公正、客观地评估检索内容与先验知识的相对可信度，避免误导用户或产生不良后果。

来自三个不同数据集的示例显示了大语言模型（LLM）对各种类型上下文变更的反应差异。其中，用红色标注的回答代表错误回应（与正确答案不符），而绿色标注的回答则代表正确回应。

四、未来研究方向与建议

1. 优化RAG系统设计与训练：为了提高RAG系统在处理信息冲突时的判断力，未来研究应聚焦于优化系统设计，强化模型对检索信息的批判性评估能力，以及通过训练调整模型权重分配，使得先验知识与检索信息能在冲突情境下得到平衡考虑。

2. 建立完善的评估框架：为了准确衡量RAG赋能LLM的真实性能，需要建立更为完善的评估框架，不仅关注模型在理想条件下的表现，更要模拟各种复杂、边缘情况下的行为，以全面评估其在信息冲突处理上的稳健性。

3. 用户教育与透明度提升：用户和开发者应意识到RAG系统的局限性，特别是在处理与模型先验知识冲突的信息时，可能会出现偏向先验或误信错误检索结果的情况。因此，加强用户教育，提高AI搜索系统的透明度，让用户了解其工作原理、可能存在的误差来源以及如何合理解读输出结果至关重要。

探索使用 GPT-4 不同提示语对 RAG 偏好率与先前概率的影响。“严格”模式的提示要求模型严格按照检索到的上下文进行回答，而”宽松”模式的提示则允许模型在理解了提供的上下文后，作出合理的判断。我们发现，与严格模式相比，宽松模式下模型对 RAG 的遵循程度下降更缓和降速更快，这说明了提示语的措辞在控制模型遵循 RAG 方面起到了显著的作用。

分析包括使用 GPT-4（蓝色）、GPT-3.5（橙色）和 Mistral-7B（绿色）来探讨 RAG 偏好率，对比先前概率和偏差情况。有关详细的图示描述，请查看图 2。需要指出的是，由于拒绝回应或回应不当等问题，有些模型在特定数据集中未能产生有意义的预先回应，因此无法对这些数据进行分析。

结论就是当提供正确的检索信息时，大多数模型的错误会得到修正（准确率94%）。然而，当参考文档中的信息是错误的时候，如果 LLM 的内部先验信息较弱，它更有可能使用参考文档里错误的信息；反之，如果内部先验较强，则更能抵抗错误信息。

此外，信息与模型先验的偏离程度越大，模型倾向于选择它的可能性就越小，更有可能使用先验信息。

所以，LLM在处理RAG与先验知识冲突时展现出复杂的策略选择，其行为受到检索内容质量、领域特异性、提示技术等多种因素影响。同时，RAG系统虽有显著优势，但也存在局限性，需要在伦理、社会影响等方面予以重视。未来的研究与实践应致力于优化RAG系统设计、完善评估方法、提升用户认知，以实现更准确、可靠、负责任的AI搜索。