时机感知自适应 RAG（TA-ARE）

标准的 RAG 始终进行检索，而自适应检索只在必要时进行检索...

介绍

随着大型语言模型（LLMs）的出现，出现了这个概念。新兴能力。它的前提或假设是，LLM 具有隐藏的和未知的能力，只等待被发现。企业家们渴望发现一些人们不知道的 LLMs 的竞争优势。

           
新兴能力原来是一个幻觉。但是发现的 LLMs 的特殊能力是在上下文学习（ICL）. 当 LLM 在推理时提供上下文数据时，它们有能力在生成回应时引用上下文数据。因此，在通过提示进行指示时，LLM 将丢弃模型训练数据，并利用推理数据进行答案的生成。

时机感知自适应检索（TA-ARE）是一种简单而有效的方法，可以帮助 LLMs 在没有校准或额外训练的情况下评估检索的必要性。    

检索增强生成（RAG）

将上下文数据传递给 LLMs 在推断中被称为 RAG。LLM 响应的概念生成被推断时使用补充数据进行补充或增强。

标准的 RAG 始终检索，而自适应检索只在必要时才进行检索。

时间感知自适应 RAG（TA-ARE）

RAG 通常改善了问答的效果。这一点已经一再得到确认， 现在已经被默认为一个常识。

•时机意识，研究发现许多查询与时间相关，用户在提出问题时会指定时间范围作为定义其问题的函数。

•提示的有效性各不相同，并且随着模型大小的变化而不断变化。考虑下面的图片，为了使提示能够良好扩展，需要引入更复杂的逻辑；从第 1 步到第 8 步。

•即使 LLM 可以被描述为知识密集型，但 LLM 在处理知识密集型用户任务时存在两个问题：一是LLM 通常缺乏并不具备可以称之为的知识新世界知识； 二是更难解决的长尾知识    

TA-ARE

标准的 RAG 方法进行检索时不加区分，并且不对输入查询进行分类。这种笼统的方法可能导致任务效果不佳。推理成本也可能因此而恶化。

概念自适应 RAG动态确定检索的必要性，并且仅在被认为不必要时依赖于 LLMs 的参数化知识。

ARAG 方法可以分为基于校准的和基于模型判断。问题在于需要调整不同数据集和模型的阈值，以平衡任务性能和推理开销。

TA-ARE 调查了 LLM 在多大程度上可以通过提示进行无需校准的自适应检索。

为了回答这个问题，需要评估 LLMs 是否能够只有在必要时，才进行检索。

这要求一个基准，区分可以使用 LLMs 参数化知识回答的问题和需要通过检索获取外部信息的问题。

研究贡献

一个新的数据集检索问答用于评估短格式开放域问答的自适应 RAG（ARAG）创建。

基准测试现有方法发现，普通提示不足以引导 LLMs 做出可靠的检索决策。

TA-ARE 是一个概念化的、简单而有效的方法，可以帮助 LLMs 在没有校准或额外训练的情况下评估检索的必要性。

结论

自适应 RAG 在分配流程之前对用户输入进行分类，需要对某种阈值进行校准。

时机感知自适应检索（TA-ARE）在于它是一种简单而有效的方法，可以帮助 LLMs 评估检索的必要性，而无需校准或额外训练。

具体代码可参见：https://github.com/hyintell/RetrievalQA。