一、解构RAG  

1.Context  

2.挑战  

3.查询转换  

考虑RAG落地时要问的第一个问题是：我们如何使检索对用户输入的变异性稳健？

查询扩展  

例如，用户的问题可能措辞不当，不严谨。查询转换是一套专注于修改用户输入以改善检索的方法。下面我们想象一个应用场景，用户的问题是：

“谁最近赢得了冠军，红袜队还是爱国者队？”

回答这个问题可以通过询问两个具体的子问题中而获得更加精准的答案：    

“红袜队上一次赢得冠军是什么时候？”

“爱国者队上一次赢得冠军是什么时候？”

查询扩展将输入分解为子问题，每个子问题都是范围更小更加具体的检索挑战。multi-query retriever执行子问题生成、检索，并返回检索到的文档。

查询重写  

查询压缩  

4.Routing（路由）  

5.查询构建

文本到SQL   

文本到Cypher  

文本到Metadata Filter  

配备Metadata Filter的向量存储使结构化查询能够过滤嵌入式非结构化文档。self-query retriever可以使用向量存储中元数据字段的规范，使用元数据过滤器将自然语言转换为这些结构化查询。    

6.索引  

文档嵌入策略  

多向量检索  

也适用于包含文本和表格混合的半结构化文档。在这些情况下，可以提取每个表，生成适合检索的表摘要，但将原始表返回到LLM进行答案合成。

7.Post-Processing（后处理）  

重新排名  

在我们检索大量文档的情况下，Cohere ReRank endpoint可用于文档压缩（减少冗余）。与之相关，RAG-fusion从检索器返回的ReRank文档（类似于多查询）。

分类  

OpenAI根据每个检索到的文档的内容进行分类，然后根据该分类选择不同的提示。这种基于标签的文本标记，用于逻辑路由（在这种情况下，用于提示）进行分类。最后我们来探讨一下RAG与LLM微调的对比，究竟什么时候用RAG什么时候采用LLM微调的方式。     

二、与LLM微调（fine-tune）对比    

RAG和微调为使大模型具有实时性并减少幻觉等问题行为提供了互补的优势和劣势。微调有助于使大模型专注于特定领域、词汇或新颖数据，但需要时间和计算资源，存在灾难性遗忘的风险，并且无法解决互联网快速演变的特性。RAG利用外部知识以增加事实和时效性，但仍然面临有关最佳检索的挑战。