微信扫码
添加专属顾问
我要投稿
检索增强生成(Retrieval-Augmented Generation,简称RAG)对于将外部知识整合到大型语言模型(Large Language Model,简称LLM)的输出中至关重要。虽然关于RAG的文献正在增长,但主要集中在系统性回顾和将新技术与其前身进行比较上,而在广泛的实验比较方面存在缺口。
检索增强生成(Retrieval-Augmented Generation,简称RAG)系统内部工作流程的高层概述。这个流程图展示了系统如何处理用户查询,从数据库中检索相关文档,以及这些文档如何指导生成响应。
太长不看版本:
检索精度(Retrieval Precision)结论:
不同的RAG技术表现各异。句子窗口检索(Sentence Window Retrieval)方法表现出较高的中位数精度,但这并不直接与答案相似性的表现相关。
使用LLM重排序(LLM Rerank)和假设文档嵌入(HyDE)的技术显示出提高的精度,显著优于朴素RAG(Naive RAG)基线。相反,最大边际相关性(MMR)和Cohere重排序并没有表现出明显的优势,它们的中位数精度得分与基线相当或更低。
多查询方法相比朴素RAG表现出检索精度的下降,这需要进一步研究其适用性。
文档摘要索引(Document Summary Index)的表现与经典向量数据库(Classic VDB)的最佳设置相似,表明通过进一步增强,文档摘要技术将超过经典VDB。
实验中检索精度的箱形图。每个箱形图展示了不同RAG技术检索精度得分的范围和分布。较高的中位数值和更紧密的四分位数范围表明了更好的性能和一致性。
实验中检索精度的箱形图,每个箱形图展示了不同RAG技术检索精度得分的范围和分布。较高的中位数值和更紧密的四分位数范围表明了更好的性能和一致性。
ARAGOG: Advanced RAG Output Grading
https://arxiv.org/abs/2404.01037
推荐阅读
欢迎关注我的公众号“PaperAgent”,每天一篇大模型(LLM)文章来锻炼我们的思维,简单的例子,不简单的方法,提升自己。
53AI,企业落地大模型首选服务商
产品:场景落地咨询+大模型应用平台+行业解决方案
承诺:免费场景POC验证,效果验证后签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2025-02-01
2025-01-01
2024-08-13
2025-02-04
2024-07-25
2024-04-25
2024-06-13
2024-09-23
2024-04-26
2024-08-21
2025-03-17
2025-03-17
2025-03-17
2025-03-17
2025-03-17
2025-03-17
2025-03-16
2025-03-16