微信扫码
与创始人交个朋友
我要投稿
检索增强生成(Retrieval-Augmented Generation,简称RAG)对于将外部知识整合到大型语言模型(Large Language Model,简称LLM)的输出中至关重要。虽然关于RAG的文献正在增长,但主要集中在系统性回顾和将新技术与其前身进行比较上,而在广泛的实验比较方面存在缺口。
检索增强生成(Retrieval-Augmented Generation,简称RAG)系统内部工作流程的高层概述。这个流程图展示了系统如何处理用户查询,从数据库中检索相关文档,以及这些文档如何指导生成响应。
太长不看版本:
检索精度(Retrieval Precision)结论:
不同的RAG技术表现各异。句子窗口检索(Sentence Window Retrieval)方法表现出较高的中位数精度,但这并不直接与答案相似性的表现相关。
使用LLM重排序(LLM Rerank)和假设文档嵌入(HyDE)的技术显示出提高的精度,显著优于朴素RAG(Naive RAG)基线。相反,最大边际相关性(MMR)和Cohere重排序并没有表现出明显的优势,它们的中位数精度得分与基线相当或更低。
多查询方法相比朴素RAG表现出检索精度的下降,这需要进一步研究其适用性。
文档摘要索引(Document Summary Index)的表现与经典向量数据库(Classic VDB)的最佳设置相似,表明通过进一步增强,文档摘要技术将超过经典VDB。
实验中检索精度的箱形图。每个箱形图展示了不同RAG技术检索精度得分的范围和分布。较高的中位数值和更紧密的四分位数范围表明了更好的性能和一致性。
实验中检索精度的箱形图,每个箱形图展示了不同RAG技术检索精度得分的范围和分布。较高的中位数值和更紧密的四分位数范围表明了更好的性能和一致性。
ARAGOG: Advanced RAG Output Grading
https://arxiv.org/abs/2404.01037
推荐阅读
欢迎关注我的公众号“PaperAgent”,每天一篇大模型(LLM)文章来锻炼我们的思维,简单的例子,不简单的方法,提升自己。
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-08-18
当产品经理谈到用LLM Agent构建新一代智能体的时候,他们在说什么?
2024-08-15
对话AI教育从业者们:AI如何解决因材施教的难题?
2024-08-03
工业应用中的向量数据库与知识向量化存储方案
2024-07-25
两大深度学习框架TensorFlow与PyTorch对比
2024-07-17
让生成式 AI 触手可及:NVIDIA NIM on VKE 部署实践
2024-07-16
中文大模型基准测评2024上半年报告
2024-07-16
一文看懂人工智能的起源、发展、三次浪潮与未来趋势
2024-07-14
"自拍" 秒变 "证件照" 看Coze如何实现
2024-05-14
2024-04-26
2024-05-22
2024-04-12
2024-07-18
2024-03-30
2024-05-10
2024-08-13
2024-04-25
2024-04-26
2024-09-23
2024-09-22
2024-09-22
2024-09-22
2024-09-21
2024-09-21
2024-09-20
2024-09-20