微信扫码
添加专属顾问
我要投稿
DRAG与IterDRAG的对比。IterDRAG将输入查询分解为子查询并回答它们,以提高最终答案的准确性。在测试时,IterDRAG通过多个推理步骤来扩展计算,分解复杂查询并检索文档。
接下来重点研究揭示RAG性能与推理计算规模之间的关系,并尝试预测在不同计算约束下达到最佳性能的推理参数配置。
固定预算下的最佳性能:
对于固定的有效上下文长度预算,通过枚举不同的推理参数配置(如检索文档的数量、上下文示例的数量、生成迭代的次数)来找到最优平均指标。
最优配置的具体示例:
在某个特定的最大有效上下文长度限制下,选择一个特定的文档数量,比如100篇文档。
确定在输入提示中使用多少个上下文示例,例如20个示例。
对于IterDRAG,可能决定在最终生成答案之前进行最多5次的迭代。
RAG性能随文档数量和上下文示例的变化而变化。(a)报告了跨数据集的平均指标值,而在(b)和(c)中,每条线代表在逐渐增加文档/示例的一致配置下的标准化性能。
整体性能:
通过扩展最大有效上下文长度,DRAG和IterDRAG的性能一致地提升,表明增加计算预算对RAG性能是有益的。
特别地,IterDRAG在更长的有效上下文长度下(例如超过128k tokens)展现了比DRAG更有效的扩展。
不同方法在不同最大有效上下文长度 LmaxLmax(即所有迭代中的输入token总数)下的最佳性能。ZS QA和MS QA分别指one shot QA和many shot QA。对于不随 LmaxLmax 增加而进一步扩展的方法。将每个 LmaxLmax 的最佳结果加粗显示。
RAG的推理扩展法则:
通过分析不同有效上下文长度下的性能变化,提出了RAG性能随着推理计算规模的增加而近乎线性提升的观察结果,这被称为RAG的推理扩展法则。
线性关系: RAG性能随着推理计算规模的增加而近乎线性提升,这种关系被称为RAG的推理扩展法则。
IterDRAG的扩展性: 对于超过10^5个token的上下文长度,IterDRAG通过交替检索和迭代生成继续有效扩展。
性能增益递减: 当有效上下文长度超过1M个token时,最优性能的增益逐渐减少,这可能归因于长上下文建模的局限性。
使用不同方法评估Gemini 1.5 Flash的准确率:零-shot QA、多-shot QA、RAG(带有最佳数量的文档)、DRAG和IterDRAG在基准QA数据集上的表现。通过扩展推理计算(最多5M个token),DRAG持续优于基线,而IterDRAG通过交错检索和迭代生成改进了DRAG。
https://arxiv.org/pdf/2410.04343Inference Scaling for Long-Context Retrieval Augmented GenerationGoogle DeepMind
53AI,企业落地大模型首选服务商
产品:场景落地咨询+大模型应用平台+行业解决方案
承诺:免费场景POC验证,效果验证后签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2025-04-26
深度学习!构建基于LangGraph的RAG多智能体研究工具。
2025-04-26
用RAG与Agent提升企业问答效率:我的AI实践之路
2025-04-26
理解 RAG 第一部分:为什么需要它
2025-04-26
理解 RAG 第三部分:融合检索与重新排序
2025-04-26
理解 RAG 第四部分:检索增强生成评估框架
2025-04-26
理解 RAG 第五部分:管理上下文长度
2025-04-26
RAG比之MCP或长上下文LLM,要没落了吗?
2025-04-26
【Ragflow】21.RagflowPlus(v0.2.1):6个bug修复/增加重置密码功能
2024-10-27
2024-09-04
2024-07-18
2024-05-05
2024-06-20
2024-06-13
2024-07-09
2024-07-09
2024-05-19
2024-07-07
2025-04-26
2025-04-25
2025-04-22
2025-04-22
2025-04-20
2025-04-19
2025-04-18
2025-04-16