微信扫码
与创始人交个朋友
我要投稿
理想情况下,生成式 AI 的落地应用需要提供真实且高质量的响应。SELF-RAG 正是为解决此问题而被创建的。
SELF-RAG 框架可以训练出一个通用的语言模型,使其能够按需自适应地检索段落。
该模型会借助被称为 “自反令牌”(reflection tokens)的特殊标记,来生成和反思所检索的段落以及自身生成的内容。
自反令牌
自反令牌分为 “检索” 和 “批判” 两类,分别表示检索需求和生成质量。
SELF-RAG 使用自反令牌来确定是否需要检索,并对所生成内容的质量进行自我评估。
生成自反令牌使得语言模型在推理阶段具备可控性,让其能够根据不同的任务需求调整自身行为表现。
研究表明,SELF-RAG 显着优于标准的大语言模型 (LLMs) 和 RAG 方法。
SELF-RAG 的运作步骤
考虑到下图... SELF-RAG 学习检索、批判和生成文本段落,以提升整体生成质量、真实性和可验证性。
额外的推断与成本
SELF-RAG 会在推断方面引入更多的开销。参考上图,这种自反式的 RAG 方法会引入更多的推断点。
首先会执行一次推断,然后并行执行三次推断。接着,对这三个结果进行比较,并选出一个“优胜者”用于 RAG 推断。
超出领域范围
同样在上图中可以看出,对于领域外的查询,会被识别出来,请求不会通过检索来处理,而是直接发送到 LLM 推断。
Agentic RAG
再参考下面这张图,一个问题值得思考...
随着 RAG 过程复杂性的增加,我们是否正在接近这样一个点:基于智能体(agent)的 RAG 方法将会是最优选择?这种方法在 LlamaIndex 中被称为“Agentic RAG”(Agentic RAG)。
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-03-30
2024-04-26
2024-05-10
2024-04-12
2024-05-28
2024-05-14
2024-04-25
2024-07-18
2024-04-26
2024-05-06
2024-12-22
2024-12-21
2024-12-21
2024-12-21
2024-12-21
2024-12-20
2024-12-20
2024-12-19