Salesforce AI Research 推出新一代 RAG 模型：SFR-RAG

在人工智能领域，生成式 AI 持续受到关注，特别是在检索增强生成（Retrieval Augmented Generation，简称 RAG）方面。Salesforce AI Research 最近发布了他们的最新研究成果——SFR-RAG，这是一个90亿参数的语言模型，专门针对现实世界中的 RAG 应用和相关任务进行了优化。

什么是 RAG？

RAG 是一种结合了检索和生成的技术，通常应用于问答系统。它通过检索数据源中的外部上下文信息，并生成基于这些上下文线索的答案。RAG 包含一个检索器，用于检索相关知识，以及一个大型语言模型（LLM），用于生成答案或识别上下文内容是否无关或矛盾。

SFR-RAG 的特点

SFR-RAG 强调在真实世界的 RAG 用例中的可靠性、精确性和忠实性。它在以下方面表现出色：

•精确的事实知识提取：能够准确提取事实信息。•区分相关与干扰上下文：在众多信息中识别出与问题相关的上下文。•适当引用来源：在提供答案时，能够引用适当的来源。•复杂的多步骤推理：能够处理多个上下文的复杂推理。•一致的格式遵循：遵循一致的格式输出。•避免在无法回答的问题上产生幻觉：在没有答案的情况下，避免生成不真实的内容。

ContextualBench 评估套件

为了评估 LLMs 在与 RAG 相关的上下文问答任务中的表现，Salesforce AI Research 发布了 ContextualBench，这是一个包含7个上下文基准测试的评估套件。SFR-RAG 在其中的3个基准测试中达到了最先进的水平，并且在参数数量上远远少于 Command-R+。

新的聊天模板

SFR-RAG 引入了一个新的聊天模板，增加了两个可选角色：Thought 和 Observation。这种设计解决了现有聊天模板中的一些问题，如安全性、隐私问题和应用可靠性。

•Thought：LLM 在这里可以自由地进行自我对话、执行操作或推理。•Observation：外部上下文信息存放在这里。

这种设计使得调整 LLM 更加简单，开发者可以根据用例的需要显示或隐藏用户的思想和检索到的文档，并可靠地提取内容。

SFR-RAG 的性能

SFR-RAG 在 ContextualBench 套件中的7个基准测试中的3个中达到了最先进的水平，并且在所有类别中都表现出对上下文信息的忠实性，即使在事实被改变或变得反直觉的情况下也是如此。

SFR-RAG的应用场景

•客户服务：作为聊天机器人，提供基于上下文的准确回答，提高客户满意度。•知识问答：在问答系统（如TriviaQA、HotpotQA）中，提供基于复杂上下文的详细回答。•内容创作：辅助撰写文章、报告或营销材料，确保内容的准确性和相关性。•教育辅导：作为教学辅助工具，提供个性化的学习建议和答案解析。•市场研究：分析市场数据和趋势，生成基于最新信息的报告。•法律咨询：提供基于法律文档和案例的咨询，帮助解读法律条文。•医疗咨询：辅助医生和患者理解复杂的医疗信息，提供基于最新研究的建议。