我要投稿

RAE：一个专为大模型多跳问答设计的检索增强型知识编辑框架

发布日期：2024-03-31 20:02:21 浏览次数： 1933

随着大型语言模型（LLMs）在问答任务中表现出色，如何将实时知识更新整合到这些模型中成为一个挑战。尤其是处理多跳问题时，LLMs需要更新和整合与问题相关的多个知识点。现有的模型编辑方法在处理多跳问题时面临困难，因为它们往往无法有效地处理知识点之间的复杂联系，导致生成过时或不正确的回答。

图1：一个传统基于相似性搜索未能检索到LLM编辑正确事实的例子

为了解决这一问题，提出了一种名为检索增强型知识编辑（RAE）框架，专门用于多跳问答任务。RAE框架首先通过基于互信息最大化的检索方法检索编辑过的事实，然后通过上下文学习对语言模型进行细化。该框架的检索方法利用LLMs的推理能力，通过链式事实的识别来弥补基于简单相似性搜索可能遗漏的信息。此外，RAE框架还包含了一种剪枝策略，用于从检索到的事实中消除冗余信息，从而提高编辑准确性并减轻幻觉问题。

图2：检索增强型上下文模型编辑方法的整体框架

图 2 展示了检索增强型上下文模型编辑方法的整体框架。包括以下几个关键组成部分：

外部知识图谱：用于存储编辑过的事实和未编辑的事实，为检索过程提供丰富的知识基础。
基于互信息的检索：通过最大化问题和检索到的子图之间的互信息，来识别与问题最相关的知识子图。
冗余知识剪枝：使用编辑不确定性来评估检索到的事实集，并剪除那些可能导致模型输出不确定性增加的冗余或不相关事实。
上下文学习编辑：将经过剪枝的、与问题最相关的事实集作为输入，结合编辑模板，通过LLMs的上下文学习能力来生成准确的答案。
编辑模板：一种特定的提示结构，用于指导LLMs如何结合问题和事实来产生正确的输出。

通过在各种不同大小的语言模型上进行的全面评估，验证了RAE在提供准确答案和更新知识方面的能力。实验结果表明，RAE在处理多跳问题时，相比于现有的基线方法，能够显著提高编辑后的模型输出的准确性。

图3：在MQUAKE数据集（MQUAKE-CF和MQUAKE-T）上的编辑准确率（%）

图4：多跳事实检索准确率（%）比较

图5：编辑事实检索和剪枝的案例研究。检索过程涉及使用波束搜索，从查询实体开始，通过知识图谱进行导航，使用两个波束。在每个实体跳转中，两个主要候选边（波束）被加粗显示，其他的被丢弃并用虚线表示。用红色强调最终的波束搜索结果。

Retrieval-Enhanced Knowledge Editing for Multi-Hop Question Answering in Language Modelshttps://arxiv.org/pdf/2403.19631.pdf

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

最强 GPT 免费使用！GPT4O 开启多模态新时代！

2024-05-14

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

2024-04-26

【开源看AI】4.9K star！Khoj：完美融合本地文档和在线网页的AI第二大脑

2024-05-22

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示

2024-04-12

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

2024-07-18

万字长文解析：大模型需要怎样的硬件算力

2024-03-30

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

2024-05-10

开源项目Composio：突破 AI 智能体开发的边界

2024-08-13

更改ollama模型存储路径

2024-04-25

全面对比dify、coze、streamlit、chainlit

2024-04-26

大家都在问

在长上下文LLM的时代，RAG是否仍然必要？

2024-09-20

【AI赋能】揭秘大模型微调：如何让机器智能跃升一个台阶？

2024-09-19

从案例分析到客户沟通：AI提示词如何优化律师工作流程？

2024-09-19

o1 能带我们走进 AGI 吗？

2024-09-19

如何微调（Fine-tuning）大语言模型？

2024-09-18

AI软件必须用GPU么？

2024-09-18

ChatGPT有三个快捷指令和三个模式，你知道吗？

2024-09-17

为什么4090比A100更有性价比？

2024-09-17

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

最强 GPT 免费使用！GPT4O 开启多模态新时代！

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

【开源看AI】4.9K star！Khoj：完美融合本地文档和在线网页的AI第二大脑

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

万字长文解析：大模型需要怎样的硬件算力

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

开源项目Composio：突破 AI 智能体开发的边界

更改ollama模型存储路径

全面对比dify、coze、streamlit、chainlit

大家都在问

在长上下文LLM的时代，RAG是否仍然必要？

【AI赋能】揭秘大模型微调：如何让机器智能跃升一个台阶？

从案例分析到客户沟通：AI提示词如何优化律师工作流程？

o1 能带我们走进 AGI 吗？

如何微调（Fine-tuning）大语言模型？

AI软件必须用GPU么？

ChatGPT有三个快捷指令和三个模式，你知道吗？

为什么4090比A100更有性价比？

热门标签

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

最强 GPT 免费使用！GPT4O 开启多模态新时代！

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

【开源看AI】4.9K star！Khoj：完美融合本地文档和在线网页的AI第二大脑

OLLama详细的 api 介绍 不完全指南 python 直接调用 OLLama api 翻译助手演示

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

万字长文解析：大模型需要怎样的硬件算力

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

开源项目Composio：突破 AI 智能体开发的边界

更改ollama模型存储路径

全面对比dify、coze、streamlit、chainlit

大家都在问

在长上下文LLM的时代，RAG是否仍然必要？

【AI赋能】揭秘大模型微调：如何让机器智能跃升一个台阶？

从案例分析到客户沟通：AI提示词如何优化律师工作流程？

o1 能带我们走进 AGI 吗？

如何微调（Fine-tuning）大语言模型？

AI软件必须用GPU么？

ChatGPT有三个快捷指令和三个模式，你知道吗？

为什么4090比A100更有性价比？

热门标签

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示