我要投稿

Interactive-KBQA：一个基于LLM并支持多轮交互的知识库问答系统

发布日期：2024-04-18 23:52:00 浏览次数： 2534 来源：PaperAgent

论文题目：Interactive-KBQA: Multi-Turn Interactions for Knowledge Base Question Answering with Large Language Models论文链接：https://arxiv.org/pdf/2402.15131.pdf

论文介绍了一个名为Interactive-KBQA的框架，它是一个用于知识库问答（KBQA）的多轮交互系统。KBQA任务的目标是利用结构化的知识库（如Freebase、Wikidata等）来回答自然语言问题。传统的基于语义解析（SP）的方法需要大量的数据注释，成本较高。而Interactive-KBQA框架通过与知识库的直接交互来生成逻辑形式，从而在资源有限的情况下有效利用大型语言模型（LLMs）。

Interactive-KBQA交互过程概述

研究者们开发了三个通用的API来与知识库进行交互，并为每种复杂问题的类别设计了示例来指导LLMs进行推理过程。以下是这三个API的简要描述：

SearchNodes：这个函数用于在知识库中搜索节点，基于给定的表面名称（即实体的名称）。它的主要功能是实体链接，返回知识库中节点的正式名称以及实体的描述和类型等特征。这个工具绕过了现有的实体链接（EL）技术，采用了一种通用的检索方法。
SearchGraphPatterns：这个函数旨在识别和排名知识库中的关键图谓词，这些谓词是根据语义参数指导的。它要求输入一个以“SELECT ?e WHERE”开头的SPARQL查询，然后对以实体?e为中心的一跳子图进行查询，包括进入和出去的边。随后，它根据与语义参数和三元组中的谓词的语义相关性对检索到的三元组进行排序，并返回前K个三元组。这个工具旨在精确识别子图，同时丢弃不相关信息，从而优化LLMs中上下文窗口的使用。
ExecuteSPARQL：这个工具允许直接执行任意的SPARQL查询，确保了无与伦比的灵活性。它允许用户执行复杂的查询，以获取知识库中的数据。

Interactive-KBQA交互示例

这种方法在WebQuestionsSP、ComplexWebQuestions、KQA Pro和MetaQA数据集上取得了有竞争力的结果，并且支持手动干预，允许迭代优化LLMs的输出。通过注释数据集并展示逐步推理过程，研究者们展示了模型的适应性，并强调了其对领域的潜在贡献。

此外，论文还讨论了相关工作，包括基于信息检索（IR）和语义解析（SP）的KBQA方法，以及大型语言模型（LLMs）在KBQA中的应用。研究者们还介绍了问题的形式化定义，交互过程的概述，以及用于知识库的工具设计原则。最后，论文通过实验验证了Interactive-KBQA框架的有效性，并进行了详细的错误分析。