哺乳动物的大脑可以储存大量信息。这对于大型语言模型（LLM）也是可能的，它们可以在其参数中保存大量知识。与LLM不同的是，大脑还能够不断整合新的经验，而不会丧失先前获得的知识。

为了部分解决这个问题，已有一些解决方案，例如检索增强生成（RAG）。RAG是一种外部记忆，可以将新信息呈现给模型。尽管LLM在预训练时具有静态和固化的记忆，但得益于RAG，它可以检索到模型训练日期之后的信息。

RAG的一个问题是：它找到文本片段并将它们作为上下文传递给模型时，这种方式并不能有效整合知识，特别是当这些新知识跨越段落边界时。实际上，每个片段都有明确的边界，但在长文档中，一些相关信息可能在另一个片段中，无法被找到。这个问题对医学、法律和科学等重要领域尤为敏感。事实上，对于许多现实世界的任务，需要找到并整合可能分散在语料库中的大量信息。这个问题可以通过多步骤查找方式部分解决，如下图所示，其中包括查找文档和进行推理。

上面这种方法的问题在于，它们难以找到未在同一片段中提到的两个实体之间的联系。像“X是谁，它推翻了Y的理论？”这样的问题很难回答，因为可能有几个片段讨论了这个问题，但其主题是隐含的。此外，多步推理的成本很高。

在人的大脑中，人类长期记忆的理论似乎揭示了它是如何解决这个问题的。根据这一理论，我们的大脑使用一种基于情境的方法来更新记忆。当前概念的表现在新皮层中，但这些概念会在C形的海马体中被索引。海马体索引是一组相互连接的索引，它们指示了新皮层中哪些记忆单元代表某个特定的记忆，以及它们之间如何关联。

海马体编码构成情景记忆的地点和事件序列，并将它们连接在一起，从而形成一种组织结构，使人能够在不同的经验之间进行推理关联。

为什么不在 RAG 中实施类似措施？

毕竟，对于我们学习的每个片段，我们都会学习一个上下文表示。真正缺少的是这些记忆单元之间的关系

受这些假设的启发，斯坦福大学的研究人员提出了 HippoRAG。在这种情况下，我们可以将 RAG 视为新皮质中的记忆，并在其中添加知识图谱（KG）作为我们的人工海马索引。这样，我们就可以对知识图谱进行推理，找到我们感兴趣的子图。

作者利用指令微调的 LLM 来提取知识图谱 (KG) 三元组。他们正在进行信息抽取，以从每个步骤中提取实体和关系。对于语料库中的每个段落，都会提取构成 KG 三元组的一组名称和关系。此外，使用用于检索的稠密微调编码器可以在相似但并不完全相同的名称之间提供额外的边

在检索过程中，会从查询中提取突出实体（称为查询命名实体）。检索编码器用于计算节点和查询中的实体之间的相似度。一旦我们找到这些相似的查询命名实体，我们就会使用个性化 PageRank（一种 PageRank 变体，它仅通过用户定义的源节点集来在图中分配概率）。然后我们找到我们感兴趣的节点并对其进行排序。此时，我们继续语料库中的步骤并向 LLM 提供上下文。

此时，作者选择了不同的数据集进行多跳推理（通过多步骤回答一个问题）。他们缩减了数据集，以减少计算时间（他们仍然保留了语料库中不需要用于回答问题的段落，将其称为 "干扰项"）。

然后，他们决定将其与一些强大且广泛使用的检索方法（RAG 和多步骤系统）进行比较。他们使用 GPT-3.5 来提取实体和关系，并使用 ColBERT 作为模型来计算不同节点之间的相似度（包括查询和节点之间的相似度，以及在相似度超过一定值时添加边）。

与其他单步检索方法相比，该模型获得了更好的结果。

该模型在多步骤检索中的表现也更好：

这种较强的检索能力也会在下游任务（如回答问题）中转化为较好的表现。

对比研究表明，LLM 的灵活性对于实体和关系提取阶段非常重要。一个有趣的结果是，LLaMA 8B 的性能优于 70B 版本（鉴于 70B 模型通常是推理任务中最好的模型之一，因此这种差距非常明显，显得非常奇怪）。

作者验证了他们的模型只需一步就能找到回答问题所需的所有步骤。该模型之所以表现出色，是因为这项任务在某种意义上也可以重新表述为图遍历，它也有另一个优势，那就是当有许多路径需要探索时，系统可以有效地找到最优路径（各种实体）。

作者提出的方法旨在解决 RAG 的一个问题。实际上，回答一个问题所需的所有信息块可能无法找到。受神经科学的启发，作者研究了一种系统，可以同时找到必要的信息并探索语料库。所有这些都是使用知识图谱（KG）完成的。

作者指出，模型中的一些误差是由于使用了现成的组件，而没有经过任何额外的培训。他们认为，这可以通过微调来解决。其次是改进图搜索组件。事实上，PPR 是一种相当简单的搜索算法，也许可以用搜索 KG embedding来代替。我们还需要了解提取实体是否不会导致上下文信息的丢失。

作者没有将他们的方法与更复杂的 RAG 范例（例如，具有 re-ranker 或混合搜索的系统）进行比较。可能在未来，我们会看到 RAG 和知识图谱之间的混合系统，试图充分利用两者的优势。

如果本文对你有所帮助，欢迎分享给更多人。

© THE END