大型语言模型 (LLMs) 在自然语言理解和生成方面取得了重大进展。然而，由于上下文窗口大小和内存使用的限制，它们在处理长上下文时面临着严峻的挑战。这个问题阻碍了它们有效处理和理解大量文本输入的能力。随着对 LLMs 处理日益复杂和冗长任务的需求的增长，解决这一限制已成为自然语言处理领域研究人员和开发人员迫切需要解决的问题。

研究人员已经探索了各种方法来克服 LLMs 中长上下文处理的挑战。模型级方法，如位置插值和具有改进的注意力机制的 transformer 变体，已经显示出良好的前景，但也伴随着明显的缺点。这些缺点包括增加训练成本、忽略详细信息以及丢失早期上下文。另一方面，已经开发了像检索增强生成 (RAG) 这样的基于检索的方法，以利用外部数据库进行信息提取。然而，由于决策机制的限制，RAG 在处理复杂问题时遇到了困难。基于代理的方法已经成为一种潜在的解决方案，它利用 LLMs 的计划和反思能力来解决复杂问题和检索非结构化信息。尽管取得了这些进步，现有的方法在处理多跳问题和充分利用 LLMs 作为代理的能力方面仍然面临着困难。

来自阿里巴巴集团、香港中文大学、上海人工智能实验室和曼彻斯特大学的研究人员介绍了 GraphReader，这是一个强大的基于图的代理系统，用于应对 LLMs 中长上下文处理的挑战。这种创新方法将冗长的文本分割成离散的块，提取并将基本信息压缩成关键元素和原子事实。然后，这些组件被用来构建一个图结构，该结构有效地捕获文本中的长距离依赖关系和多跳关系。代理使用预定义的函数和逐步的理性计划自主地探索此图，逐步访问从粗略元素到详细的原始文本块的信息。这个过程包括做笔记和反思，直到收集到足够的信息来生成答案。GraphReader 的设计目标是建立一个基于 4k 上下文窗口的可扩展的长上下文能力，有可能在各种上下文长度上与具有 128k 上下文窗口的 GPT-4 相媲美或超越其性能。

GraphReader 建立在图结构之上，其中每个节点包含一个关键元素和一组原子事实。这种结构能够在有限的上下文窗口内捕获来自长输入文档的全局信息。该系统分三个主要阶段运行：图构建、图探索和答案推理。在图构建过程中，文档被分成多个块，总结成原子事实，并提取关键元素。从这些组件创建节点，并根据共享的关键元素进行链接。在图探索阶段，代理通过定义一个合理的计划并选择初始节点来进行初始化。然后，它通过检查原子事实、阅读相关块和调查相邻节点来探索图。代理在整个探索过程中都会维护一个笔记本，以记录支持性事实。最后，在答案推理阶段，系统编译来自多个代理的笔记，使用思维链推理对其进行分析，并生成对给定问题的最终答案。

在多个长上下文基准测试上对 GraphReader 和其他方法进行的评估揭示了几个关键发现。GraphReader 在各种任务和上下文长度上始终优于其他方法。在多跳问答任务中，与 RAG 方法、长上下文 LLMs 和其他基于代理的方法相比，GraphReader 实现了卓越的性能。例如，在 HotpotQA 数据集上，GraphReader 实现了 55.0% 的 EM 和 70.0% 的 F1 分数，超过了 GPT-4-128k 和 ReadAgent。GraphReader 的有效性扩展到了极长的上下文，如 LV-Eval 基准测试所示。它在 16k 到 256k 个标记的文本长度范围内保持了稳健的性能，在 128k 上下文长度下，相对于 GPT-4-128k 显示出 75.00% 的相对性能提升。这种优越的性能归功于 GraphReader 基于图的探索策略，该策略有效地捕获了关键信息之间的关系，并促进了长上下文中的有效多跳推理。

GraphReader 代表了解决大型语言模型中长上下文挑战的重大进步。通过将大量文本组织成图结构并采用自主代理进行探索，它在紧凑的 4k 上下文窗口内有效地捕获了长距离依赖关系。它在各种问答任务中都优于输入长度为 128k 的 GPT-4，证明了其在处理复杂推理场景中的有效性。这一突破为将 LLMs 应用于涉及冗长文档和复杂多步骤推理的任务开辟了新的可能性，可能会彻底改变文档分析和研究辅助等领域。GraphReader 为长上下文处理树立了新的标杆，为更先进的语言模型铺平了道路。

• 论文地址：https://arxiv.org/abs/2406.14550v1