【行客按】在人工智能领域，长上下文语言模型（LCLMs）的发展正引领着一场潜在的技术革命。谷歌最近推出的LOFT（Long-Context Frontiers）基准测试，是为了评估这些模型在执行传统依赖特定工具如信息检索、问答和数据库查询等任务的能力。随着LOFT的推出，一些最先进的LCLMs在某些任务上已显示出与专门训练的系统相匹敌的性能。

传统的AI任务处理通常需要多个专门的系统和复杂的流程，如专用的检索系统、数据库或RAG（Retrieval-Augmented Generation）流程。然而，LCLMs通过整合复杂的处理流程到一个统一的模型中，显示出能简化这些任务的潜力。这不仅增强了用户友好性，还有助于减少在复杂管道中可能出现的错误传递。

图1：LOFT基准测试概览，包含六项任务，用于衡量长上下文语言模型（LCLMs）在包含数百万标记的语料库中进行上下文检索、推理和多次学习的能力。我们将LCLMs的性能与依赖于复杂任务特定微调或流水线处理的专门模型（例如，用于视觉检索的CLIP）进行了比较。与专门模型不同，我们展示了LCLMs如何通过语料库中的上下文提示（见第3节）简化各种任务。

LOFT基准测试包括一系列设计精良的任务，涵盖从文本到视觉再到音频的多个模态，旨在全面评估LCLMs在长上下文中的性能。这种新型评估工具挑战了传统模型在多个领域的主导地位，并预示了一种更加统一和简化的处理方式的可能。

    表1：LOFT基准测试中的任务和数据集。LOFT包含6种任务类型，4种模态，共35个数据集。对于每个数据集，我们显示了候选者的平均长度（平均候选长度）以及LOFT 128k版本中的候选者数量（# 候选）。有关数据集的更多详细信息，请参见附录A至C。

技术洞察与实际性能

LOFT的核心在于其"语料库中的上下文"（Corpus-in-Context，CiC）提示方法，这种方法将整个语料库直接融入模型的上下文中。这使得LCLMs可以直接处理和回应大量数据，而无需外部的检索或数据库支持。这种方法不仅提高了处理效率，还改善了模型在长上下文任务中的性能，尤其是在信息检索和RAG任务中。

    图3：检索的语料库中的上下文提示示例。CiC提示利用大型语言模型遵循指令的能力，利用少量示例，并从推理演示中受益，以检索和推理提供的大型语料库。

尽管LCLMs在简化流程和减少错误方面展现出显著优势，但它们在处理需要复杂组合推理的SQL类型任务时仍面临挑战。此外，LOFT的结果也强调了有效提示策略的重要性，表明模型的性能受到如何构造查询和如何呈现数据的强烈影响。

    表2：LOFT 128k上下文测试集的主要结果。我们展示了三个长上下文语言模型（LCLMs）以及依赖于任务特定微调或流水线处理的专门模型的性能。对于评估指标：文本、视觉和音频检索使用召回率@1；RAG使用子跨度精确匹配；SQL使用准确率；多次射击ICL使用分类准确率。†：对于具有多个金标目标的检索，如附录A所述，使用MRecall@k（k依次为2、5、5、3）。

长上下文挑战与未来方向

LOFT基准测试的开展揭示了LCLMs处理长上下文信息的巨大潜力及其局限性。虽然这些模型在多个任务中表现出色，但在超长上下文和复杂结构化推理任务中的性能下降，表明未来的研究需要在模型训练和提示策略优化上进行更多的工作。图5：将语料库大小从32k标记扩展到100万标记，比较LCLMs与每个专门模型的缩放结果。结果是在每项任务的所有组成数据集上平均得出的。

此外，LOFT的动态上下文长度扩展能力，从32k到超过1M的令牌，为评估和优化长上下文模型提供了强有力的工具。随着这些模型能力的不断扩展，它们在实际应用中处理更复杂任务的能力预期将进一步增强。

表4：Gemini 1.5 Pro在LOFT 128k上下文长度下不同任务的消融结果。从我们最佳的提示格式（用于其余实验）开始，语料库、查询和指令的各个方面被消融，以突出它们对质量的相对影响。由于ArguAna和FIQA的每段文本没有标题，我们报告了没有这两个数据集的平均值及其差异，以用于仅标题的消融。

随着技术的持续进步和LCLMs在多种任务中的表现改善，未来的AI应用可能不再依赖于复杂和专门的系统，而是向使用单一强大模型处理多种任务的新时代迈进。LOFT不仅提供了一个全面评估这些模型的平台，还标志着我们对AI处理能力边界的重新认识，预示着长上下文模型可能在不久的将来取代现有的RAG等系统。

参阅通道： https://arxiv.org/pdf/2406.13121