LARA: 针对多轮对话-检索增强设计的大语言模型

发布时间：2024年03月25日

LLM应用 聊天机器人 多语言对话系统 In-Context Learning 多轮文本分类

摘要

鉴于LLMs的重大突破，研究者已尝试将其应用于文本分类任务的上下文学习，但以往研究主要集中在单语种、单一回合的任务上。本文推出了创新性的LARA（语言适应性检索增强型语言模型），专为提升跨六种语言的多回合对话分类任务精准度而设计，尤其适用于处理聊天机器人交互中多样复杂的意图识别难题。LARA通过巧妙地融合经精细调整的小型模型与内置于LLMs结构中的检索增强机制，得以灵活运用历史对话和相关意图信息，从而深化对上下文情境的理解。并且，我们的自适应检索策略进一步强化了LLMs的跨语言功能，无需繁重的再训练或微调过程。实验证明，LARA在多回合意图分类任务上表现出色，相较于现有方法平均提升了3.67%的准确率，实现了该领域的最新技术水平。

架构

LARA（Linguistic-Adaptive Retrieval-Augmented Language Models）是一种新型的语言模型，专为提高多轮对话中意图分类任务的准确性而设计。

这项研究针对现有的大型语言模型（LLMs）在多轮分类任务中的局限性，特别是在涉及多种语言和聊天机器人交互中的多种意图时。

多轮意图识别由于对话上下文的复杂性和不断演变的特性变得非常有难度。

LARA通过结合一个经过微调的小模型和一个检索增强机制来解决这些问题，这些机制集成在LLMs的架构中。

LARA可以动态地利用过去的对话和相关的意图，从而改善对上下文的理解。

LARA的自适应检索技术增强了LLMs的跨语言能力，而无需进行广泛的重新训练和微调。

上图展示了多轮对话与单轮对话的差异所在，比如用户提出 waiting for long time，如果是单轮对话，很可能会被识别为等客服等很久后的抱怨，但是结合上下文的多轮对话里，可能会被识别为是描述快递等了很久。

上图展示了整篇文章的核心："The pipeline of Linguistic-Adaptive Retrieval-Augmentation"，即语言适应性检索增强的流程图。

这个流程图展示了LARA框架如何运作以处理多轮对话中的意图识别任务。

1. 1. 候选意图选择（Candidate Intent Selection）:

   
   

• • 流程开始于使用单轮意图分类模型来处理用户的对话历史和最后一个查询。

• • 模型通过计算[CLS]标记的嵌入向量来为每个可能的意图生成概率。

• • 选择概率最高的意图作为候选意图，这些意图将用于下一步的检索过程。

• • 对于每个候选意图，系统通过检索与多轮测试样本在语义上相似的单轮示例来构建上下文示例。

• • 这些示例将作为大型语言模型（LLM）的输入，提供决策依据，并指定自然语言转换为标签的输出格式。

• • 将检索到的示例与测试用户的查询结合，形成LLM的输入提示。

• • 这个输入提示包括任务指令、示例、对话上下文和用户的查询。

• • LLM根据这个输入提示进行推理，生成预测的意图。

• • 为了满足实时应用的延迟要求，可能会采用特定的方法来限制模型生成单个代表意图的标记。

整个流程的目标是利用有限的单轮训练数据来优化多轮对话分类任务，无需依赖大规模的多轮标注数据集。通过这种方法，LARA能够在多轮对话中动态适应上下文，同时减少对大规模标注数据的依赖，从而在复杂的多轮对话中实现更有效的意图识别。

Arxiv^[1]

引用链接

[1] Arxiv: https://arxiv.org/abs/2403.16504