粤ICP备17114055号
微信扫码
与创始人交个朋友
支持私有云部署
我要投稿
随着大型语言模型（LLMs）在文本分类任务中取得显著成就，研究者开始探索上下文学习（in-context learning）在单轮分类任务中的应用。然而，这些研究主要集中在单一语言和单轮分类任务上。多轮意图分类任务由于对话上下文的复杂性和不断演变的特点而具有挑战性，尤其是在跨多种语言的聊天机器人交互中。此外，多轮数据集的收集和注释成本高昂，且在现实世界中难以获得。
多轮意图分类数据集的注释挑战
它通过以下几个关键步骤来提高分类任务的准确性和效率：
单轮意图识别模型（Mc）：LARA使用一个基于XLM（Cross-lingual Language Model）的文本分类模型，该模型在单轮对话数据集上进行训练。这个模型用于将用户的查询映射到预定义的意图类别中。
候选意图选择：在多轮对话中，LARA首先确定可能的候选意图。这是通过将当前查询与历史查询结合起来，并使用Mc模型来预测每个组合的意图来完成的。
检索增强：LARA利用预训练的XLM模型来检索与测试查询在语义上相似的单轮示例。这些示例作为演示（demonstrations），为大型语言模型（LLMs）提供决策依据，并在上下文学习（ICL）期间指导模型输出格式。
提示构建和LLM推理：LARA构建一个输入提示（P），结合了任务指令、检索到的演示、对话上下文和最终的用户查询。这个提示用于指导LLM进行推理，以识别多轮对话中的意图。
53AI，企业落地应用大模型首选服务商
产品：大模型应用平台+智能体定制开发+落地咨询服务
承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2024-03-30
2024-04-26
2024-05-14
2024-04-12
2024-05-10
2024-05-28
2024-07-18
2024-04-25
2024-05-22
2024-04-26
回到顶部