微信扫码
与创始人交个朋友
我要投稿
背景
随着大语言模型的发展,下一代系统交互朝着基于自然语言对话交互(LanguageUI)高速发展,这将会产生大量的自然语言交互日志,对这些对话日志进行提取、总结、分析、推理,将会带来如等系统优化、客户运营、需求洞察等大量的新应用。
小模型时代 vs. 大模型时代
小模型只能做到扁平、浅显的分析,如情感、意图分类;大模型由于其丰富的世界知识,其分析可以是多方面的、深层次的,使从 What 到 Why 再到 How 的全方位分析过程成为可能,更接近真实业务需求。但目前对话分析仍然面临严峻挑战:
The Imperative of Conversation Analysis in the Era of LLMs: A Survey of Tasks, Techniques, and Trends
张兴华,余海洋,李永彬,王民政,陈龙泽,黄非
https://arxiv.org/abs/2409.14195
任务定义
对话分析旨在从对话(如人人、人机、机器与机器以及多方对话)中挖掘关键信息,找出潜在原因,并制定解决方案以持续推动相关能力提升,从而更有效地实现商业目标,例如提升客户体验、降低投诉率。本文围绕对话分析的目标,将对话分析过程分为四个步骤:
1. 场景重建:任务旨在从对话内容中获取其中的场景要素,如对话的参与者、情景(如情感、意图、环境等),该过程以对话作为输入,重建其客观存在的要素。
2. 因果分析:任务寻求深入探究对话场景要素背后的线索,如对话参与者态度转变的原因,并从多通对话中进行归纳总结,该过程以对话和场景要素为输入,更精准地提炼出影响场景要素的因素。
3. 技能提升:任务力求根据归因结果朝着实现目标的方向优化整个系统;如果对话的参与者是人(例如客服),相关部门可以基于归因反馈进行针对性的培训;如果对话的参与者是 AI,算法专家基于归因结果进行模型基础能力的专项调优。该过程基于对话内容、场景要素以及归因结果进行建模,得到初步调优后的 insights(如场景要素设定、模型的长上下文遵循、情感支撑能力)。
4. 对话生成:任务旨在收集人在能力提升后产生的真实对话数据,或者 AI 基于调优的设定生成对话,如角色扮演技术,以为对话分析提供数据并检验目标的达成情况。
目标导向的优化:开放域对话、任务型对话以及对话推荐中均有目标导向的建模研究,然而现有研究中的目标相对浅显、缺乏普适性,只关注某通对话中的特定目标,而对话分析中目标导向的优化旨在分析具有代表性、建设性的信息,以提高整体系统目标的达成,而这些目标通常是抽象、宏大的。
基准及评估
讨论
LLM Conversation Simulator:模拟过程使模型置身于对话场景中,从而增强其沉浸度,促进深入分析。因此,如何模拟真实的对话场景值得探索。
Fine-Grained Conversation Benchmark:构建包含全面、细粒度的对话场景要素的对话分析数据,促进对话分析的评估和建模。因此,学界和业界迫切需要高质量、全面的对话分析基准。
Long-Context Conversation Modeling:对话中上下文回复的依赖性和不一致性等,使对话中的长文本研究与长文档具有不同的特性。
In-Depth Conversation Reasoning & Attribution:小模型时代进行深入的归因探索极具挑战性,而大模型因其有效的指令追随能力和丰富的世界知识为深入分析带来曙光。
Goal-Directed Conversation Optimization & Evaluation:真实的业务目标往往非常复杂和抽象,例如改善客户体验和提高用户利用率,这对模型的归纳和演绎能力提出了更高的要求。
Cross-Session Conversation KV Cache:不同用户的对话内容并不是完全孤立的,有许多类似的话题,高效重用跨对话 KV Cache 并有效存储不同类型用户的对话历史缓存将是提高对话系统效率和降低成本的关键。
结语
进技术交流群请添加AINLP小助手微信(id: ainlp2)
请备注具体方向+所用到的相关技术点 关于AINLP
AINLP 是一个有趣有AI的自然语言处理社区,专注于 AI、NLP、机器学习、深度学习、推荐算法等相关技术的分享,主题包括LLM、预训练模型、自动生成、文本摘要、智能问答、聊天机器人、机器翻译、知识图谱、推荐系统、计算广告、招聘信息、求职经验分享等,欢迎关注!加技术交流群请添加AINLP小助手微信(id:ainlp2),备注工作/研究方向+加群目的。
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-03-30
2024-07-18
2024-05-28
2024-04-26
2024-05-06
2024-04-11
2024-07-25
2024-07-09
2024-08-21
2024-06-12
2024-10-30
2024-10-30
2024-10-30
2024-10-30
2024-10-30
2024-10-30
2024-10-30
2024-10-30