智能客服不智能，甚至被嘲讽为“智障”的情况并不鲜见。因此我估计这个主题可能会比之前的主题引起更大的争议

预警：文章内容较长！全文约1.2万字：

1. 引言：智能客服早已在我们身边

2. 关于智能客服的过去、现在和未来，重点探讨AI大模型结合智能客服系统的机会和挑战

3. 介绍智能客服系统的基本构成，并主要关注其中的AI技术底座、以及于大模型在不同环节的赋能场景

4. 产品实践：以阿里云和百度智能云的智能对话机器人产品为例，更具体地研习对话式AI厂商目前的产品表现

5. 总结、思考与延伸
   

引言

当然除了APP/Web/小程序形态的智能客服，大家生活中还会接收到一些电话（当然我们也可以说是骚扰电话）也能明显感觉出对方是“机器人”。

图：小红书上网友对于AI客服的吐槽

就我目前所在公司的业务情况，智能客服（下图所示的1和2，一个面向内部员工，一个面向外部客户）也是我认为有落地场景和价值的一个方向（当然从可用资源和投入产出比的角度来看，在我司还不适合推进），因此对这个领域多有关注，是以有本文。

无论是面向外部客户，还是内部员工，智能客服（或者说智能对话机器人）都有着非常普遍的应用需要：

关于智能客服：过去、现在、未来

在国内，非现场“客服”这个领域的场景大概经历了如下4个发展阶段：

根据类似于GPT这样的AI大模型目前所表现出来的能力，如果应用于智能客服系统，能够显著提升系统的智能水平、提高服务质量和效率，带来诸多优势和改进：

• 增强的理解能力：AI大模型，尤其是基于最新的NLP技术，如GPT系列，能更准确地理解用户的自然语言输入。这种高级别的理解能力使得智能客服系统能够更好地识别用户意图，即使是复杂或模糊的查询。

• 更自然的对话体验：大模型能生成更自然、更流畅的语言，使得与智能客服系统的对话更接近人与人之间的自然交流。这不仅提高了用户满意度，也使得用户更愿意使用智能客服服务。

• 个性化服务：通过分析用户的查询历史和上下文信息，AI大模型能够提供个性化的服务建议和解决方案。这种个性化不仅体现在答案的准确性上，也体现在语气回应上，使服务更加贴近用户的实际需求。

• 快速学习与适应新知识：AI大模型具备快速学习新信息和知识的能力，能够通过持续的数据训练迅速适应新的产品、服务或政策变化，保持服务内容的时效性和准确性。

• 情绪识别与应对：大模型通常都可以识别用户的情绪状态（如满意、沮丧或愤怒），并据此调整回复策略，以更加人性化的方式应对用户的情绪和需求。

• 多语言支持：特别是对于开展国际业务/跨境电商的商家，结合大模型可以很好地对买家和卖家之间的对话语言进行转换，比如买家用用语发文，而卖家用中文回复，但双方看到的都是自己的偏好语言。

京东云表示九阳旗舰店就用了全新的基于言犀大模型的智能客服——京小智：

言犀大模型大幅提升了知识库的能力，能够生成更专业的问答，更自然的对话，最重要的是运营成本将大大降低。九阳京东自营旗舰店，实现30秒应答率99.42%，纯机回复率高达50%以上，转人工率仅为34.56%，还借助全链路跟单功能，全方位保障营销全链路的转化效果

京东云

不过很遗憾的是我简单尝试了下发现是人工，推测是后台设置了人工优先的策略。

接下来我们所讨论的“智能客服”，主要是指结合了大模型能力的新一代智能客服系统，可能会穿插一部分传统智能客服系统的内容以作对比。

AI大模型在智能客服领域的应用虽然充满前景，但也面临着一系列挑战和障碍，例如：

• 技术复杂性和可解释性：AI大模型的决策过程往往是黑盒的，缺乏足够的透明度和可解释性。这意味着当智能客服给出错误或不当的回答时，很难追究原因并进行修正。在实际应用中，这可能导致客户不满和信任度下降。
• 质量控制和一致性：确保AI大模型提供的回答始终保持高质量并与品牌声音一致是一大挑战。有些企业发现，尽管大模型能够处理大量查询，但其回答的准确性和相关性仍需人工复审和调整，以保证服务品质。
• 模型偏见和伦理问题：AI大模型可能会从训练数据中学习到偏见，并在提供服务时无意中体现这些偏见。例如，如果一个模型主要使用某一地区或人群的数据进行训练，它可能在处理其他地区或人群的请求时表现出偏差，导致服务不公平。

我没有对这个故事进行求证（它可能包含着夸张或虚构的元素），但却是对基于大模型进行智能客服系统设计、安全性、人机交互设计、异常处理以及用户教育等方面的一次有趣的反思和提醒。

智能客服的构成

会话引擎：控制和管理用户与系统之间的对话流程，包括对话状态跟踪、意图识别到响应生成的整个流程。

通过数据分析以及参与常用的情绪字典，我们将情绪划分为38类 ( 感激、惊奇、失望、抱歉、期待、疑惑、尴尬、高兴、着急、怨恨、喜欢、抑郁、委屈、轻视、害怕、孤独、愤怒、悲伤、满意、无聊、同情、平静、烦恼、激动、嫌弃、懊悔、羞愧、解恨、犹豫、思念、感动、敬佩、心慌、低落、骄傲、心虚、羡慕、辱骂 )

阿里小蜜团队

（2）智能语音技术

智能语音技术包括语音识别（ASR）和语音合成（TTS），使机器能够理解人类的语音输入并以自然的语音回应。这项技术是实现智能客服语音交互的关键。

从工作流程来看，用户真人的语音会先通过ASR（语音识别）技术将其转化为文本，再接入NLU（自然语言理解）进一步理解用户意图。因此，智能语音技术中的语音识别准确率至关重要，转换的正确与否直接决定了后续自然语言处理的效果。

特别是在手机端，大多智能客服产品都支持用户语音输入了：

如果是智能外呼类的产品，对智能语音的技术会使用的更多（不过不是本文讨论的重点）：

（3）知识工程

如今的智能客服系统，通常都会支持多种形态的知识支持文档、网站、高频问题、复杂多轮、表格等知识类型。

对话式AI厂商以深度学习FAQ为核心，持续丰富表格知识库、文档阅读理解、知识图谱等知识库引擎。根据企业自身资料特点，对话式AI厂商可匹配适合的知识工程技术，提升客服知识库运营建设的质量与效率。

结构化知识库是经过组织和分类的知识集合，通常以图谱形式存在。它使智能客服系统能够快速检索到准确的信息，提供给用户。关于知识图谱的详细探讨，可参见《第11章 知识图谱及其应用》。

（4）AI大模型

AI大模型可以降低训练成本，提升智能客服精准度加快产品交付速度，增强智能客服泛化能力，比如在问题和知识的匹配上，能够通过对大量文本资料的深度学习，结合强大的上下文理解能力，对用户的问题进行更准确的分析和理解，无论是多轮对话、模糊提问还是重复提问，都能较好地应对：

过去回复用户的时候，是基于问答对，然后分词命中之后回复用户。现在大模型下，是完整理解了知识库的文档，所以知识库里的全文本以及全图表，和里面的数据，大模型都去理解后再回复用户问题，相对来说会比原来的问答对更准确。 

（5）计算机视觉

最新的智能客服系统已经出现支持用户发送图片/视频，这可能就需要系统具备更强的多模态能力，能够识别和理解图片/视频的问题。比如用户只需将上传一张商品图片，人工智能能够自动解析商品的规格、颜色、款式、品牌及其他的特征，从而为消费者提供对应的服务支持，例如同款购买链接、售后安装指引。

知识库：存储企业的标准问答、政策指南、产品信息等内容，供智能客服检索和提供准确答案。

智能分析和质检：帮助企业从海量对话录音或对话文本中挖掘可能存在的风险点和商机，同时提升企业服务质量、监控舆情风险、优化服务策略，典型应用场景有智能客服质检、销售线索分析等：

例如：

即利用AI大模型自动化生成知识库内容。通过输入大量产品文档、用户手册、服务对话记录等，AI大模型可以自动生成问答对，显著减少人力成本，加速知识库构建过程。此外，大模型还能不断学习最新信息，实时更新知识库，保证回答的时效性和准确性。

传统的知识库需要大量的运营维护工作，一条一条输入问答对形成问答库，客服机器人根据用户问题关键词在问答库中指向一个最匹配的回答：

（需要强调的是，有了大模型也并不意味着不需要这种问答对的知识库）

而结合AI大模型，能够在客户现有的业务基础上提供非结构化知识问答能力、增强知识问答多轮效果、减轻必须依赖的知识构建和维护成本。基于大模型的新一代智能客服系统基本都会支持多种形态的复杂知识导入：

例如pdf文档直接导入，让大模型进行分段、学习：

就能够基于文档构建问答服务，且支持多轮对话：

这本质上就是类似于GPTs的知识库输入：

AI大模型用于自动生成个性化培训材料和模拟考题，特别是在新员工培训中，能够根据每个人的能力和知识空白点生成定制化的训练内容。通过模拟客户咨询场景，AI大模型还能帮助员工熟悉各种客服流程，提高应对实际工作的能力。

这个我没有找到具体的示例，但是不用怀疑它的能力。我以之前研究过的百度网盘为例：

AI大模型在机器人坐席中主要应用于提升意图识别准确度、生成更自然人性化的回复和进行高质量的会话小结。通过深度学习用户的提问模式和语言习惯，AI大模型能够更准确地捕捉用户的核心需求，即使是开放域的问题也能给出合理的回答。

传统的意图识别本质上是基于示例问题/相似问法、关键词/同义词等来进行构建的，我们可以简单理解为是类似于搜索的匹配逻辑来匹配最佳的知识库内容作为标准答复：

但是结合大模型的能力，我们可以进行意图训练，通过构造的问答场景数据或历史对话记录（基于人工坐席的合理响应），这也能大大提高效率：

而且传统的答复比较机械（标准化），但是由于大模型具备生成能力，所以是可以进行更加个性化的、拟人化的回复，包括结合客户所表露出来的情绪来做出响应。

在“智能客服大脑”加持下，浪潮信息的智能客服已经凭借超强的智能水平进化为一名“专家级数据中心智能客服” 。目前，“源晓服”针对浪潮信息8大产品线的全部服务问题，覆盖率达到92%，针对数据中心常见的技术问题，如系统安装、Raid配置、部件异常等问题，“源晓服”的解决率高达80%，可将复杂技术咨询问题的业务处理时长降低65%，提升浪潮信息整体服务效率达160%。在底层架构上，“智能客服大脑”改变了过去多模型多知识库的AI应用模式，能够基于企业现有的知识库进行无监督自主学习，将呼叫中心的客服工程师从原本的填充FAQ、知识图谱等额外的工作中解放出来，提升服务团队人效30%。

浪潮信息

AI大模型可以为人工坐席提供即时的信息支持和建议，帮助他们更快地解决客户问题。通过实时分析客户问题和对话内容，AI模型能够即时提供相关知识库文章、历史案例、产品信息等，使人工客服能够在短时间内找到解决方案，提高解决效率和客户满意度。

借助AI大模型，可以构建这样的智能客服助理Agent，在准确识别客户意图的基础上，全流程辅助坐席人员，提供业务流程导航和业务话术推荐。相比过去依赖人工坐席根据自身经验和知识储备回答问题的模式，出错率更低，服务效率更高：

大部分的客服都会连接工单系统，大模型是具备一定的agent能力，连接工单系统自动开启工单分发。借助大模型的能力，智能客服系统可以通过理解对话/通话内容，快速完成信息的结构化整理、创建工单或生成表单，人工坐席只需要一键提交即可完成入库：

利用AI大模型对客服对话内容进行分析，可以自动识别服务质量问题、客服表现、客户情绪变化等关键信息。这不仅可以用于实时监控服务质量，还可以作为客服培训和改进的依据。例如，通过分析客户对服务的反馈和情绪，AI模型可以指出哪些服务流程可能需要改进，哪些对话策略更能提升客户满意度。

AI大模型可以处理和分析大量的客服数据，从中挖掘业务洞察和趋势。例如，通过分析不同时间段的客户咨询主题和频率，企业可以发现产品或服务中的热点问题和潜在需求，指导产品迭代和市场策略调整。此外，通过深入分析客户问题和反馈，AI模型还可以帮助企业优化客服流程，实现更高效的服务布局。

结合CRM系统，AI大模型能够提供更加个性化的客户服务和管理。通过对客户历史数据、偏好、交互记录的深度学习和分析，AI模型可以帮助企业构建更精准的客户画像，实现定制化服务和营销。此外，AI模型还能够预测客户需求和潜在问题，主动提供解决方案，增强客户忠诚度和黏性。

目前多模态大模型所表现出来的能力非常不错。例如在语音客服领域，AI大模型的应用可以进一步提升语音识别的准确度和语音服务的自然度。通过深度学习客户的语音模式和口音特征，AI模型能够更准确地识别和理解客户的语音指令和咨询内容，提供更加流畅自然的语音交互体验。

根据艾瑞研究院的报告，一些比较知名的国内对话式AI厂商情况如下：

尽管这个“阵营”是2年前的数据，但不妨碍我们去研究和学习，因为基本上都已经结合大模型进行了智能化升级。

以阿里云的智能客服为例，就已经基于自研的通义千问大模型进行了智能对话支持：

其智能对话能力包括：

其中多轮问答、数据问答对于通义大模型的依赖程度较高，因此只在通义版的产品中才能使用。

（1）文档问答

结合通义版对话机器人的能力，将文档导入系统后，机器人将形成基于有关文档的业务知识，可直接根据文档中的内容对用户问题进行解答：

（2）网站知识

填入有关网页链接后，系统将爬取网页内容以及同域名下的超链接，机器人具有快速获取网站知识的能力。方便机器人高效地对接有关网站

（3）高频问答

（4）多轮对话

多轮对话可理解为是根据上下文内容，进行连续的，以达到解决某一类特定任务为目的的对话。也即是说，无法在用户与机器人的一次问答中完全达到对话目的，则可理解为多轮对话。例如：

机器人多轮对话大致是由：预设用户可能输入信息、预设机器人回复内容和触发规则这三部分组成的。机器人能够与用户进行多轮对话，是因为人工已提前预设好有关用户可能输入信息和对应的机器人回复内容，用户的输入信息后则会触发机器人进行回复内容播报：

这和我们此前探讨的《AI+BI》是类似的，因此我会忍不住多聊一点。比如接入数据源：

进行专业术语/同义词的定义（例如销售金额、销售额、销售收入）：

设计问法对应的SQL模板（即text-to-SQL模式）：

数据问答整体使用流程上看，有三个步骤：业务表格数据梳理、问答效果测评和问答干预：

• 业务表格数据梳理：主要是在一定程度上规范实际业务表格数据，提高模型识别效果，主要包含业务表格数据梳理、导入和配置表头。
• 问答效果测评：主要是测试并干预实际数据问答效果，主要包括业务问答测评场景梳理、测评效果分析。
• 问答干预：主要是针对问答效果不好的点进行干预优化，主要手段包括表结构优化、增加同义词、选表干预。

不过官方表示，当前数据问答支持最多3张表关联查询。

关于阿里云智能客服机器人的相关内容，主要来源于官方文档，我还没有机会体验：

百度智能对话平台UNIT企业版是一款整合语音识别、语义理解等百度先进的AI技术的主要服务于客服场景的智能对话配置与管理平台，现在已经支持大模型版本：

其功能架构如下：

UNIT本身有一些预置技能（技能是指在某一特定对话场景下的对话能力例如，小度智能音箱的点歌、订外卖功能就是两个技能，我们也可以理解为是“插件”），涵盖了娱乐、出行、办公、学习和生活服务等不同场景，用户可以拿来即用：

同时，UNIT支持用户结合自身业务需求搭建自定义技能，例如：

（1）对话技能

识别用户话术意图，并根据话术中所包含的关键参数执行指定任务的技能。其中，关键参数称之为词槽。

（2）FAQ问答技能

FAQ问答技能是通过训练问答对数据来实现人机对话能力的技能。其中问答对是指问题与答案的组合。

（3）对话式文档问答技能

对话式文档问答是通过训练文档数据来实现人机对话的技能。当用户的问题在文档中能够找到答案时，即会抽取文档片段作为答案回复

（4）表格问答技能

表格问答是基于表格数据来进行问答的技能。其中表格数据是由实体和属性构成。将表格数据进行训练生成对话技能，技能根据用户的问法和实体在表格中进行搜索，输出与之对应的属性值

百度的智能客服倒是可以体验，我此前在使用灵境矩阵平台时留意到的：

看到这个对话界面，其实就不需要多说了，懂的都懂。总体而言我认为体验是相当不错的：

这是我让灵境矩阵智能客服向我介绍它自己的能力>>>

开发者您好，智能客服是灵境矩阵中的一种智能体应用，它基于文心大模型构建，具有以下特点和能力：

这些特点和能力使得智能客服在客户服务领域具有广泛的应用前景，能够为企业节省人力成本，提高客户满意度和忠诚度。同时，灵境矩阵平台提供了丰富的工具和资源，支持开发者根据自身需求定制和扩展智能客服的功能。

其余的对话式AI厂商的产品，我在此就不作详细展开了。大家可自行按图索骥。

AI大模型在智能客服领域的应用前景广阔，能够显著提升服务质量和效率，推动智能客服系统的快速发展。

• 效率和智能化提升：AI大模型通过自然语言处理、深度学习等技术，显著提高了智能客服系统的理解和响应能力，使之能够提供更准确、更自然的服务，有效提升客户体验。
• 知识库构建的自动化：利用大模型能够自动生成问答对，大幅简化知识库构建和维护的过程，降低人力成本，提高知识库的覆盖面和时效性。
• 个性化和动态学习：AI大模型的动态学习能力使得智能客服系统能够不断优化服务流程和内容，根据客户的反馈和行为模式提供更加个性化的服务。

• 业务范围的拓展：从前端的机器人坐席到后端的数据分析和人工支持，AI大模型的应用不仅限于客户服务的初期接触点，还能深入到服务流程的各个环节，推动智能客服系统的全面进步。

然而，挑战如模型幻觉、成本控制、实时交互性的提升等问题也需要行业通过技术创新和实践探索来逐步克服。

• 模型幻觉：AI大模型有时会生成不基于真实数据的、虚构的回答（即“模型幻觉”），这在客服场景中可能导致误导或混淆客户，需要通过持续优化和调整模型来减少这类问题的发生。
• 成本控制：尤其是在使用API调用模式下，大模型的运算需求和多轮对话的不确定性会导致成本预估和控制成为挑战。企业需要合理规划使用策略和优化对话设计，以平衡服务效能和成本。
• 交互性和实时性的限制：虽然大模型在开放域的表现不断提升，但在实时交互性和复杂交互场景下的应用还存在限制，特别是在数字人领域，如何更自然、更有效地与用户交互仍是一个待解决的问题。
• 内部助手和业务收益：在企业内部助手方面，虽然大模型能提高某些工作效率，但真实落地场景较少，主要是因为直接产生的业务收益较低，企业更倾向于优先考虑能直接影响客户体验和营收的应用场景。

但是这些问题也不是那么可怕。我想再次分享在《随便聊聊：我不是在神话AI，我只是在探索未来》一文中贴的这张图：

相信在不久的将来，随着AI技术的持续进步和应用场景的不断拓展，预计AI大模型将在智能客服领域发挥更加关键作用，为企业和客户带来更多价值。

就我目前的观察和体验，企业引入大模型技术的决策是一个复杂的过程，它涉及到成本效益分析（ROI）、数据管理、以及团队构建三个关键领域（同时也是主要的落地障碍）：

拿最常见的线上场景来说，今天每一个商家在有赞后台首页都会看到一个叫“智能助手”的入口，它可以帮助你直达那些你想要的功能，以及帮你理解某一个功能。你不需要在那十几个一级导航、二级导航、三级导航里像转迷宫一样转，可以直接向智能助手问你要去的地方。