2024年春节期间，经过半年多的摸索，瓴羊Quick Service在内部发布了一个新产品版本，定义了在to B场景下智能客服Agent的产品形态。

在当时的时间点，这可能是国内第一个可落地的大模型加持的智能客服Agent。

瓴羊Quick Service部门面临一个选择：要不要面向市场公开发布这个初步成型的产品？要知道，Agent是一个炙手可热的大模型风口，市场上成熟的产品寥寥可数，一旦发布，一定会引发行业不小的关注。

但瓴羊毕竟不是一个学术研究部门，它是阿里巴巴在2021年成立的聚焦于数据服务的全资子公司，Quick Service是其中的智能客服部门。瓴羊最核心的任务，还是要解决客户的实际业务问题。

瓴羊智能客服产品总监张双颖告诉「甲子光年」：“关于先说后做还是先做后说，我们最终决定选择后者。这个产品要想推向市场，应当是等技术水平真正能够达到实际可使用、可商用，能够被客户认可的状态才行。”

此后，瓴羊进入产品的深入打磨期，一晃又是半年多。直到昨天（8月28日），瓴羊Quick Service的大模型产品终于交卷。

瓴羊最新发布的Quick Service 2.0，在上一版本的基础上全面升级了三大核心功能：AI问答、AI辅助和AI知识库，是业内首个将AI Agent完整落地、可覆盖客服“全场景”的智能客服产品。

智能客服是大模型最快落地的场景之一。近期，「甲子光年」采访了张双颖，来回答一个行业本质问题：大模型升级智能客服，这件事到底如何发生，又带来什么价值？

1.智能客服，不够智能

一提到智能客服，大家可能会立马联想到电话推销，电话推销就是通过智能客服呼叫中心的外呼机器人来实现的。很多人常把外呼机器人与智能客服划等号，但实际上外呼机器人只是智能客服的场景之一。

智能客服还有很多场景。张双颖告诉「甲子光年」：“从消费者视角来看，智能客服会贯穿售前、售中、售后三个主要消费环节，为消费者提供一贯式的咨询服务；从客服员工的视角来看，当处理消费者的咨询时，需要用到员工培训、工单、知识库等多款配套工具；从商家的客服部门管理者的视角来看，需要一个工具来了解客服的整体效果，涉及质量检验、消费者综合洞察等。”

因此，智能客服远不止一款产品，而是一个覆盖线上与线下全渠道，涉及售前、售中与售后各个环节与角色的全场景客服系统。

但智能客服行业存在一个长久的痛点，那就是没有体现“智能”。

先简单回溯一下智能客服的发展历史。客服就是“客户服务系统”，最早的形态可以追溯到1956年由泛美航空公司推出的客服中心，通过电话的形式进行客户机票预订，后来逐渐在全球范围内兴起为以电话呼叫中心的客服系统。

20世纪90年代以后，随着互联网的兴起，客服系统跳出单一的电话呼叫中心，出现了网页在线客服、客服软件等多种客服渠道。近十年以来，随着移动互联网、云计算、大数据与AI技术的发展，传统呼叫中心与客服软件进入SaaS与智能化时代。智能客服就是引入了机器学习、深度学习技术的客服系统。

早期的智能客服基于专家系统，依赖于预设的关键词模板，能够提供基本的信息查询服务，但缺乏灵活性与理解复杂语境的能力。后来智能客服引入机器学习、深度学习技术，能够处理更复杂的问题，提供更个性化的服务，但其实仍然没有达到“智能”的水平。

因此，客服系统需要庞大的人工客服来应对各种问题。可以说有多少智能，就有多少人工。

在很多企业，智能客服就是纯粹的成本中心，降本增效就是最核心的诉求。客服人员流动性大、培训成本高、客服效果难以把控、大量重复性问题过度消耗人工客服。同时，如何提升售前转化、如何优化客服流程、如何从客服数据中发现企业业务问题等，一直困扰着各大企业。

直到ChatGPT的出现，让从业者看到了智能客服的理想状态。一个机器人回答所有问题，似乎不再是遥不可及的梦想。

这也是瓴羊Quick Service看到的机会。

2.拿着钉子找锤子

虽然瓴羊Quick Service是智能客服的行业专家，但在大模型的探索上，也是摸着石头过河。

2023年春节——ChatGPT发布一个多月后，瓴羊Quick Service团队就基于海外已有的大模型做出了文本总结、摘要等功能。但团队发现，由于准确度与幻觉等限制，无法在真实的商业环境中落地。

等到2023年年中，OpenAI研究员发布了一篇著名的关于Agent的论文。论文指出，如果说大模型是一个大脑，那么Agent就是一个可执行任务的四肢。这给瓴羊团队如何做大模型的落地打开了新的视角。

在深入研究了Agent的规划、记忆、工具使用等核心组件能力之后，瓴羊的算法、产品团队做了细致的推演，发现Agent这条路是可落地的。2024年春节前后，瓴羊智能客服团队把第一个Agent的产品雏形做了出来。

于是，就有了文章开篇所述团队面临的两种选择。最终，瓴羊决定先把产品打磨好再发布，客户是检验产品的唯一标准。

将大模型与智能客服结合，瓴羊做了大量的工作。

第一步是通用大模型底座的选择。瓴羊Quick Service的默认选择是阿里通义千问，如果企业有其他选择技术上也完全支持。

张双颖解释了选择通义千问的理由：“第一，虽然市场上开源大模型也很多，但很多是不可合规商用的。在可商用的模型里，通义千问是测评效果最优秀的模型之一，这是最重要的一点；第二，通义千问毕竟是阿里自研的模型，从产品协同的角度来说，跟通义家族产品团队的合作会更加顺畅。”

通用大模型虽然具备丰富的世界知识，但这往往不是企业最需要的。企业更需要的是在智能客服这一特定领域的行业知识，比如PDF文档里的规章制度、Word文档里的业务流程，非结构化数据的知识库管理等等。

所以，瓴羊在通用大模型的基础上，通过知识预处理、特征抽取、检索引擎等技术，训练得到客服垂直大模型——瓴羊称之为行业模板。瓴羊面向零售、汽车等多个行业，借助通义千问为底座的RAG方案，针对步骤类、流程类、政策类等文档，生成了与之对应的8种模板。

行业模板针对大模型的内容生成做了约束，有助于解决大模型幻觉问题。此外，在大模型生成知识之后，瓴羊团队还专门做了一个防幻觉的检测模型，确保是安全合规、符合企业要求的信息。

大模型的泛化能力相比传统的小模型节省了重新调整算法的成本，其带来的优势非常明显。比如一个简单的订票场景，以前仅仅是多出一个票种分类，也需要再去专门训练一个小模型来适配，而现在一个大模型就能解决。张双颖表示：“我们发现大模型对新场景的容纳率，的确比小模型要好得多。”

做大模型，也不能盲目迷信大模型。在一年多的摸索里，瓴羊团队得出的结论是，大模型不能解决所有问题，最实用、高效的路线还是大小模型结合的方式。

在智能客服的一些场景中，有一些问题的答案是一丁点都不能出错的，比如食品安全、产品价格，它需要100%的确定性。这类问题，实际上更适合传统的小模型，也就是特定的算法来回答特定的问题，给出预先匹配好的100%确定性的答案。

为了区分复杂问题与专精问题，瓴羊团队研发了一个“路由算法”，就像大模型的路由器一样，智能识别与分发不同的问题。遇到专精问题就匹配给小模型，遇到需要长上下文理解、语义理解、情感识别的问题，就匹配给大模型来处理。

张双颖表示，小模型的核心能力不在于技术水平高低，而在于贴近客户做业务。而现在，智能客服行业涌入了不少大模型公司，试图用新的AI技术改变行业的业务模式。

他认为，许多公司的商业逻辑更像是“拿着锤子找钉子”，而瓴羊恰恰相反，属于“拿着钉子找锤子”。Quick Service沉淀了阿里巴巴二十多年客户服务的经验，这些深厚的行业积累，是短时间内很难被超越的壁垒。

3.大模型智能客服长什么样？

在经过一年多的探索、半年多的沉淀之后，瓴羊Quick Service的大模型产品终于交卷了。

直观理解大模型加持的智能客服，就像是在传统的客服软件系统里植入了聪明的大脑。但这些能力要想发挥出最大的价值，离不开瓴羊过去构建起来的“全场景”能力。

瓴羊最新发布的Quick Service 2.0，在上一版本的基础上全面升级了三大核心功能：AI问答、AI辅助和AI知识库，是业内首个将AI Agent完整落地、可覆盖“全场景”的智能客服产品。

瓴羊Quick Service 2.0产品架构图

4.从成本中心到价值升级

瓴羊副总裁林永钦，图片来自瓴羊