（1）大模型与智能交互

往期文章《智能交互复兴：ChatGPT +终端（奔驰/Siri）= ？》里提到大模型对现有行业的冲击，现有NLP中低层应用、复合场景将被直接“重塑”，比如 红极一时的智能对话。

《大模型时代，对话系统何去何从？》解释了让人又爱又恨的对话系统。

对话系统“爱”、“恨”交织：

• 爱：终极交互形态让人着迷，CUI，甚至更高级的多模态交互、脑机交互

• 恨：技术现实与期望鸿沟太大，智障频频。

鹤啸九天，公众号：鹤啸九天ChatGPT：从入门到入行（放弃）

曾有人断言：

• 只要对话系统核心技术还是意图识别+槽填充方案，就别指望有什么突破，相应的对话产品也都半斤八两。
  

短短几年时间，新技术来了，在大语言模型的加持下，对话系统如虎添翼。

原有pipeline架构被冲击得七零八落，高达80%的功能被简单prompt engineering（提示工程）所替代，如：知识挖掘（去重/摘要/脱敏/增强等）、NLU（意图识别+槽位抽取）、NLG（语言生成/风格化）。

GPT-4o出来后，相对独立的ASR和TTS也开始融合进来，这种强大的多模态交互能力让人眼睛一亮。

只剩下DM尚未被完全替代。

当前基于LLM的Bot开发平台用plugin+workflow方式，复现复杂交互逻辑，本质上还是沿用上一代的FSM技术（有限状态机）。

Agent模式则走得更远，无需配置交互逻辑，统一由PE设置，只是受限于LLM的黑盒不可控性，不适合需要精确控制的业务场景，如金融支付/业务流程依赖复杂的情形，容错率低。

（2）智能对话先驱

2023年上半年，大模型开始“入侵”：

• 车机交互：奔驰引入GPT

• 文档问答：各类Doc-Chat产品雨后春笋

• 个人助理：smartsifi/小艺/小爱，各大手机厂商纷纷把端侧LLM作为亮点打包发布。

• 垂类问答：支付宝发布“支小宝”，辅助做理财咨询。
  

详见：《智能交互复兴：ChatGPT +终端（奔驰/Siri）= ？》

2023年5月底，《如何搭建自己的ChatGPT智能问答——ChatBase介绍》里介绍了国外的知识问答系统ChatBase，借助GPT强大的语义理解能力，突破了上一代文档问答（Document QA）的瓶颈，只需上传一段文本、文件，甚至网站URL，就能低代码快速搭建一款知识问答机器人。

ChatBase虽然面向开发者，但GPT接入受限，需要付费。

2023年9月8日，蚂蚁发布了基于金融大模型能力的“支小宝2.0”与“支小助”。

• to C产品“支小宝2.0”内测近半年，为用户提供高质量的行情分析、持仓诊断、资产配置和投教陪伴等专业服务，将在完成相关备案工作后上线。

• to B产品“支小助”与蚂蚁平台合作机构内测共建，为理财顾问、保险代理、投研、金融营销、保险理赔等金融从业专家打造全链条的AI业务助手。

这些产品大多面向C端，只可体验，不可亵玩焉。

对于个人开发者，有没有一款免费、好用的问答助理呢？

公众号粉丝多了，难以逐个回复，解决办法：

• ①公众号后台配置关键词、自定义菜单，回答热门问题——人工处理，覆盖面有限，更新滞后，交互体验不太好。

• ②单独部署问答服务，通过api接入公众号后台——额外部署问答服务，api操作有学习成本，体验一般。

• ③用LLM充当问答引擎，api接入后台——国内不便接入ChatGPT，只能是国产LLM，价格已经被豆包打下来了，但这个方案依然要部署服务
  

2024年5月，一个豆包引发的价格战：

• 5月15日，字节发布豆包，价格低于同行99%

• 5月21日，阿里通义千问：直降97%

• 百度文心一言：ERNIE Speed、ERNIE Lite全面免费，即刻生效！
  

• 科大讯飞：轻量级免费，主力模型降价
  

这场价格战后，创业公司冰火两重天：基座模型的小公司前途渺茫，面向LLM应用的公司拍手叫好。

对于公众号博主，好事儿，不用担心调用成本了。

（3）Coze（扣子）

今年2月的文章《如何用字节Coze复现《决战拜年之巅》？》介绍了如何使用扣子快速构建一款聊天机器人，发布到豆包/Cici等平台上。

用户只需设计角色信息、对话逻辑、语言风格，以文本形式植入system prompt，就可以实现一个拜年游戏。

也可以使用多智能体（Multi-Agent）实现更加复杂的交互逻辑。

大致步骤：

• ①注册Coze（国内是扣子）

• ②创建Bot：名称、描述

• ③设置Bot：系统提示语、开场白、推荐语、插件、工作流（workflow）、知识库等

• ④调试、发布
  

具体操作步骤略，详见原文。

好在Coze（扣子）支持发布Bot到公众号平台，这样连api服务部署的成本也没有了！

（4）AI助理

那么，怎么快速构建自己的智能助理？

要求：

• ①低成本：无需部署服务、调用外部API，当然还有免费，不花钱

• ②便利：快速构建，无需太多学习成本

• ③功能多：支持常规咨询、文章查询，最好还能用ChatGPT同等功能
  

常见方式：单独搭建api服务，对接公众号的消息处理接口，其中api可以在特殊环境下直连OpenAI。

这种方式成本不低：服务器、api服务、OpenAI账户及费用。

（4.1）AI助理效果

借助Coze（扣子），以上需求都能实现。

直接展示效果：

进入公众号聊天窗口，提问即可体验效果

打招呼后，AI助理会以我的名义自我介绍。这个回答略啰嗦，跟真人交互有些距离。

改进：更新system prompt，植入我的画像信息，让AI助理的回答更加精简、准确。

这下就可以回答个性化问题，简洁明了，不啰嗦（符合我的个性）。

但有些格式问题，如“哪里人”的答复里包含了markdown图片格式，不适合文本展示。

试下文章查询功能。

• 问：对话系统文章

• 答：对话系统文章：https://wqw547243068.github.io/dialogue-system

公众号原生支持关键词回复，只要提问内容命中关键词，就会返回指定回复。

但这种方式太过死板，需要一字不差的精准匹配才行，体验并不好。

迁移到扣子Bot后，问题迎刃而解，大模型会根据语义自动匹配合适的关键词配置信息，加工回复。

另外，还支持文章内容问答。

• 问：这篇文章讲什么

• 答：这是一篇对话系统文章。。。。

如果有问题不在预设范围内，或反馈问题，还可以帮忙收集、存储。

当然，对话效果并不完美，测试发现，当前模型的不足：

• 习惯回复markdown格式（表格数据中链接总被识别成图片），prompt中强调后，仍未改进；

• 插件调用：时间长，失败率高
  

• 拒识较多，经常道歉

• 数据库功能失效。
  

原因可能跟system prompt、基座模型能力有关。

案例如下：

测试是否能收集用户问题、填表：失败。

查天气案例：

• 模糊意图（太阳出来了吗）无法识别
  

导航插件：地图精灵调用不稳定

B站视频搜索：

微信文章搜索：尝试3次，均以失败告终。

查新闻：调用头条新闻插件

政治问题上，豆包的回答颇为谨慎，总是拒识。

（4.2）AI助理构建方法

以上功能如何实现？

步骤总结

• ①Coze 上创建bot

• ②选择大语言模型：豆包、kimichat的moonshot

• ③设置知识库

• 文章标题

• 关键词回复

• 文章内容

• ④系统提示词: bot 人设、功能、限制条件等

• ⑤添加插件

• 头条搜索的search、必应搜索的bingWebSearch、搜狗搜索的sougou

• ⑥其它

• 开场白、预置问题、语音风格、聊天背景等

• ⑦预览调试无误后，发布到 公众号

• 3种类型: 服务号、订阅号、客服

• ⑧配置公众号：登录公众号后台，获取 开发者id(app_id), 并填入coze

注意：

• 一个 Bot 只能发布到一个微信订阅号

进入扣子平台（coze.cn），注册后，开始创建Bot。

设置名称、描述语（主要面向用户，非system prompt），logo支持AI生成，也可以自行上传。

显示刚创建的Bot：鹤啸九天的个人助理。

设置Bot高级信息：bot 人设、功能、限制条件等

• 系统提示语（system prompt）：设置AI助理的人设信息，这里可以把数值写入prompt中，也可以调用变量。提示语除了人设，还有功能描述、回复风格、注意事项等板块。

• 变量：便于多处使用，通过双括号形式引用

• 开场白：新用户欢迎语，包含文案、预置问题

• 用户问题建议：每次问答时，系统会生成下一轮问题建议
  

• 背景图片：调试窗口、豆包里的背景图

• 角色：语音播放时启用个性化音色。

• 插件：添加相关插件（如搜索），提升助理能力。如果是复杂流程，建议使用工作流（workflow），甚至是多智能体。

• 知识植入：有多种形式，文本是非结构化知识（如文章内容/书籍），表格是结构化信息（关键回复清单，支持excel格式）、照片（后台会生成描述并支持图片问答）。

• 数据库：用于存储结构化信息，如用户建议、未解决的问题

• 长期记忆：需要长期存储的信息
  

设置过程中可以在右侧窗口实时调试效果：

• 会话执行过程

• 推荐问题

• 记忆存储

• 数据库信息
  

测试无误后，点击右上角的发布按钮。扣子上的Bot支持发布到多种渠道：豆包、飞书、掘进，还有微信。

扣子支持3种模式的微信助理，这里选用订阅号，点击配置后，提示去公众号后台获取app_id，填进去即可。

另外，海外版本Cici支持的渠道更多，discord、line、slack等等，还有api和sdk。

发布后，就可以在公众号聊天页体验了。

扣子还提供Bot指标看板，监测各个渠道的Bot使用情况：日活、周活、消息数、留存、复制数等。

其它配置：

豆包模型有多种模式可以选择：精确、平衡、创意、自定义。

如果不想用豆包，也可以切换到别的模型：通义千问、MiniMax（245k）和Moonshot（窗口有8k、32k和128k）