奇智：生成式 AI 应用创建平台

推荐语

这是一个强大的生成式 AI 应用创建平台，简化技术任务，激发无限创意。

核心内容：
1. 奇智平台的功能与作用
2. 集成多种大模型相关能力
3. 为开发者和业务团队提供的便利

杨芳贤

53A创始人/腾讯云(TVP)最具价值专家

奇智平台是为构建生成式AI原生应用而设计的生成式AI应用创建平台，通过奇智平台，我们可以将复杂的技术任务大幅简化，还能通过可视化编排构建各种类型的应用，让创意和创新更快、更好、更易实现。

我们小时候都玩过积木，通过堆砌各种颜色和形状的积木，可以构建出城堡、飞机、甚至整个城市。现在，如果有一个数字世界的积木，我们就可以用这样的“积木”来构建智能程序，这些程序能够阅读、理解和撰写文本，甚至与我们对话交流。这就是奇智平台要做的，也是奇智已经做到的，它就像是一件庞大的积木套装，等待AI应用的创意者们来发掘和搭建。

奇智平台的核心价值之一就是它提供了标准的模型接口，方便我们可以自由的切换不同的模型，包括文本、图片、视频、音频、多模态等模型。

说到模型，大家可以把模型按ChatGPT来理解，单纯的模型只能生成文本内容，随着大模型的不断发展，模型的跨模态能力在不断增强，包括：

1.普通LLM：接收文本字符串作为输入，并返回文本字符串作为输出。

2.聊天模型：将聊天消息列表作为输入，并返回一个聊天消息。

3.视觉模型：将接受的文本和图片或视频作为输入，并返回文本字符串作为输出。

4.语音模型：将接受的语音作为输入，并返回文本字符串作为输出。

奇智平台提供了统一的Prompt工程，支持Prompt的编排、调试、优化、版本管理，方便我们更容易的构建出我们想要的Prompt模板，我们可以保存Prompt模板，重复使用。基于平台，我们可以快速实现Prompt工程的搭建和调优，常见的功能流程如下图。

为了解决纯参数化模型的局限，语言模型可以采取半参数化方法，将非参数化的语料库数据库与参数化模型相结合。这种方法被称为RAG（Retrieval-Augmented Generation）。

1.RAG的整体流程

RAG整体业务链路主要分为5大步骤：知识生产与加工、Query改写、数据召回、后置处理以及大模型生产。

奇智平台在Native RAG的基础上，结合Advanced RAG和RAG-Fusion等方案提供了多种通用RAG能力：

知识切片：按固定字符切分、冗余切分、按句子语义切分、正则切分等。

查询生成/改写：使用 LLM 模型对用户的初始查询，进行改写生成多个查询。

向量搜索：对每个生成的查询进行基于向量的搜索，形成多路搜索召回。

倒数排序融合：应用倒数排名融合算法，根据文档在多个查询中的相关性重新排列文档。

重排: 使用一些重排算法对结果进行重排。

输出生成：参考重新排列后的topK搜索结果，生成最终输出。

2.RAG平台化方案

为方便用户使用，奇智平台提供了可视化的RAG Pipeline构建，方便快速搭建RAG应用，下面是奇智RAG的架构图。

RAG平台提供了知识库管理、RAG应用编排与调试，支持一键部署各类开源的热门Embedding模型，支持Rerank重排、多版本管理、数据与标注等。

同时供了一系列的功能模块和API服务，包括分块服务、Embedding、向量服务、知识库服务等，对有深入定制化需求的业务，可通过API灵活组合构建更定制化的RAG应用。

在平台上可以通过可视化编排的方式，快速搭建一个RAG应用，然后通过调用应用API的方式将应用集成在工程项目中：

• 对话工作流：面向对话类情景，需要在构建响应时进行多步逻辑的对话式应用程序。
• 文本工作流：面向自动化和批处理情景，适合高质量翻译、数据分析、内容生成等应用程序。
  
  

插件是大模型能力的拓展，通常通过调用外部API的方式来进行大模型的能力拓展，例如OpenAI调用插件的流程如下图：

奇智平台在参考OpenAI的插件流程和插件描述规范的基础上，设计实现了一套自定义插件的开发流程，并基于Function call、ReAct等能力进行插件的识别和调用，从用户输入中提取插件所需的参数，进行插件API的调用，然后再通过大模型进行插件API回复结果的总结。下图展示了基于Function call的插件流程：

对于用户来说，在奇智平台创建自定义插件的流程较为简单。用户在编写好插件的API描述ibrain.yaml文件后，上传到奇智平台，验证通过后，则可创建插件。创建完成后就能在各个应用中使用以拓展大模型的能力。插件创建的流程如下图：

奇智支持通过基础模板和自由创建的方式来创建智能体。

根据复旦大学自然语言处理团队（FudanNLP）LLM-based Agents 综述论文<<The Rise and Potential of Large Language Model Based Agents: A Survey>>，提到了“Agent = LLM + 感知 + 规划 + 记忆 +工具使用”的基础架构，其中大模型LLM扮演了Agent的“大脑”，在这个系统中了提供推理、规划等能力。整体架构如下图所示：

Agent这个框架包含多个部分，分别是感知（Perception）、规划（Planning）、记忆（Memory）、动作（Action）等，分别简单介绍下：

• 感知（Perception）: 从外部环境接收处理多模态信息。

• 规划（Planning）：主要包括子目标分解、反思与改进。

• 记忆（Memory）：包括短期记忆和长期记忆。

• 动作（Action）：使用文字或者工具（调用外部API来获取模型权重中缺少的额外信息，包括当前信息，代码执行能力，访问专有信息源等。）来完成执行的操作，从而对外部的环境造成影响。

  
  

 "relationship_graph": {
"planner": ["engineer"],
"engineer": ["executor", "critic"],
"critic": ["engineer", planner],
"executor": ["engineer"]
 }

奇智平台提供简单的设置，供业务开启Agent记忆功能，打开记忆功能之后，业务场景中和Agent的互动将会被记录，并根据业务的预先设定要求转换为长期记忆。转换过程主要涉及一些互动过程中的事实提取，现有长期记忆的更新，删除等等。当业务场景中再次与Agent互动时，记忆服务将根据此时的上下文传入最相关的长期记忆，为业务场景提供更加贴切的使用效果。

记忆应用案例：

用户和大模型应用交谈中透露了自己的设定喜好，但是在多轮对话后被遗忘（模型答非所问）：

1.用户：唱一首歌给我听。
2.应用：我只会唱流行歌曲，可以吗？
3.用户：可以，我喜欢周杰伦。
4.应用：好的(清嗓子)， 开始唱菊花台。
5.……（超过100轮）
6.用户：播一首我喜欢的歌曲。
7.应用：好的，你喜欢什么歌曲呢？

在对话达到一定轮数后使用记忆功能存储并提取转换，我们就有了人物关键喜好设定的信息，下次可以根据用户的输入提取出相关重要信息（比如用户喜好）。

在奇智平台上，只需要10分钟，不需要写一行代码，就可以创建一个有大模型能力加持的 AI 机器人。这个机器人可以全天候（7x24）响应用户咨询，还能解答私域问题，成为业务的专属机器人。

在奇智平台上创建一个 AI 机器人非常便捷：

1. 创建一个大模型应用，包括对话、插件、工作流、Agent等类型应用。

2. 应用创建完后申请API权限，然后在奇智平台上提交创建飞书机器人的表单，将应用转为飞书机器人。

3. 还可以为机器人添加私有领域知识，开启知识检索增强（RAG），添加Memory支持长期记忆等，逐步丰富扩展机器人的能力，更好地对接完成用户的咨询。