推荐语

资深软件工程师罗小东分享大模型Agent推理能力设计方案，洞悉前沿技术与实际应用的结合之道。

核心内容：
1. DeepSeekR1推理能力突出，费用低廉，推动大模型推理方式升级
2. ReAct和Cot两种推理方式结合，提升交互形式的推理效果
3. 对话结合方式、Prompt设计及工具设计，实现高效对话解析和工具使用

杨芳贤

53A创始人/腾讯云(TVP)最具价值专家

软件工程师罗小东，多年架构和平台设计经验，目前在研究平台与新技术结合中。

概述

DeepSeekR1使用之后，发现推理能力效果比较突出，费用也比较低，之前是基于普通大模型的推理方式估计也要升级，这里写的是前期的设计思路，留个复盘稿。

推理过程主要使用的是ReAct和Cot两个方式，另外加上交互形式使用约定思维修改模式（Thinking Claude开源项目），也达到一定的推理效果，Cot相对比较简单，这里主要介绍的是ReAct的结合，从下面的维度和例子进行阐述：

• 对话结合方式和Prompt设计

• 框架设计和代码设计及工具设计

• 频道对话效果演示

  
  

原来基于一些论文和开源项目的参考，每个架构师设计不一，我有我思。

设计思路

这里考虑到通用型，不会使用过多的大模型特性FunctionCall，只是基于Prompt和大模型的推理，前期也会有一些的限制（解析准确性），但是目前的模型发展、推理能力的加强和使用情况，基本上限制微乎其微。

对话结合方式和Prompt设计

看过crewAI的同学会看到使用的是langchian，开始也是考虑使用这个，但是发现langchian4j这方面机制还不怎么成熟，另外解析方式也不是自己想要的类型，基于 java和groovy自己写了框架，主要是：

• 对话解析

• 工具使用

• 对话结合

  
  

下面是对话的Prompt设计，初始模版稿：

过程会根据对话结果进行不断的内容调整，以下为处理逻辑：

思考模式放在thought字段，以finalAnser作为结果字段输出，循环按约定次数或是自定义次数。

工具也一样的解析注解形式，通过groovy编写工具然后提交给Prompt，下面是工具的例子：

大部分目前基本上都是类似，只是说使用哪种语言作为主要设计语言和方案。

那最后结合起来的方式，形成角色设计界面，做目标和初始设计，然后结合自定义工具。

在这个过程，基本上可以定义好我们想要的角色。到这步很多情况下对话推理已经达到了。

但考虑更偏向于人类思维，结合了Claude开源项目的约束设计，这里主要放在 promp的system中，这个是一个固定的模式，达到接近于人类的思维逻辑，加与不加效果目前没做过对比，是先加上。

框架设计和代码设计及工具设计

下面是一些设计的思路和代码，会包含有chatbox框，还有ReAct的解析类，还有工具类的设计约束。工具类的注解类设计，还有方式设计：

一个关于查询订单、演示demo，客户时间预约的工具类的例子，下面是客户预约的代码：

角色过程中还会接入记忆能力和知识库，这个是跟其他有些不一样的地方，关于记忆处理方式，这里不做过多的介绍。

这里偏向设计，代码部分不做过多的阐述。

频道对话效果演示

我们这里设计了两个角色：

• 通用查询的角色：可以通过搜索引擎来查询实时内容，比较常见的例子。

• 产品导购的角色：引到客户预约演示和查询订单的角色，也是通用型场景。

  
  

下面是通用查询的角色的查询方式，会自动去网络查询内容并返回结果分析：

定义了两个角色之后，把他们拉到一个频道做验证，下面是角色拉入频道 ，下面是导购的交互模拟：

从演示效果上的情况看，这个基本上能达到交互的效果，也有推理的场景，对话上还是有一定的推理体现。

总结

目前在使用的是qwen大模型，在测试过程中使用的是最为通用plus版本的模型能力，但是查看目前的o1和DeepSeek R1明显会有更好的效果，目前在研究接入和适配，也同样基于开源项目Agents-Flex（类似SpringAI）二次开发调试，以方便接入大模型规范。

以上为学习和研究大模型推理的应用场景和设计的一些思路参考，精力和思路有限，也期望有兴趣的同学可以互相交流。