澜码CEO周健：基于LLM架构的AI Agent平台现状和未来预测

在当今人工智能飞速发展的时代，AI Agent正以其独特的方式重塑着企业的生产运营方式。澜码科技作为AI Agent领域的先行者，其创始人兼CEO周健先生分享了对大模型与AI Agent发展现状的深刻见解，以及这些技术如何赋能企业数智化转型的前瞻性思考。以下是对这次分享的详细实录，它不仅涵盖了AI Agent在不同行业落地的实践案例，还探讨了企业未来数智化发展的趋势和方向。

分享嘉宾｜周健 澜码科技科技创始人兼CEO

01

大模型与AI Agent发展现状

去年年初，陆奇博士提到，大模型的发展带来了人机交互革命。他认为会出现三代系统，过去的数字化系统是感知系统或记录系统，负责把流程、物理世界的信息记录下来。大模型则是知识系统，把大量的数据通过压缩变成模型。我们还需要行动系统，它就像神经中枢，负责把大脑的输出拆解成物理世界及数字世界中的行动。从该视角出发，AI Agent、IT 数字化系统、大模型都有其定位，需要三者结合在一起才能形成未来的AGI。

从GPT3.5开始的过去一年半内，我们发现，AI Agent的成熟度依赖于大模型的能力，包括开源和闭源模型，以及多模态模型等。

从自动化视角出发，在企业内部业务流程中，特别是一线的员工，在执行某业务任务、活动时，主要在处理数据、文档、应用与流程。过去 RPA、低代码、BI，并不能够理解流程中的数据、文档、应用，只能做到简单的自动化任务处理。

如今，随着大模型的发展，尤其是相对成熟的纯文本大模型，提供了十分便宜的语言理解能力。当模型具备了理解能力之后，它们在信息抽取、指令遵循等任务执行能力得到提升，使得基于大语言模型的AI Agent的水平也远超传统的自动化系统，成为企业的“数字员工”。

专家知识是大语言模型落地的关键

澜码作为“模型中立”厂商，在过去18个月中，我们构建了企业级AI Agent平台，拥有内部评测工具，能够在特定场景下针对不断更新的开源模型进行实时评价，为企业客户在选择合适的应用场景和模型时提供有价值的决策建议。

另外一点区别是对文档的处理。文档发布通常承载着特定目的，同时包含很多的细节信息。例如，在公安部门需要合并民众办事指南的项目中，专家知识指哪些事项由哪些机构负责，国家、省、地方法案具体是如何规定等。其中，由于存在新旧法案更替的情况，新法案的颁布，若是与旧法案发生冲突，该如何解决？这些都是很深的专家知识，专家能够从底层的政策文档中抽取关键信息，AI Agent通过强化拆解与精细化的文档处理，能够大幅提升企业内部问答的准确率，确保信息的精确传递和高效应用。

AI Agent在不同行业的落地实践

在金融领域的实施方法论中，收集专家知识环节十分重要，包括样例数据，而样例数据更加强调用户问题。我们需要收集用户问题，并对问题进行拆解、处理和测试，使得AI Agent在实际场景中面对用户的问题提供更加有效、精准的回答。

案例二：某大型国有银行金融交易场景

企业未来数智化发展趋势

大模型的出现，为企业的IT基础设施带来了新的变革。过去所有 IT 基础绝大部分都在 CPU 之上，如今大模型在私有化部署过程中，对算力有了更高的要求，基本上都需要GPU。

在如今新的生态中，算力和AI基础设施，包括推理加速和模型管理服务等位于底层；在其之上是模型层，过去 18 个月不断有新模型推出，所以底层需要仿真工序，需要有工程技术，能够在不同情况下路由选择不同的模型，这样也能够节省算力的调度。澜码科技的AI Agent平台则处于中间层，需要具备针对特定场景匹配合适的大模型、调度不同工具的能力，如RAG、ABI、多Agent协作等，以达到连接人和系统的目标。

AI Agent作为中间层，它的工程框架至关重要，需要具备足够的灵活性和扩展性，以适应不同行业和场景的需求。尽管Agent产品可能类似于低代码平台，允许用户通过工作流、拖拉拽和上下游连线来实现功能，但低代码平台的真正竞争力在于其在多样化行业和场景中积累的能力。

当前，Agent已经集成了记忆功能、RAG（Retrieval-Augmented Generation）技术、数据分析指标库等先进功能，但如果没有多模态交互，比如文本生成图像（文生图）或视频，产品的功能在一定程度上就会受到限制。虽然这些功能可以简单集成，但卡片的丰富程度、参数的复杂性以及用户交互的便捷性，都会影响到文生图等多模态应用的准确率和用户体验。

澜码期待在接下来的18个月内，基于文本模型、多模态模型、实时模型等底层大模型，不断地构建一个具备知识推理、记忆、反思能力的AI Agent系统，帮助企业进行知识治理，从而提升自动化水平，加速知识迭代，革新组织运作。

以上是本次分享的全部内容，如需获取专家完整版视频实录和课件可扫码领取。