揭秘AI Agent！李宏毅老师3分钟带你飞速穿梭AI前沿，从原理到应用，一文读懂智能体的无限可能！

推荐语

李宏毅老师带你3分钟深入AI Agent核心原理与应用，一文读懂智能体的无限可能！

核心内容：
1. AI Agent基本运作原理及与强化学习的联系
2. LLM作为AI Agent的运作方式及优势
3. AI Agent的关键能力剖析：根据经验调整行为、使用工具

杨芳贤

53A创始人/腾讯云(TVP)最具价值专家

AI界，2022年已经史前时代了，还不抓紧学习！
----
今天分享最新《一堂课搞懂 AI Agent 的原理》课堂笔记（半夜11点，71人在线卷……）
一、AI Agent 的基本运作原理
•  核心循环：目标 (Goal) → 观察 (Observation) → 行动 (Action)。
•  行动影响环境，产生新的观察结果，循环往复，直至达成目标。
•  举例：AlphaGo
•  目标：赢棋。
•  观察：棋盘上的棋子位置。
•  行动：在棋盘上落子。
•  与强化学习 (RL) 的关系
•  传统 AI Agent 依赖 RL 算法，但 RL 的局限性在于需要为每个任务单独训练模型。
•  新思路：直接用 LLM 作为 AI Agent。

•  运作方式：目标 (文字描述) → 环境 (转为文字或直接使用图像) → 行动 (文字描述，需转译为可执行指令)。
•  核心理念：LLM 的核心是文字接龙，AI Agent 是 LLM 的一种应用。
•  历史回顾：2023 年春季出现过 AI Agent 热潮 (AutoGPT)，但实际效果未达预期。
•  优势
•  行动可能性近乎无限，不再局限于预设行为。
•  无需定义 Reward，可直接提供错误日志等丰富信息。

三、AI Agent 实例
•  AI 村民：斯坦福小镇
•  AI 使用电脑：Cloud Computer Use、ChatGPT Operator
•  AI 训练 AI 模型：Google 的 co-scientist 等
四、更即时的互动
•  核心需求：根据环境的实时变化，立刻调整行动。
•  应用场景：语音对话

五、AI Agent 的关键能力剖析
（一）根据经验调整行为
•  传统方法：调整模型参数（本课程不涉及）。
•  LLM 的能力：直接提供错误信息，无需调整参数即可改变行为。
•  关键问题：如何管理和利用过去的经验？
•  解决方案：Memory 机制
•  Read 模块：从 Memory 中选择与当前问题相关的经验（类似 RAG 技术）。
•  Write 模块：决定什么信息应该被记录下来。
•  Reflection 模块：对记忆中的信息做抽象、整理，建立经验之间的联系（类似 Knowledge Graph）。

（二）使用工具
•  工具定义：只需知道如何使用，无需了解内部运作。
•  常用工具：搜索引擎、程序 (LLM 自己编写)、其他 AI 模型。
•  本质：调用函数 (Function Calling)。
•  开发者角色：搭建桥梁，将 Tool 指令转化为实际的函数调用。
•  具体工具
•  搜索引擎 (RAG)
•  自己打造工具：LLM 自己编写程序，作为工具使用。
•  其他 AI 作为工具：文字模型调用语音识别、情绪识别等工具处理语音；大模型和小模型协同工作。
•  风险：过度相信工具可能导致错误。
•  问题：内部知识 vs. 外部知识冲突
•  LLM 会在内部知识 (信念) 和外部知识 (工具结果) 之间进行权衡。
•  外部知识与 LLM 信念差距越大，LLM 越不容易相信。
•  LLM 对自己信念的信心也会影响其是否被外部信息动摇。

（三）做计划
•  当前能力：传统 LLM 的规划能力介于有和没有之间。
•  强化规划能力：与环境互动探索 (Tree Search)，去除没希望的路径。
•  缺点：有些动作不可逆。
•  解决方案：脑内模拟 (World Model)，模拟环境变化。
•  思考模型：DeepSeek-R1 等思考模型有类似效果。
•  风险：过度思考可能导致停滞不前，甚至放弃。
----