背景

我常参加各种分享会。

之前有一场 OpenAI 的，主题是管理「自主 AI 系统」（Agentic Systems）。所讲的东西，与 o1 的的关注点极其相似：管控 AI 的自主行为

在这篇文章里，我会先铺垫一点背景信息，然后从落地角度，来谈谈这里现在、以及将来会遇到的一些挑战，主要包括：执行效果评估、危险行为界定、默认行为确定、推理透明展示、Agent 行为监控、Agent 作恶追责、危险事故叫停。

我得明确：OpenAI 会面对这些挑战，并非是其水平不行，而是更早的开始探索边界 -- 大家都将会遇到

这里有一篇关于 Agent 治理的论文，来自 OpenAI

https://cdn.openai.com/papers/practices-for-governing-agentic-ai-systems.pdf

有关 Agent

按当前的语境，我们会把 ChatGPT 就是看成一种 AI 应用，它能理解你的问题并给出回答。而会把 GPTs 这种订制后的、能调用外部功能的、能够自己处理复杂任务的产品，叫做 Agent。

Agent 和 AI应用（如ChatGPT）之间的区别和联系主要体现在“代理性”（agenticness）这的程度上。如果一个AI系统，能够在没有直接人类监督的情况下运作，其自主性越高，我们称之为代理性越强。这是一个连续体，不是非黑即白的判断，而是根据它在特定环境中的表现来评估其代理性的程度。

在这种定义下，正统 Agent 不仅能回答问题，还能自己决定做什么，它能够通过生成文本来“思考”，然后做出一些操作，甚至能创造出更多的 AI 帮手来帮帮忙，就比如下面这个图。（仔细看这个 Twitter 图，是不是和 o1 很像？）

（再补一张一年前， 时任 OpenAI Dev Rel 的 Logan 的发言）

但我们发现，尽管 Agent 看起来很美好，但在实际落地的场景中，也是困难重重，风险多多，出现了问题，责任划分也很麻烦。比如这里：如果我希望让某个 Agent 帮我微信收款，但它给别人展示的是付款码，那么这里谁背锅？

这些问题，也将会是 o1 在真正行业落地时，所要面对的。

由于会上的 PPT 不便分享，我便在自己吸收后，重新制作了一份 PPT，安心食用

在商业环境中，确保任何工具的可靠性是基本要求。

然而，AI Agent 的复杂性在于其工作场景和任务的不确定性。例如，一个在模拟环境中表现优异的自动驾驶车辆，可能因现实世界中不可预测的变量（如天气变化和道路条件）而表现不稳定。

我们尚缺乏有效的方法，来准确评估 AI Agent 在实际环境中的性能。

最后