刚刚，OpenAI重磅发布o3和o4-mini多模态推理能力爆炸式提升！！！

推荐语

OpenAI最新突破！o3和o4-mini模型在多模态推理能力上实现爆炸式提升。

核心内容：
1. o3和o4-mini模型在视觉推理领域的突破性进展
2. 模型的实际应用示例：读取笔记本文字、解决迷宫问题
3. 性能基准测试：o3和o4-mini在多个视觉任务中超越前代模型

杨芳贤

53A创始人/腾讯云(TVP)最具价值专家

https://openai.com/index/thinking-with-images/  将这个网页里面的内容输出为一篇图文并貌的微信公众号推文。

2025年4月16日，OpenAI发布了其最新的人工智能模型o3和o4-mini，这两款模型在视觉推理领域取得了突破性进展。据OpenAI介绍，这些模型不仅能够“看到”图像，还能在推理链中“思考”图像，显著提升了处理视觉信息的能力。它们可以对用户上传的图像进行裁剪、缩放、旋转等操作，无需依赖单独的专用模型。此外，这些模型还能与网络搜索、Python数据分析和图像生成等工具结合，提供多模态的智能体验，为用户带来前所未有的交互方式。

这项技术的发展可能改变我们与AI交互的方式，使其更直观、更贴近人类处理视觉信息的方式。以下，我们将详细介绍这些模型的实际应用、性能表现以及未来的发展方向。

图像推理实战

OpenAI通过一系列示例展示了o3和o4-mini在视觉推理方面的强大能力。这些示例不仅体现了模型的技术实力，也展示了其在实际场景中的应用潜力。

示例一：读取笔记本文字

在一个示例中，模型分析了一张笔记本照片，照片中的文字是倒置的。模型通过旋转图像并裁剪到文字区域，成功读取了内容：“2月4日 - 完成路线图”。整个推理过程仅耗时20秒，展示了模型在处理复杂视觉信息时的效率。

（注：原文中包含一张展示笔记本文字的图像，建议访问原文查看。）

示例二：解决迷宫

另一个引人注目的示例是模型解决了一个迷宫问题。用户上传了一张迷宫图像，模型在1分44秒内完成了推理，不仅找出了正确路径，还用红线绘制了路径，生成了一张已解决的迷宫图像。这一过程涉及图像处理技术，如阈值处理和膨胀操作，体现了模型在复杂视觉任务中的能力。

（注：原文中包含迷宫及其解决路径的图像，建议访问原文查看。）

这些示例表明，o3和o4-mini能够处理多样化的视觉任务，从简单的文字识别到复杂的路径规划，为用户提供了强大的工具。

性能基准

为了评估o3和o4-mini的性能，OpenAI在多个视觉任务基准测试中将其与之前的模型GPT-4o和o1进行了对比。测试均在高“推理努力”设置下进行，以确保结果反映模型的最大潜力。以下是详细的性能数据：

关键观察

• 显著提升
  ：o3和o4-mini在所有测试中均超越了GPT-4o和o1，尤其在MathVista和V*基准测试中表现突出。
• V*基准的突破
  ：o3在V*基准测试中达到了96.3%的准确率，几乎完全解决了这一视觉搜索任务，标志着视觉推理技术的重大进步。
• 无浏览推理
  ：这些模型在不依赖外部浏览的情况下，通过图像思维实现了性能提升，展示了其内在推理能力的强大。

这些结果表明，o3和o4-mini在视觉推理任务中树立了新的行业标杆，为学术研究和实际应用提供了更强大的工具。

局限性与未来方向

尽管o3和o4-mini取得了令人瞩目的成就，但它们仍存在一些局限性，需要进一步改进：

未来计划

OpenAI表示，他们正在努力优化这些模型，以解决上述问题。具体计划包括：

• 简化推理过程
  ：减少冗余操作，使推理链更简洁高效。
• 提高准确性
  ：改进感知能力，减少错误，确保输出更可靠。
• 增强可靠性
  ：优化模型架构，确保多次推理结果一致。
• 多模态研究
  ：继续探索多模态推理技术，进一步提升模型在视觉、文本和其他数据类型上的综合能力。

这些改进将使o3和o4-mini在未来更广泛的应用场景中发挥作用，例如教育、科学研究和创意设计。

结论

OpenAI的o3和o4-mini模型通过图像思维开启了人工智能的新篇章。它们不仅能处理复杂的视觉任务，还能与多种工具结合，为用户提供多模态的智能体验。尽管存在一些局限性，OpenAI的持续研究和优化计划表明，未来的模型将更加高效和可靠。