我要投稿

小模型界o1来了：微软推出Phi-4，数学推理能力太逆天！14B模型击败GPT-4o！还印证了AI墙的一个重要推断

发布日期：2024-12-13 18:54:16 浏览次数： 1540 来源：51CTO技术栈

编辑 | 伊风

家人们，微软Phi-4的数学能力太逆天了。谁看了不感慨一句：小模型才是未来！

8个月前，微软发布了Phi-3，性能超过庞然大物Llama-3，狠狠惊艳了我们一把。

8个月后，Phi-4飞跃式突破，让所有人知道谁才是小模型唯一的王！

自几个月前o1发布后，模型“搞定”数理化的能力已经飞升到博士级别，大模型也纷纷在推理能力上进行追赶。

而Phi-4祭出了小模型的王炸，14B小小模型，在数学推理上竟然反超多模态大模型Gemini Pro 1.5 两分之多！

在「AI撞墙」被热烈讨论的一天，微软另辟蹊径，似乎告诉AI公司：别再傻傻地Scaling了！

14B小模型，也能懂数学推理！

Phi-4确实可以进行思维推理！

在微软给的案例中，Phi-4在解题过程中展现了清晰的推理链条，成功解决了蜗牛难题！

问题：在一场由 5 只蜗牛参加的比赛中，最多可能出现一场平局，但平局可以涉及任意数量的蜗牛。例如，比赛结果可能是 Dazzler 获得第一名，Abby、Cyrus 和 Elroy 并列第二，Bruna 获得第五名。那么，比赛的可能结果总共有多少种？

Phi-4根据题干，先计算了没有平局出现的情况，为120种。

然后在有一场平局的情况中，继续按照“选择 k 只蜗牛组成平局组”的思路分解问题，最终得出了正确回答。

这一能力表明，Phi-4在科学研究、工程和金融建模等领域未来可期！

也让我们对端侧模型的未来更加期待了！对于许多应用来说，这种针对性的卓越性能比大型模型的广泛但较低效的能力更有价值得多。

模型访问：azure独家首发，下周登陆抱抱脸

比较可惜的是，Phi-4目前的可用性有限。

独家首发在了微软自家的Azure AI Foundry上使用，更多的面向科研用途。地址：

https://ai.azure.com/explore/models?&selectedCollection=phi

不过，按照计划下周会在Hugging Face平台上线。

这也算是微软在用Phi-4这张王牌，给Azure AI Foundry“引流”了。

Azure AI Foundry在去年推出，作为一个集中管理的中心，旨在帮助企业级用户管理项目、微调AI模型，并访问Azure AI服务。

在Phi-4技术报告中，还提到了该平台独特的内容安全功能。主要包括：

Prompt Shields（提示保护）：帮助应对潜在的提示攻击。
受保护内容检测：识别敏感或受限制的材料。
Groundedness Detection（扎实性检测）：确保生成内容有据可依。

AI墙绝不是危言耸听：已逼近预训练数据墙！

在Phi-4的报告中，Phi系列在性能上的“极致一跃”，被归功于合成数据和后期训练的提高和改进。

“在数学推理方面，Phi-4 的表现优于同类和更大型的模型，这得益于整个流程的进步，包括高质量合成数据集的使用、高质量有机数据的整理以及后期训练的创新。”

Phi展现了模型界的一种趋势，也反映着预训练的尴尬之处：大规模的预训练，通常需要海量的数据和计算资源。随着硬件能力的提升和模型规模的扩大，虽然模型性能逐渐增强，但增益的边际效应越来越小，即每次训练的优化效果趋于减弱。

Scale AI 首席执行官Alexandr Wang周四在一条推文中说："我们已经达到了预训练数据墙。"

国内则更早展现了这个趋势的“风声”。此前报道，国内大模型“六小虎”中至少有两家公司已经放弃了预训练，开始专注于AI应用层。

AI公司越来越认识到，预训练的烧钱带来的价值在走低，尤其是在硬件资源有限的情况下，开发大规模预训练模型可能难以为继。不如守好自己的用户，通过灵活的后期训练和反馈迭代，扎实地做好AI产品的落地。

另外，还有一个小插曲，Phi-4是微软Phi系列核心人物布贝克（Sébastien Bubeck），被OpenAI挖走后的首次更新！

在 2024 年加入 OpenAI 之前，Bubeck 在微软研究院工作了近十年，离职前为微软的人工智能副总裁。

OpenAI犯了大公司病

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

一文带你了解大模型——智能体（Agent）

2024-05-28

全面对比dify、coze、streamlit、chainlit

2024-04-26

本地部署大模型？看这篇就够了，Ollama 部署和实战

2024-08-13

Cursor 一个真正让程序员产生危机感的 AI 编程工具

2024-08-21

【深度】AI搜索产品深度分析-搜索原理和商业模式分析

2024-07-09

“大数据+”医疗

2024-04-11

Claude中国官网正式上线！1:1还原官网，非套壳，国内直连

2024-07-18

50+个AI大模型在不同领域的应用案例

2024-08-04

一文读懂大模型推理必备技术：KV Cache

2024-07-01

哈工大“风筝”航天知识大模型开放测试

2024-10-25

大家都在问

从大数据到大模型：如何做到“心无桎梏，身无藩篱”？

2024-12-06

为什么 AI 需要一次 Web 2.0 式的革命？

2024-12-03

为什么说大模型无法取代AI Agent ？

2024-12-01

新AI时代，卷王周鸿祎发布纳米搜索：AI搜索，一切皆可视频，克隆数字人，整合豆包等16款大模型优势，要做AI工具届瑞士军刀？

2024-11-29

大语言模型代理能否模拟人类的信任行为？

2024-11-26

AI Agent将给软件工程带来哪些新机遇与挑战？

2024-11-25

为什么大模型连"Strawberry"的"r"都数不对？

2024-11-21

数据库 + 大模型，DBA初级变高级？

2024-11-18

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制