粤ICP备17114055号
微信扫码
添加专属顾问
支持私有云部署
我要投稿
数学：在高中AIME数学竞赛中，o1-mini的得分为70.0%，与o1的74.4%具有竞争力，且成本明显更低，同时也优于o1-preview的44.6%。o1-mini的得分（约答对11/15道题）使其位列全美约前500名高中生。
编程：在Codeforces竞赛网站上，o1-mini的Elo评分为1650，接近o1的1673，并且高于o1-preview的1258。这个Elo评分将该模型排在Codeforces平台上约86%的程序员之上。o1-mini还在HumanEval编程基准测试以及高中级别的网络安全夺旗挑战赛（CTF）中表现出色。
STEM：在一些需要推理的学术基准测试中，如GPQA（科学）和MATH-500，o1-mini的表现优于GPT-4o。然而，在诸如MMLU的任务上，o1-mini表现不如GPT-4o，并且由于缺乏广泛的世界知识，o1-mini在GPQA上的表现也落后于o1-preview。
人类偏好评估：我们让人工评估员在多个领域的复杂、开放式提示下对o1-mini和GPT-4o进行比较，采用与o1-preview对比GPT-4o相同的方法。与o1-preview相似，o1-mini在需要大量推理的领域中更受青睐，但在语言集中的领域中，GPT-4o更受偏好。
53AI，企业落地大模型首选服务商
产品：场景落地咨询+大模型应用平台+行业解决方案
承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2025-03-10
基于 Apple Silicon 架构的Mac部署DeepSeek-R1-671B 模型本地化指南
2025-03-10
RoostGPT：改变了自动化软件测试的游戏规则
2025-03-09
8分钟打造一个DeepSeek API智能测试引擎：当咖啡还没凉，测试报告已出炉
2025-03-09
lceberg 助力 B 站商业化模型样本行级更新的实践
2025-03-09
单卡4090微调DeepSeek-R1-32B
2025-03-08
QwQ总结能力测评，32b小模型真能超过deepseek吗
2025-03-08
为什么vLLM做不到？解密Ollama越级部署黑科技：以DeepSeek-R1-8B为例
2025-03-07
为什么Manus底层模型没用DeepSeek？——Manus六问六答
2025-02-04
2025-02-04
2024-09-18
2024-07-11
2024-07-09
2024-07-11
2024-07-26
2025-02-05
2025-01-27
2025-02-01
回到顶部