我要投稿

o1圈杀疯了，阿里又开源Marco-o1

发布日期：2024-11-23 10:18:56 浏览次数： 1537 来源：PaperAgent

自OpenAI o1发布后引发了大型推理模型（LRM）研究热潮，这不，阿里又开源了Marco-o1。

Marco-o1更加重视开放式问题的解决，目标是解决这个问题：“o1模型能否有效地推广到缺乏明确标准且奖励难以量化的更广泛领域？”

Marco-o1由链式思考（CoT）微调、蒙特卡洛树搜索（MCTS）、反射机制和创新的推理策略驱动——针对复杂的现实世界问题任务进行了优化。

经典的草莓（strawberry）问题，轻松拿下

在MGSM上Marco-o1准确性得到了提升

通过MCTS扩展解决方案空间

将蒙特卡洛树搜索（Monte Carlo Tree Search, MCTS）与大型语言模型（LLMs）集成，以增强Marco-o1模型的推理能力：

Marco-o1整体框架

MCTS框架中的节点和动作：

在MCTS框架中，每个节点代表问题解决过程中的一个推理状态。
从节点可能的动作是由LLM生成的输出，这些输出代表推理链中的潜在步骤或微步骤。

展开和奖励计算：

在展开阶段，LLM继续推理过程直到达到一个终端状态。
通过计算每个状态的值来引导MCTS，这个值是通过计算信心分数得到的。

信心分数的计算：

对于在展开过程中生成的每个标记（token），通过将softmax函数应用于该标记的对数概率以及前5个替代标记的对数概率来计算其信心分数。
信心分数反映了所选标记相对于其他顶部选择的概率，有效地将分数标准化在0和1之间。

整体奖励分数：

在获得展开序列中所有标记的信心分数后，通过计算所有标记的平均信心分数来得出整体奖励分数。
这个平均值作为奖励信号，评估在展开期间采取的推理路径的质量。更高的整体奖励分数表示更有信心且可能更准确的推理路径。

解决方案空间的扩展：

通过这种方法，有效地扩展了解决方案空间，允许模型探索大量的推理路径，并根据计算出的信心分数选择最可能的路径。

实验结论与case分析

实验结果表明，Marco-o1模型在不同语言和配置下提高了推理能力。
由于使用信心分数作为奖励，树搜索结果表现出显著的随机性，目前还无法确定哪种行动策略更优越。
随着奖励信号变得更加准确，MCTS提供的更大解决方案空间将展示出更大的潜力。

数学推理case分析

MCTS扩展了正确答案的解决方案空间。在MGSM数据集上，Marco-o1-CoT（左）与Marco-o1-MCTS（步）（右）的比较。尽管Marco-o1-CoT未能提供正确答案，但将MCTS与步级动作集成允许模型探索更广泛的解决方案空间，增加了找到正确解决方案的可能性。

更细的粒度与微步增强了问题解决能力。在MGSM数据集上，Marco-o1-MCTS（步）（左）与Marco-o1-MCTS（32个标记的微步）（右）的比较。步级动作策略没有得出正确答案，但通过使用更细粒度的32个标记的微步，模型成功地导航了解决方案空间以找到正确答案，展示了增加动作粒度的有效性。

翻译任务case分析

俚语表达“它如此美丽以至于令人着迷，上部有明显的韩式风格，柔软蓬松的材质厚度恰到好处，并且有底层的衬托，创造出独特且适合日常穿着的装扮”的翻译比较。

俚语表达“它如此美丽！而且它如此便宜，超级直且不卷曲。买它，买它！”的翻译比较。

使用Marco-o1翻译任务演示俚语表达“这双鞋鞋底舒适，强烈推荐购买”。

https://arxiv.org/pdf/2411.14405Marco-o1: Towards Open Reasoning Models for Open-Ended Solutionshttps://huggingface.co/AIDC-AI/Marco-o1

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

太强了！10大开源大模型！

2024-05-06

Ollama 本地运行大模型(LLM)完全指南

2024-07-25

开源项目Composio：突破 AI 智能体开发的边界

2024-08-13

Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人

2024-06-12

如何免费使用 Claude AI？Claude使用指南！

2024-07-11

中医大模型，开源！

2024-06-16

全民进入GPT-4时代：OpenAI强势推出GPT-4o mini！彻底取代GPT-3.5！

2024-07-20

开源医疗大模型Llama3-Aloe-8B-Alpha，性能超越 MedAlpaca 和 PMC-LLaMA

2024-06-15

教你使用Ollama在本地跑Llama3.1

2024-07-25

Llama 3.1 - 405B、70B 和 8B 的多语言与长上下文能力解析

2024-07-25

大家都在问

不可思议！AirLLM 如何让 70B 大模型在 4GB GPU 上顺利推理？

2024-11-22

从浏览器自动化到个人助手，Skyvern又悄悄占据了AI市场的一席之地？

2024-11-19

这家小公司的700 亿参数模型竟然比Open o1还强？

2024-11-13

Ollama 更新！本地跑 LLama3.2，轻量级+视觉能力，能媲美GPT-4o？

2024-11-13

NotebookLM+AI播客到底是什么神仙组合？

2024-10-07

阿里巴巴发布Qwen2.5，对标GPT o1？

2024-09-22

疯狂星期四Qwen2.5开源，通义成了最Open的AI?

2024-09-20

疯狂24h后，openai o1有哪些新的秘密？

2024-09-14

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

太强了！10大开源大模型！

Ollama 本地运行大模型(LLM)完全指南

开源项目Composio：突破 AI 智能体开发的边界

Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人

如何免费使用 Claude AI？Claude使用指南！

中医大模型，开源！

全民进入GPT-4时代：OpenAI强势推出GPT-4o mini！彻底取代GPT-3.5！

开源医疗大模型Llama3-Aloe-8B-Alpha，性能超越 MedAlpaca 和 PMC-LLaMA

教你使用Ollama在本地跑Llama3.1

Llama 3.1 - 405B、70B 和 8B 的多语言与长上下文能力解析

大家都在问

不可思议！AirLLM 如何让 70B 大模型在 4GB GPU 上顺利推理？

从浏览器自动化到个人助手，Skyvern又悄悄占据了AI市场的一席之地？

这家小公司的700 亿参数模型竟然比Open o1还强？

Ollama 更新！本地跑 LLama3.2，轻量级+视觉能力，能媲美GPT-4o？

NotebookLM+AI播客到底是什么神仙组合？

阿里巴巴发布Qwen2.5，对标GPT o1？

疯狂星期四Qwen2.5开源，通义成了最Open的AI?

疯狂24h后，openai o1有哪些新的秘密？

热门标签

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

太强了！10​大开源大模型！

Ollama 本地运行大模型(LLM)完全指南

开源项目Composio：突破 AI 智能体开发的边界

Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人

如何免费使用 Claude AI？Claude使用指南！

中医大模型 ，开源！

全民进入GPT-4时代：OpenAI强势推出GPT-4o mini！彻底取代GPT-3.5！

开源医疗大模型Llama3-Aloe-8B-Alpha，性能超越 MedAlpaca 和 PMC-LLaMA

教你使用Ollama在本地跑Llama3.1

Llama 3.1 - 405B、70B 和 8B 的多语言与长上下文能力解析

大家都在问

不可思议！AirLLM 如何让 70B 大模型在 4GB GPU 上顺利推理？

从浏览器自动化到个人助手，Skyvern又悄悄占据了AI市场的一席之地？

这家小公司的700 亿参数模型竟然比Open o1还强？

Ollama 更新！本地跑 LLama3.2，轻量级+视觉能力，能媲美GPT-4o？

NotebookLM+AI播客到底是什么神仙组合？

阿里巴巴发布Qwen2.5，对标GPT o1？

疯狂星期四Qwen2.5开源，通义成了最Open的AI?

疯狂24h后，openai o1有哪些新的秘密？

热门标签

太强了！10大开源大模型！

中医大模型，开源！