我要投稿

MiniMax-01开源：新架构开启Agent时代

发布日期：2025-01-15 18:04:42 浏览次数： 1529 来源：MiniMax 稀宇科技

今天，MiniMax发布并开源了MiniMax-01全新系列模型，其中包含两个模型，基础语言大模型MiniMax-Text-01和视觉多模态大模型MiniMax-VL-01。

论文链接：https://filecdn.minimax.chat/_Arxiv_MiniMax_01_Report.pdf

全新模型架构、性能比肩GPT-4o

在 MiniMax-01系列模型中，我们做了大胆创新：首次大规模实现线性注意力机制，传统Transformer架构不再是唯一的选择。这个模型的参数量高达4560亿，其中单次激活459亿。模型综合性能比肩海外顶尖模型，同时能够高效处理全球最长400万token的上下文，是GPT-4o的32倍，Claude-3.5-Sonnet的20倍。

超长上下文、开启Agent时代

我们相信2025年会是Agent高速发展的一年，不管是单Agent的系统需要持续的记忆，还是多Agent的系统中Agent之间大量的相互通信，都需要越来越长的上下文。在这个模型中，我们走出了第一步，并希望使用这个架构持续建立复杂Agent所需的基础能力。

极致性价比、不断创新

受益于架构的创新、效率的优化、集群训推一体的设计以及我们内部大量并发算力复用，我们得以用业内最低的价格区间提供文本和多模态理解的API，标准定价是输入token 1元/百万token，输出token 8元/百万token。欢迎大家在MiniMax开放平台体验、使用。

MiniMax开放平台：

https://www.minimaxi.com/platform

MiniMax开放平台海外版：

https://www.minimaxi.com/en/platform

MiniMax-01系列模型在https://github.com/MiniMax-AI开源，后续也会持续更新。

基于业界主流的文本和多模态理解测评，结果如下图所示，我们在大多数任务上追平了海外公认最先进的两个模型，GPT-4o-1120以及Claude-3.5-Sonnet-1022。

在长文任务上，我们对比了之前长文最好的模型Google的Gemini。如图(c)所示，随着输入长度变长，MiniMax-Text-01是性能衰减最慢的模型，显著优于Google Gemini。

受益于我们的架构创新，我们的模型在处理长输入的时候有非常高的效率，接近线性复杂度。和其他全球顶尖模型的对比如下：

我们使用的结构如下，其中每8层中有7个是基于Lightning Attention的线性注意力，有1层是传统的SoftMax注意力。

这是业内第一次把线性注意力机制扩展到商用模型的级别，我们从Scaling Law、与MoE的结合、结构设计、训练优化和推理优化等层面做了综合的考虑。由于是业内第一次做如此大规模的以线性注意力为核心的模型，我们几乎重构了训练和推理系统，包括更高效的MoE All-to-all通讯优化、更长的序列的优化，以及推理层面线性注意力的高效Kernel实现。

在大部份的学术集上，我们都取得了比肩海外第一梯队的结果：

在长上下文的测评集上，我们显著领先：

在400万的Needle-In-A-Haystack（大海捞针）检索任务上全绿：

除了学术数据集，我们构建了一个基于真实数据的助手场景中的测试集。在这个场景中，MiniMax-Text-01的模型表现显著领先，具体的对比如下：

在多模态理解的测试集中，MiniMax-VL-01的模型也较为领先：

为方便开发者做更多的研究，我们开源了两个模型的完整权重，https://github.com/MiniMax-AI。这一系列模型的后续更新，包括代码和多模态相关的后续强化，我们会第一时间上传。

选择开源，一是因为我们认为这有可能启发更多长上下文的研究和应用，从而更快促进Agent时代的到来，二是开源也能促使我们努力做更多创新，更高质量地开展后续的模型研发工作。

除了开源和极高性价比的API之外，在海螺AI（国内APP以及网站hailuoai.com），以及海外网站（hailuo.ai）上都可以访问使用。

如有技术上的建议与合作，欢迎发邮件到 model@minimaxi.com 与我们交流。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

Ollama 本地运行大模型(LLM)完全指南

2024-07-25

太强了！10大开源大模型！

2024-05-06

开源项目Composio：突破 AI 智能体开发的边界

2024-08-13

Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人

2024-06-12

如何免费使用 Claude AI？Claude使用指南！

2024-07-11

全民进入GPT-4时代：OpenAI强势推出GPT-4o mini！彻底取代GPT-3.5！

2024-07-20

QWEN2.5开源上新，14B/32B回归实测：这就是最强单卡本地模型！

2024-09-20

中医大模型，开源！

2024-06-16

不同开源大模型对比及领域落地选型考虑 Qwen2 LLaMa3 GLM4等

2024-06-10

Graph Maker：轻松使用开源大模型将文本转为知识图谱，发现新知识！

2024-06-06

大家都在问

大模型的泡沫什么时候破灭？

2024-12-24

微软开源的 Markitdown 可将任意文件转换为 Markdown 格式，PDF 解析咋样？

2024-12-20

开源！轻量！AI 代码助手插件 Continue 使用体验如何？

2024-12-19

不可思议！AirLLM 如何让 70B 大模型在 4GB GPU 上顺利推理？

2024-11-22

从浏览器自动化到个人助手，Skyvern又悄悄占据了AI市场的一席之地？

2024-11-19

这家小公司的700 亿参数模型竟然比Open o1还强？

2024-11-13

Ollama 更新！本地跑 LLama3.2，轻量级+视觉能力，能媲美GPT-4o？

2024-11-13

NotebookLM+AI播客到底是什么神仙组合？

2024-10-07

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

Ollama 本地运行大模型(LLM)完全指南

太强了！10大开源大模型！

开源项目Composio：突破 AI 智能体开发的边界

Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人

如何免费使用 Claude AI？Claude使用指南！

全民进入GPT-4时代：OpenAI强势推出GPT-4o mini！彻底取代GPT-3.5！

QWEN2.5开源上新，14B/32B回归实测：这就是最强单卡本地模型！

中医大模型，开源！

不同开源大模型对比及领域落地选型考虑 Qwen2 LLaMa3 GLM4等

Graph Maker：轻松使用开源大模型将文本转为知识图谱，发现新知识！

大家都在问

大模型的泡沫什么时候破灭？

微软开源的 Markitdown 可将任意文件转换为 Markdown 格式，PDF 解析咋样？

开源！轻量！AI 代码助手插件 Continue 使用体验如何？

不可思议！AirLLM 如何让 70B 大模型在 4GB GPU 上顺利推理？

从浏览器自动化到个人助手，Skyvern又悄悄占据了AI市场的一席之地？

这家小公司的700 亿参数模型竟然比Open o1还强？

Ollama 更新！本地跑 LLama3.2，轻量级+视觉能力，能媲美GPT-4o？

NotebookLM+AI播客到底是什么神仙组合？

热门标签

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

Ollama 本地运行大模型(LLM)完全指南

太强了！10​大开源大模型！

开源项目Composio：突破 AI 智能体开发的边界

Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人

如何免费使用 Claude AI？Claude使用指南！

全民进入GPT-4时代：OpenAI强势推出GPT-4o mini！彻底取代GPT-3.5！

QWEN2.5开源上新，14B/32B回归实测：这就是最强单卡本地模型！

中医大模型 ，开源！

不同开源大模型对比及领域落地选型考虑 Qwen2 LLaMa3 GLM4等

Graph Maker：轻松使用开源大模型将文本转为知识图谱，发现新知识！

大家都在问

大模型的泡沫什么时候破灭？

微软开源的 Markitdown 可将任意文件转换为 Markdown 格式，PDF 解析咋样？

开源！轻量！AI 代码助手插件 Continue 使用体验如何？

不可思议！AirLLM 如何让 70B 大模型在 4GB GPU 上顺利推理？

从浏览器自动化到个人助手，Skyvern又悄悄占据了AI市场的一席之地？

这家小公司的700 亿参数模型竟然比Open o1还强？

Ollama 更新！本地跑 LLama3.2，轻量级+视觉能力，能媲美GPT-4o？

NotebookLM+AI播客到底是什么神仙组合？

热门标签

太强了！10大开源大模型！

中医大模型，开源！