Llama 4首测：Mac狂飙2万亿，多模态惊艳代码翻车！

Meta今天凌晨发布的Llama 4系列模型代表了AI领域的重大突破，首次采用混合专家(MoE)架构并原生支持多模态能力，为开源模型社区带来新的发展方向。本报告深入分析了Llama 4的三款模型规格、在苹果Silicon芯片上的性能表现、成本效益优势、本地部署可能性以及其代码生成能力的短板。值得注意的是，首批测试数据显示，三台M3 Ultra Mac可协同运行参数量达2万亿的Llama 4 Behemoth模型，这一突破性进展或将重新定义个人算力与企业级AI的边界。

Llama 4系列：MoE架构开启原生多模态新时代 

Llama 4系列模型标志着Meta对Llama系列的彻底重新设计，不再是Llama 3那样的纯文本模型，而是原生支持多模态并采用混合专家(MoE)架构的全新模型家族。Meta此次发布了三款不同定位的模型，分别针对不同的应用场景和性能需求。

Llama 4 Scout：精巧高效的入门级模型

Llama 4 Scout被定位为"性能最强的小尺寸模型"，拥有17B激活参数和16个专家模型，总参数量达109B。其最显著的特点是处理速度极快，能够在单张H100 GPU上运行（经Int4量化后），同时保持原生多模态支持能力。Scout模型拥有业界领先的1000万+Token多模态上下文窗口，理论上能够处理长达20多个小时的视频内容，为长文本和长视频分析提供了强大支持。

Llama 4 Maverick：主力多模态通用模型

作为Llama 4系列的主力模型，Maverick定位为"同级别中最佳的多模态模型"。该模型同样拥有17B激活参数，但配备了128个专家模型，总参数量达400B，上下文窗口可达100万+Token。根据搜索结果，Maverick在多个主流基准测试中的表现超越了GPT-4o和Gemini 2.0 Flash，其推理和编码能力与新近发布的DeepSeek v3相当，但激活参数量仅为后者的一半左右。值得注意的是，其实验性聊天版本在LMArena上的ELO评分达到了1417，位居第二，显示出极强的性价比优势。

Llama 4 Behemoth：2万亿参数的巨型模型

Behemoth是Meta迄今为止最强大的模型，也是全球顶级LLM之一，目前仍处于预览和训练阶段。这款"巨兽"模型配备了288B激活参数和16个专家模型，总参数量高达惊人的2万亿(2T)。根据Meta公布的信息，Behemoth在多个STEM基准测试上的表现优于GPT-4.5、Claude Sonnet 3.7和Gemini 2.0 Pro。训练过程使用FP8精度，在32000块GPU上处理了超过30万亿多模态Token。值得一提的是，Behemoth还作为Maverick模型的"教师模型"，用于代码蒸馏过程。由于模型能力极强，Meta在训练过程中需要裁剪高达95%的SFT数据，而小模型只需裁剪约50%。

MoE架构：Llama系列的革命性转变

Llama 4系列最重要的技术突破在于采用了混合专家(MoE)架构，这是Llama系列首次引入此架构。在MoE模型中，单个token只会激活模型全部参数中的一小部分，大幅提高了计算效率。以Llama 4 Maverick为例，其4000亿个总参数中只有170亿个会被同时激活。

为了进一步提高推理效率，Meta在模型设计中交替使用了稠密层和MoE层。MoE层中包含128个路由专家和一个共享专家，每个token都会被送到共享专家，同时也会被分配到128个路由专家中的一个。这种设计确保在模型运行时只有部分参数被激活，显著提升了推理效率，同时降低了模型服务的成本和延迟。

原生多模态能力：无缝整合文本与视觉

Llama 4的另一个重要特性是其原生多模态设计。Meta采用了早期融合技术，能够将文本和视觉token无缝整合到统一的模型框架中。这使得模型可以使用海量的无标签文本、图片和视频数据进行联合预训练。

为了提升多模态处理能力，Meta还升级了Llama 4的视觉编码器。这一新编码器基于MetaCLIP，在训练时与一个冻结的Llama模型分开进行，以便更好地调整编码器，使其更适合大语言模型(LLM)的需求。

MoE模型与苹果芯片：天作之合的高效组合 

苹果ML工程师实测：M3 Ultra展现惊人性能

根据苹果ML工程师Awni Hannun的首批测试结果，Llama 4 Maverick在单台配备512GB内存的M3 Ultra上使用MLX推理框架时，推理速度达到了惊人的50 token/秒。这一性能表现令人印象深刻，特别是考虑到这是在个人计算设备上运行超过400B参数的大模型。

相比之下，M3 Ultra Mac Studio运行DeepSeek 671B 4bit量化版模型时，在MLX框架下可达到19.17 tokens/s的速度。这表明Llama 4 Maverick尽管总参数量接近400B，但由于其MoE架构的高效性，在相同硬件上能够获得更高的推理速度。

稀疏MoE模型与Apple Silicon的协同优势

MoE模型与Apple Silicon芯片的结合被称为"天作之合"，这主要源于两者在设计理念上的契合。MoE架构的核心优势在于其参数稀疏激活特性，而Apple Silicon的统一内存架构则为大规模但稀疏的计算提供了理想的运行环境。

稀疏MoE模型在Mac Studio上表现出色，主要有以下几个原因：

1. 统一内存架构优势：Apple Silicon采用统一内存架构，CPU和GPU共享同一内存池，避免了传统架构中CPU和GPU之间的数据传输开销。对于稀疏激活的MoE模型，这种架构能够更高效地管理只需激活部分参数的计算模式。
2. 内存带宽与稀疏计算的匹配：虽然Apple Silicon的内存带宽（约800GB/s）低于专业GPU（如H100的3TB/s或MI300X的5.3TB/s），但MoE模型因其稀疏性质，对内存带宽的需求相对较低。在Llama 4 Maverick中，每次只有约4.25%的参数（17B/400B）被激活，大大减轻了内存带宽压力。
3. MLX框架优化：苹果专门为Apple Silicon芯片优化的MLX框架能够充分利用芯片的统一内存架构和神经网络引擎，进一步提升MoE模型的运行效率。

这种稀疏计算与统一内存架构的结合，使得个人消费级产品首次能够运行参数量达数千亿的大型AI模型，为AI的普及和个人化应用开辟了新的可能性。

成本效益分析：苹果Silicon的独特优势 

内存成本：Silicon平台的决定性优势

在大型AI模型部署中，内存往往是最关键的资源瓶颈和成本因素。苹果Silicon平台在这方面展现出显著的成本效益优势，主要体现在每GB内存的价格上：

• NVIDIA H100：80GB内存，带宽3TB/s，售价约312.50
• AMD MI300X：192GB内存，带宽5.3TB/s，售价约104.17
• Apple M3 Ultra：512GB统一内存，带宽800GB/s，售价约18.55

从上述数据可以看出，Apple M3 Ultra的每GB内存成本仅为H100的约1/17，MI300X的约1/6。这种巨大的成本差异主要源于苹果统一内存架构的设计选择——使用常规LPDDR内存而非专用的HBM显存。

部署超大模型的成本对比

以Llama 4 Behemoth这一2万亿参数的巨型模型为例，我们可以计算在不同平台上完整部署该模型(fp16精度)的硬件成本：

• NVIDIA H100方案：需要约50块H100卡，总成本约125万美元
• AMD MI300X方案：需要约21块MI300X卡，总成本约42万美元
• Apple M3 Ultra方案：需要约8台512GB的M3 Ultra，总成本约7.6万美元

即使考虑到带宽差异可能导致的性能损失，Apple Silicon方案在纯成本角度仍然具有压倒性优势。而对于Llama 4采用的MoE架构模型，内存带宽并非主要瓶颈，进一步突显了苹果方案的性价比。

稀疏度与内存刷新率的关系

稀疏MoE模型对Apple Silicon特别友好的另一个原因是，这类模型对内存刷新率的要求相对较低。由于在计算过程中只需访问部分参数，内存访问模式更加局部化，减轻了对高刷新率的依赖。

Llama 4 Maverick的稀疏度最高（激活参数仅占总参数的约4%），因此是最适合Apple Silicon的模型。相比之下，Llama 4 Scout（激活比例约16%）和Behemoth（激活比例约14%）的稀疏度较低，对内存系统的压力相对更大。

本地部署的革命：Llama 4重新定义AI可及性 

MLX框架：释放Apple Silicon潜能的关键

苹果的MLX推理框架是实现Llama 4模型在Mac上高效运行的关键技术。MLX专为Apple Silicon芯片优化，能够充分利用其统一内存架构和神经网络引擎。根据搜索结果，使用MLX框架在M3 Ultra上运行DeepSeek 671B模型时，可以达到19.17 tokens/s的速度，比使用GGUF框架的15.78 tokens/s快约21.5%。

不同规模模型的最小部署配置

以下是部署Llama 4各模型的最小硬件配置要求（假设使用4-bit量化）：

1. Llama 4 Scout (109B参数)：

• 最小配置：64GB内存的M4 Max
• 估计存储需求：约14GB（4-bit量化后）
• 预期推理速度：30-40 tokens/s

• Llama 4 Maverick (400B参数)：
• 最小配置：256GB内存的M3 Ultra
• 估计存储需求：约50GB（4-bit量化后）
• 预期推理速度：20-25 tokens/s
• Llama 4 Behemoth (2T参数)：
• 需要：3台512GB内存的M3 Ultra协同工作
• 估计存储需求：约250GB（4-bit量化后）
• 预期推理速度：5-10 tokens/s

这些配置和性能估计表明，即使是个人用户也有可能在本地部署和运行大型AI模型，这在以前是只有大型研究机构和科技公司才能实现的。特别是Scout和Maverick模型，可以在高配置但仍属个人可负担范围的Mac设备上运行，为AI的个人化应用开辟了新的可能性。



多机协同运行Behemoth：前所未有的本地部署

特别值得关注的是，3台512GB的M3 Ultra Mac协同工作可以运行参数量达2万亿的Llama 4 Behemoth模型。这一突破性进展意味着，理论上一个小型团队或高端个人用户可以在本地部署运行世界上最强大的AI模型之一，而无需依赖云服务或超算中心。

这种部署方式需要特殊的分布式推理框架支持，可能会涉及模型并行和张量并行等技术。虽然协同工作可能会引入一些通信开销，导致整体推理速度有所降低，但与传统的50块H100方案相比，仍然具有压倒性的成本优势和部署便利性。

能力评估：Llama 4的惊艳表现与代码生成短板 

多模态理解能力的突破

Llama 4系列在多模态理解能力上取得了显著突破。其原生多模态设计使得模型能够同时处理文本、图像和视频内容，并在这些模态之间建立深层次的语义关联。

特别是Maverick模型，在图像精准理解和创意写作方面表现突出，适合通用助手和聊天类应用。这种多模态能力的提升使Llama 4能够胜任更加复杂的任务，如视觉问答、图像描述、视频内容分析等。

Llama 4的一大亮点是超长上下文窗口——Scout支持1000万+Token，Maverick支持100万+Token。这意味着模型能够处理长达数小时的视频内容或数百页的文档，并保持对整体上下文的理解，大大拓展了AI助手的应用场景。

代码生成能力的短板

尽管Llama 4在多模态理解和常规文本生成方面表现出色，但在代码生成能力上却存在明显短板。根据用户提供的信息，Llama 4在代码生成测试中"翻车"，无法与专注于代码能力的模型相抗衡。

这一短板可能源于以下几个因素：

1. 训练数据偏重：相比于Llama 3，Llama 4可能在训练数据构成上更偏重多模态内容，而相对减少了代码数据的比例。
2. 资源分配权衡：为了增强多模态能力，模型可能在代码理解和生成能力上做了资源分配的权衡。
3. MoE架构的影响：MoE架构虽然提高了整体效率，但对于严格结构化的代码生成任务，可能未能形成像传统稠密模型那样的专一能力。

值得注意的是，Meta在发布信息中提到了正在开发中的Llama 4 Reasoning模型，这可能是针对代码生成等推理任务的专门优化版本。

再来看看Llama 4写代码的实战案例。

网友Deedy宣布Llama 4 Maverick——Python六边形测试失败。Python六边形测试可以说是每个新发布大模型的「试金石」了。




小扎是完全放弃AI编程了吗？

下面展示了其他模型在Python六边形测试弹跳小球上的结果，来自Github的KCORES团队, 没有对比就没有伤害啊。



与竞品模型的整体对比

在整体性能方面，Llama 4 Maverick已在LMArena上的ELO评分达到1417，排名第二，显示出极强的综合能力。但在专项任务上，仍存在一些差距：

• 多模态理解：优于多数现有模型，但与GPT-4o和Gemini 1.5 Pro仍有一定差距
• 推理能力：与DeepSeek v3相当，但可能不及Claude系列
• 代码生成：明显弱于专注于代码的模型如DeepSeek-Coder和CodeLlama


下周：Llama 4与Qwen3的潜在竞争 

Qwen3即将发布：行业竞争加剧

据报道，阿里巴巴的Qwen3模型将于下周发布，这将进一步加剧大型语言模型领域的竞争。Qwen2已经展现出优秀的性能，特别是在中文环境和理解能力上，Qwen3有望进一步提升这些优势。

Qwen3与Llama 4的潜在竞争点主要集中在以下几个方面：

1. 中文能力：Qwen系列一直在中文理解和生成上具有优势，而Llama系列虽然支持多语言，但在中文深度理解上可能仍有提升空间。
2. 模型架构：如果Qwen3同样采用MoE架构，两者将在架构上形成直接竞争，性能差异将主要体现在训练数据质量和训练方法上。
3. 多模态能力：Llama 4的原生多模态设计是其重要优势，Qwen3是否能在这方面赶上或超越将是关键。
4. 开源策略：Llama 4采用了一定限制的许可证模式，而Qwen2采用了更开放的许可策略，这可能影响两个模型的生态发展。

开源模型的发展趋势

从Llama 4和即将发布的Qwen3来看，开源或部分开源模型的发展正呈现以下趋势：

1. MoE架构成主流：稀疏激活的MoE模型可能成为下一代大型语言模型的主流架构，在保持性能的同时大幅提高计算效率。
2. 原生多模态：未来的模型将不再是单独的文本模型附加视觉组件，而是从设计之初就考虑多模态融合。
3. 个人设备部署：随着模型架构的优化和个人设备算力的提升，在个人计算设备上部署大型AI模型将成为可能，彻底改变AI应用的部署模式。
4. 专业化分支：如Meta提到的Llama 4 Reasoning，未来大型模型可能会有更多针对特定任务优化的专业化分支。

总结 

Llama 4系列的发布代表了大语言模型发展的重要里程碑，其MoE架构和原生多模态设计开创了新的技术路线。特别值得关注的是，Llama 4与Apple Silicon的结合展现出惊人的效率和成本优势，使得在个人设备上部署超大规模AI模型成为可能。虽然在代码生成等特定任务上还有提升空间，但Llama 4的整体表现和创新架构已经为开源AI模型树立了新的标杆。

随着Qwen3等竞争模型的陆续发布，我们有理由期待开源AI模型领域的进一步繁荣发展，以及更多创新应用场景的出现。Llama 4真正实现了"让AI回归个人"的愿景，为AI民主化迈出了实质性的一步。

最后，我想优秀的你一定也想持续获取前沿研究，不妨点一下关注。