Meta首席技术官对Llama 3.2的发布，做了两大亮点总结：

• 首个既能识别图像，又能理解文本的多模态模型。最重要的是，能够媲美闭源模型

• 超轻量1B/3B模型，解锁更多终端设备可能性

• 提示词和响应能够给人瞬间完成的感觉

• 应用程序可以清晰地控制哪些查询留在设备上，哪些可能需要由云端的更大模型处理

具体来说，该适配器：

• 由一系列交叉注意力层组成，负责将图像编码器的表示输入进大语言模型

• 通过在文本-图像对上的训练，实现图像表示与语言表征的对齐

通过利用剪枝（pruning）和蒸馏（distillation）这两种方法，Meta让全新的1B和3B模型，成为了首批能够高效地适应设备的、具有高能力的轻量级Llama模型。

• 剪枝能够减小Llama的规模，并尽可能地保留知识和性能

在此，Meta采用了从Llama 3.1 80亿参数模型进行单次结构化剪枝的方法。也就是，系统地移除网络的部分内容，并调整权重和梯度的幅度，从而创建一个更小、更高效的大语言模型，同时保留原始网络的性能。

完成剪枝之后，则需要使用知识蒸馏来恢复模型的性能。

• 知识蒸馏是让一个更大的网络给更小的网络传授知识

也就是，较小的模型可以借助教师模型的指导，获得比从头开始训练更好的性能。为此，Meta在预训练阶段融入了来自Llama 3.1 8B和70B模型的logits（模型输出的原始预测值），并将这些较大模型的输出则用作token级的目标。

1. Llama CLI：用于构建、配置和运行Llama Stack发行版

2. 多种语言的客户端代码：包括Python、Node.js、Kotlin和Swift

3. Docker容器：用于Llama Stack发行版服务器和AI智能体API供应商

4. 多种发行版：

• 单节点Llama Stack发行版：通过Meta内部实现和Ollama提供

• 云端Llama Stack发行版：通过AWS、Databricks、Fireworks和Together提供

• 设备端Llama Stack发行版：通过PyTorch ExecuTorch在iOS上实现

• 本地部署Llama Stack发行版：由Dell提供支持