【导读】微软研究院日前推出了轻量级人工智能模型 Microsoft Phi 的第三个迭代版本，新版本也就是 Phi-3 分成 3.8B、7B 和 14B 参数版本，名称分别是 Mini、Small 和 Medium。

来自Sebastien Bubeck，微软生成AI研究副总裁，领导了公司开发更有能力的小语言模型

01

Microsoft 凭借 Phi-3 Mini 加入了轻量级 LLM 竞赛，Phi-3 Mini 是一个专为设备性能而设计的 38 亿参数模型。Phi-3 在精选数据集上进行训练（与 GPT-4 相比，注重质量而非数量），其目标是资源受限的场景和低延迟应用程序。其训练数据集是 Phi-2 的扩展版本，包括经过严格过滤的网络数据和合成数据，确保稳健性、安全性和聊天格式优化。

小语言模型的优势

• 资源消耗少：小语言模型（SLMs）体积小，对计算资源的需求低，适合在资源受限的环境中使用。

• 易于部署：SLMs可以轻松地部署在本地设备上，而不需要依赖云服务。

• 隐私保护：由于数据在设备内部处理，SLMs有助于保护用户隐私。

• 快速响应：SLMs可以离线工作，减少与云端通信的延迟，提供即时反馈。

02

1. 微软Phi-3模型家族

微软最近宣布了Phi-3家族的开放模型，这是目前最有能力且成本效益最高的小语言模型。Phi-3模型在语言、编码和数学能力的各种基准测试中，超越了同等大小甚至更大一号的模型。

Phi-3-mini：拥有3.8亿参数，性能超过两倍于其大小的模型。

Phi-3-small（7亿参数）和Phi-3-medium（14亿参数）：即将在Azure AI Model Catalog和其他模型库中提供。

2. 训练方法的创新

微软研究人员采用了一种创新的训练方法，通过精心挑选的高质量数据来训练SLMs。他们首先创建了一个包含3000个单词的数据集，然后利用大型语言模型生成数百万个小故事，形成了“TinyStories”数据集。随后，他们使用这个数据集训练了小型语言模型，并取得了惊人的效果。

3. 数据选择的重要性

选择高质量的数据对于训练有效的SLMs至关重要。微软的研究人员通过筛选教育价值高、内容质量好的公开数据，进一步构建了“CodeTextbook”数据集。这种方法不仅提高了模型的性能，还减少了生成不当或不适当响应的风险。

02

SLMs特别适合于执行简单任务、需要快速响应、或者在资源受限的环境中运行的应用程序。例如，它们可以用于智能手机和其他移动设备，提供边缘计算能力，或者在没有网络连接的偏远地区提供AI服务。

微软的这一创新展示了AI领域的一个重要趋势：从单一的大型模型向多样化的模型组合转变，以满足不同用户和应用场景的需求。小语言模型的崛起，预示着AI技术将更加普及，更加贴近人们的日常生活。