微软发布Phi-3 Mini：探索轻量级大模型的端侧应用

昨天，微软发布了最新的轻量级大模型Phi-3 Mini，继Meta刚刚发布的Llama 3之后，为开源大模型的发展注入新的活力。

目前，Ollama已经可以下载Phi-3 Mini。下载完成后，可以运行和体验。

ollama pull phi3ollama run phi3

Phi-3 Mini的参数量为38亿，下载大约2.3GB，是Llama3 7B的一半。

技术特点与优势

Phi-3 Mini是微软Phi系列的新一代模型，采用高达3.3T tokens的训练数据，支持4K和128K上下文窗口，使其在处理长文本时更加得心应手。

在各大基准测试平台中，即便对比参数规模更大的Mixtral 8x7b和GPT-3.5，Phi-3 Mini在语言理解、编码、数学等方面的测试中展现了出色的整体性能。

实测与问题

我通过Ollama实际测试了一下，提了一个问题：“How to learn English for a grade 10 student in China”，并对比了Phi-3 Mini，Gemma 2B和Gemma 7B各自生成的答案。

Phi-3 Mini的回答质量与Gemma 7B相当，生成速度略快。

当前，Phi-3 Mini的主要问题是语言单一，主要针对美式英语进行训练。所以如果用在中文环境中，需要通过Prompt，让Phi-3 Mini用英文推理，并对问题和答案进行相应翻译。

微软还计划在未来几周内发布70亿参数的Phi-3 Small、140亿参数的Phi-3 Medium。

让我们期待Phi-3的7B和14B版本，在多语言支持上将会有更好表现。

探索应用场景

Phi-3 Mini的4bit量化版本，能够在iPhone 14手机上运行，每秒生成12个tokens数据，展现出轻量级大模型的巨大潜力。

我非常看好轻量级大模型，在手机和个人电脑上的应用前景。

• 基于本地轻量级大模型开发各种智能助手、原生AI应用，在终端上提供个性化的用户体验和高效的语言处理能力。

• 集成到办公、教育等应用软件中，提高文本编辑、数据分析和编程辅助的智能化水平，帮助用户学习语言和提供更好的互动体验。

• 结合个人电脑上的知识文档，通过轻量级大模型和检索增强生成技术，实现离线的本地知识库问答。

未来，轻量级大模型的性能一定会越来越好，将足以满足在手机等终端设备上运行和应用的需求！轻量级大模型不仅能为终端应用，提供本地化支持，也会成为终端设备上的基础组件。