微信扫码
与创始人交个朋友
我要投稿
昨天,微软发布了最新的轻量级大模型Phi-3 Mini,继Meta刚刚发布的Llama 3之后,为开源大模型的发展注入新的活力。
目前,Ollama已经可以下载Phi-3 Mini。下载完成后,可以运行和体验。
ollama pull phi3ollama run phi3
Phi-3 Mini的参数量为38亿,下载大约2.3GB,是Llama3 7B的一半。
技术特点与优势
Phi-3 Mini是微软Phi系列的新一代模型,采用高达3.3T tokens的训练数据,支持4K和128K上下文窗口,使其在处理长文本时更加得心应手。
在各大基准测试平台中,即便对比参数规模更大的Mixtral 8x7b和GPT-3.5,Phi-3 Mini在语言理解、编码、数学等方面的测试中展现了出色的整体性能。
实测与问题
我通过Ollama实际测试了一下,提了一个问题:“How to learn English for a grade 10 student in China”,并对比了Phi-3 Mini,Gemma 2B和Gemma 7B各自生成的答案。
Phi-3 Mini的回答质量与Gemma 7B相当,生成速度略快。
当前,Phi-3 Mini的主要问题是语言单一,主要针对美式英语进行训练。所以如果用在中文环境中,需要通过Prompt,让Phi-3 Mini用英文推理,并对问题和答案进行相应翻译。
微软还计划在未来几周内发布70亿参数的Phi-3 Small、140亿参数的Phi-3 Medium。
让我们期待Phi-3的7B和14B版本,在多语言支持上将会有更好表现。
探索应用场景
Phi-3 Mini的4bit量化版本,能够在iPhone 14手机上运行,每秒生成12个tokens数据,展现出轻量级大模型的巨大潜力。
我非常看好轻量级大模型,在手机和个人电脑上的应用前景。
基于本地轻量级大模型开发各种智能助手、原生AI应用,在终端上提供个性化的用户体验和高效的语言处理能力。
集成到办公、教育等应用软件中,提高文本编辑、数据分析和编程辅助的智能化水平,帮助用户学习语言和提供更好的互动体验。
结合个人电脑上的知识文档,通过轻量级大模型和检索增强生成技术,实现离线的本地知识库问答。
未来,轻量级大模型的性能一定会越来越好,将足以满足在手机等终端设备上运行和应用的需求!轻量级大模型不仅能为终端应用,提供本地化支持,也会成为终端设备上的基础组件。
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-08-18
当产品经理谈到用LLM Agent构建新一代智能体的时候,他们在说什么?
2024-08-15
对话AI教育从业者们:AI如何解决因材施教的难题?
2024-08-03
工业应用中的向量数据库与知识向量化存储方案
2024-07-25
两大深度学习框架TensorFlow与PyTorch对比
2024-07-17
让生成式 AI 触手可及:NVIDIA NIM on VKE 部署实践
2024-07-16
中文大模型基准测评2024上半年报告
2024-07-16
一文看懂人工智能的起源、发展、三次浪潮与未来趋势
2024-07-14
"自拍" 秒变 "证件照" 看Coze如何实现
2024-05-14
2024-04-26
2024-05-22
2024-04-12
2024-03-30
2024-07-18
2024-05-10
2024-08-13
2024-04-25
2024-04-26
2024-09-24
2024-09-23
2024-09-22
2024-09-22
2024-09-22
2024-09-21
2024-09-21
2024-09-20