我要投稿

超越Llama3？移动端可用？微软刚推出轻量级模型Phi-3

发布日期：2024-04-25 22:18:17 浏览次数： 1734

Phi-3

刚才，微软推出轻量级人工智能（AI）模型的下一代，名为Phi-3，新系列包括38亿参数的Phi-3 Mini、70亿参数的Phi-3 Small和140亿参数的Phi-3 Medium。

这款新的38亿参数模型在使用的资源显著少于更大的语言模型的同时，改进了之前的Phi-2模型。据微软自己的基准测试，仅有38亿参数的Phi-3 Mini的性能超过了Meta的80亿参数Llama和OpenAI的35亿参数GPT-3。

由于体积较小，与较大模型相比，Phi-3系列更适用于低功耗设备。微软副总裁Boyd 表示，新模型能够直接在智能手机上进行高级自然语言处理。这使得Phi-3 Mini非常适合需要AI协助的新颖应用。

虽然Phi-3 Mini在其重量级别中表现优于竞争对手，但它无法与在互联网上训练的庞大模型的知识广度相匹敌。然而，Boyd 指出，较小的高质量模型往往表现更好，因为内部数据集的规模通常更有限。

“phi-3-mini，一款在3.3万亿个token上训练的38亿参数语言模型，其总体性能根据学术基准和内部测试，与诸如Mixtral 8x7B和GPT-3.5等模型相媲美（例如，phi-3-mini在MMLU上达到69%，在MT-bench上达到8.38），尽管其足够小，可以部署在手机上。

微软还提供了一些初步的参数缩放结果，与为4.8万亿token训练的7B和14B模型phi-3-small和phi-3-medium相比，这两者的能力都显著高于phi-3-mini（例如，分别在MMLU上达到75%和78%，在MT-bench上达到8.7和8.9）。”

2023年12月，微软发布了 Phi-2，其性能与 Llama 2 等更大的模型一样好。微软表示，Phi-3 的性能比之前的版本更好，并且可以提供接近于比其大 10 倍的模型的响应。

微软 Azure AI 平台公司副总裁 Eric Boyd 指出，Phi-3 Mini 与 GPT-3.5 等 LLM 一样强大，“只是更小”。

与常规的大语言模型相比，小型人工智能模型通常运行成本更低，并且在手机和笔记本电脑等个人设备上表现更好。据《The Information》今年早些时候报道，微软正在组建一个专门专注于轻量级人工智能模型的团队。与 Phi 一起，该公司还构建了 Orca-Math，一个专注于解决数学问题的模型。

微软的竞争对手也有自己的小型人工智能模型，其中大多数针对更简单的任务，例如文档摘要或辅助编程。Google 的 Gemma 2B 和 7B 非常适合简单的聊天机器人和语言相关的工作。Anthropic 的 Claude 3 Haiku 可以阅读带有图表的密集研究论文并快速总结它们，而 Meta 最近发布的 Llama 3 8B 可以用于一些聊天机器人和编程辅助。

Boyd 表示，开发人员通过“课程”对 Phi-3 进行了培训。他们的灵感来自于孩子们如何从睡前故事、单词更简单的书籍以及谈论更大主题的句子结构中学习。

“市面上没有足够的儿童读物，所以我们列出了 3,000 多个单词的清单，并要求大模型制作‘儿童读物’来教 Phi，”Boyd 说。

Phi-3 只是建立在之前迭代所学到的知识之上。Phi-1 专注于编程，Phi-2 开始学习推理，而 Phi-3 更擅长编程和推理。虽然 Phi-3 系列模型了解一些常识，但它无法在广度上击败 GPT-4 或其他 LLM — 从受过整个互联网培训的 LLM 获得的答案与从受过整个互联网培训的 LLM 获得的答案有很大差异。较小的模型，如 Phi-3。

微软发现，像 Phi-3 这样的较小模型更适合他们的定制应用程序，因为对于许多公司来说，他们的内部数据集无论如何都会较小。由于这些模型使用较少的计算能力，因此它们通常成本更低。

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

最强 GPT 免费使用！GPT4O 开启多模态新时代！

2024-05-14

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

2024-04-26

【开源看AI】4.9K star！Khoj：完美融合本地文档和在线网页的AI第二大脑

2024-05-22

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示

2024-04-12

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

2024-07-18

万字长文解析：大模型需要怎样的硬件算力

2024-03-30

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

2024-05-10

开源项目Composio：突破 AI 智能体开发的边界

2024-08-13

更改ollama模型存储路径

2024-04-25

全面对比dify、coze、streamlit、chainlit

2024-04-26

大家都在问

股份行积极布局大模型，哪些应用场景值得投入？

2024-09-24

传统到AI 大数据分析的演变，颠覆智慧水电的未来？

2024-09-23

为什么需要Agent?

2024-09-22

阿里巴巴发布Qwen2.5，对标GPT o1？

2024-09-22

深度解析：Apple Intelligence 真相揭秘 - 国行iPhone 16是否真的'阉割'?

2024-09-22

OpenAI o1的架构流程已被Claude破解了？

2024-09-21

从 Data 到 Data + AI，必然之路还是盲目跟风？

2024-09-21

疯狂星期四Qwen2.5开源，通义成了最Open的AI?

2024-09-20

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

Phi-3

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

最强 GPT 免费使用！GPT4O 开启多模态新时代！

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

【开源看AI】4.9K star！Khoj：完美融合本地文档和在线网页的AI第二大脑

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

万字长文解析：大模型需要怎样的硬件算力

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

开源项目Composio：突破 AI 智能体开发的边界

更改ollama模型存储路径

全面对比dify、coze、streamlit、chainlit

大家都在问

股份行积极布局大模型，哪些应用场景值得投入？

传统到AI 大数据分析的演变，颠覆智慧水电的未来？

为什么需要Agent?

阿里巴巴发布Qwen2.5，对标GPT o1？

深度解析：Apple Intelligence 真相揭秘 - 国行iPhone 16是否真的'阉割'?

OpenAI o1的架构流程已被Claude破解了？

从 Data 到 Data + AI，必然之路还是盲目跟风？

疯狂星期四Qwen2.5开源，通义成了最Open的AI?

热门标签

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

Phi-3

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

最强 GPT 免费使用！GPT4O 开启多模态新时代！

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

【开源看AI】4.9K star！Khoj：完美融合本地文档和在线网页的AI第二大脑

OLLama详细的 api 介绍 不完全指南 python 直接调用 OLLama api 翻译助手演示

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

万字长文解析：大模型需要怎样的硬件算力

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

开源项目Composio：突破 AI 智能体开发的边界

更改ollama模型存储路径

全面对比dify、coze、streamlit、chainlit

大家都在问

股份行积极布局大模型，哪些应用场景值得投入？

传统到AI 大数据分析的演变，颠覆智慧水电的未来？

为什么需要Agent?

阿里巴巴发布Qwen2.5，对标GPT o1？

深度解析：Apple Intelligence 真相揭秘 - 国行iPhone 16是否真的&#39;阉割&#39;?

OpenAI o1的架构流程已被Claude破解了？

从 Data 到 Data + AI，必然之路还是盲目跟风？

疯狂星期四Qwen2.5开源，通义成了最Open的AI?

热门标签

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示

深度解析：Apple Intelligence 真相揭秘 - 国行iPhone 16是否真的'阉割'?