微信扫码
添加专属顾问
我要投稿
来自Sebastien Bubeck,微软生成AI研究副总裁,领导了公司开发更有能力的小语言模型
01
资源消耗少:小语言模型(SLMs)体积小,对计算资源的需求低,适合在资源受限的环境中使用。
易于部署:SLMs可以轻松地部署在本地设备上,而不需要依赖云服务。
隐私保护:由于数据在设备内部处理,SLMs有助于保护用户隐私。
快速响应:SLMs可以离线工作,减少与云端通信的延迟,提供即时反馈。
02
微软最近宣布了Phi-3家族的开放模型,这是目前最有能力且成本效益最高的小语言模型。Phi-3模型在语言、编码和数学能力的各种基准测试中,超越了同等大小甚至更大一号的模型。
Phi-3-mini:拥有3.8亿参数,性能超过两倍于其大小的模型。
Phi-3-small(7亿参数)和Phi-3-medium(14亿参数):即将在Azure AI Model Catalog和其他模型库中提供。
微软研究人员采用了一种创新的训练方法,通过精心挑选的高质量数据来训练SLMs。他们首先创建了一个包含3000个单词的数据集,然后利用大型语言模型生成数百万个小故事,形成了“TinyStories”数据集。随后,他们使用这个数据集训练了小型语言模型,并取得了惊人的效果。
选择高质量的数据对于训练有效的SLMs至关重要。微软的研究人员通过筛选教育价值高、内容质量好的公开数据,进一步构建了“CodeTextbook”数据集。这种方法不仅提高了模型的性能,还减少了生成不当或不适当响应的风险。
02
SLMs特别适合于执行简单任务、需要快速响应、或者在资源受限的环境中运行的应用程序。例如,它们可以用于智能手机和其他移动设备,提供边缘计算能力,或者在没有网络连接的偏远地区提供AI服务。
微软的这一创新展示了AI领域的一个重要趋势:从单一的大型模型向多样化的模型组合转变,以满足不同用户和应用场景的需求。小语言模型的崛起,预示着AI技术将更加普及,更加贴近人们的日常生活。
53AI,企业落地大模型首选服务商
产品:场景落地咨询+大模型应用平台+行业解决方案
承诺:免费场景POC验证,效果验证后签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2025-02-01
2025-01-01
2024-08-13
2025-02-04
2024-07-25
2024-04-25
2024-06-13
2024-09-23
2024-04-26
2024-08-21
2025-03-17
2025-03-17
2025-03-17
2025-03-17
2025-03-17
2025-03-17
2025-03-16
2025-03-16