AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


微软Phi-3.5-Mini-Instruct全参微调中文版来啦
发布日期:2024-08-24 09:17:29 浏览次数: 1675


Phi-3.5-Mini-Instruct-Chinese

简介

8月21日,微软发布了Phi-3.5-mini-instruct模型。

Phi-3.5-mini-instruct是Phi-3模型家族的最新成员,专为高效、先进的自然语言处理任务而设计。该模型具有 38 亿个参数,基于Phi-3 的数据集(合成数据和经过筛选的公开网站)构建,重点关注高质量、推理密集的数据。该模型属于 Phi-3 模型系列,支持 128K 令牌上下文长度。经过了严格的增强过程,结合了监督微调、近端策略优化和直接偏好优化,以确保精确遵守指令和强大的安全措施。

Phi-3.5 mini 在中文场景有所增强,但是受限于模型的大小,依然会有较多的事实错误。为了更好地适应中文场景,OpenCSG社区对Phi-3.5-mini-instruct模型进行了全参数微调,推出了中文版。这一版本基于大量中文语料,进行了深度优化,以提升模型在中文自然语言处理任务中的表现。经过微调的中文版在语义理解、上下文关联和文本生成的质量上均有显著提升,能够更好地满足中文用户在各种应用场景中的需求。

推理效果

与原始的instruct版类似,模型对中文内容理解的更加准确,输出的内容也更偏向中文,并且确保了问答性能与用户体验的优化。

经过中文微调的模型在各种应用场景中的需求,如语义理解、上下文关联和文本生成等方面有显著提升。以上对比测试显示,Phi-3.5 Mini Instruct 中文版在中文自然语言处理任务中的表现显著优于原始版本,这验证了微调过程的有效性,并展示了模型在中文语境下的适应能力和强大的生成性能。


53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询