我要投稿

微软Phi-3.5-Mini-Instruct全参微调中文版来啦

发布日期：2024-08-24 09:17:29 浏览次数： 1809 来源：AI工程师笔记

Phi-3.5-Mini-Instruct-Chinese

简介

8月21日，微软发布了Phi-3.5-mini-instruct模型。

Phi-3.5-mini-instruct是Phi-3模型家族的最新成员，专为高效、先进的自然语言处理任务而设计。该模型具有 38 亿个参数，基于Phi-3 的数据集（合成数据和经过筛选的公开网站）构建，重点关注高质量、推理密集的数据。该模型属于 Phi-3 模型系列，支持 128K 令牌上下文长度。经过了严格的增强过程，结合了监督微调、近端策略优化和直接偏好优化，以确保精确遵守指令和强大的安全措施。

Phi-3.5 mini 在中文场景有所增强，但是受限于模型的大小，依然会有较多的事实错误。为了更好地适应中文场景，OpenCSG社区对Phi-3.5-mini-instruct模型进行了全参数微调，推出了中文版。这一版本基于大量中文语料，进行了深度优化，以提升模型在中文自然语言处理任务中的表现。经过微调的中文版在语义理解、上下文关联和文本生成的质量上均有显著提升，能够更好地满足中文用户在各种应用场景中的需求。

推理效果

与原始的instruct版类似，模型对中文内容理解的更加准确，输出的内容也更偏向中文，并且确保了问答性能与用户体验的优化。

经过中文微调的模型在各种应用场景中的需求，如语义理解、上下文关联和文本生成等方面有显著提升。以上对比测试显示，Phi-3.5 Mini Instruct 中文版在中文自然语言处理任务中的表现显著优于原始版本，这验证了微调过程的有效性，并展示了模型在中文语境下的适应能力和强大的生成性能。

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

FP8 低精度训练：Transformer Engine 简析

2024-07-11

万字综述 10+ 种 LLM 投机采样推理加速方案

2024-07-11

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

2024-07-09

太爽了！o1 现在可以天天享用了

2024-09-18

通义千问超越GPT4了？

2024-06-11

Qwen2大模型微调入门实战-命名实体识别（NER）任务

2024-07-23

基于 Qwen2 大模型微调技术详细教程（LoRA 参数高效微调和 SwanLab 可视化监控）

2024-07-20

DifySandbox 的构建背景和实现机制

2024-07-12

彻底理解系列之：FP32、FP16、TF32、BF16、混合精度

2024-07-26

大模型国产化适配10-快速迁移大模型到昇腾910B保姆级教程（Pytorch版）

2024-07-23

大家都在问

LLM实践系列-聊聊大模型STF的数据清洗过程有多繁琐？

2024-11-18

深入理解预训练与微调，为什么需要预训练，什么是微调？

2024-11-16

GenAI部署：成功率与ROI为何双下滑？

2024-11-16

Cursor：如何构建 AI Coding 最佳实践？

2024-10-31

百度如何打造AI原生研发新范式？

2024-10-31

多语言向量模型的语言鸿沟（Language Gap），对比学习能否带来突破？

2024-10-27

如何使用NotebookLM？

2024-10-26

OpenAI新发布的canvas和Claude的Artifacts，哪个更好？

2024-10-25

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制