AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


OpenChat-3.6发布,整体表现超越Llama3-8B
发布日期:2024-05-25 17:19:46 浏览次数: 2125 来源:AI工程师笔记


微信公众号:AI工程师笔记
关注可了解更多的大模型相关内容。问题或建议,请公众号留言;
如果你觉得对你有帮助,欢迎赞赏

OpenChat简介

OpenChat是一种旨在利用混合质量数据改进开源语言模型。当前开源大型语言模型如LLaMA已经出现,研究者们正通过监督微调(SFT)和基于强化学习的微调(RLFT)方法使其与人类目标对齐。然而,SFT方法将所有质量参差不齐的数据等同对待,而RLFT方法则需要高质量的成对或基于排序的偏好数据,这在实际操作中成本高昂且复杂。

OpenChat框架提出了一种新颖的方法——条件化RLFT(C-RLFT),它将不同的数据源视为粗粒度奖励标签,并学习一个类条件策略以利用互补的数据质量信息。值得注意的是,C-RLFT中的最优策略可以通过单阶段、无需强化学习的监督学习轻易解决,这种方法既轻量级又避免了高昂的人类偏好标注成本。

此前的实验结果显示,使用C-RLFT微调的模型openchat-13b在三个标准基准测试上达到了所有13b开源语言模型中的最高平均性能。此外,通过AGIEval评估验证了模型的泛化能力,仅openchat-13b超越了基础模型。研究还进行了一系列分析,揭示了OpenChat的有效性和鲁棒性。

研究强调,尽管成果令人鼓舞,但仍存在一些潜在的研究改进方向,比如更精细地调整数据源的奖励标签以反映每个数据点的实际质量,以及探索如何利用OpenChat提升语言模型的推理能力。此外,该研究的伦理声明指出,开源语言模型的普及促进了AI领域的民主化,增强了透明度,促进了公平性,同时使用的数据集来自公开共享,减少了数据泄露和隐私担忧。为了增强可复现性,研究提供了基础模型、训练超参数的细节,以及在GitHub和Hugging Face上的代码、数据和模型权重。

近日开源了最新的OpenChat-3.6版本,号称是整体表现最佳的开源8B模型,优于Llama3-8B-Instruct及其微调模型。

基准测试

下载地址

https://huggingface.co/openchat/openchat-3.6-8b-20240522

在线体验

https://openchat.team/zh

GGUF模型

同时,有其他大神开源了OpenChat-3.6的GGUF模型,因此我们可以轻松的使用Ollama框架进行部署。

https://huggingface.co/bartowski/openchat-3.6-8b-20240522-GGUF
https://huggingface.co/crusoeai/openchat-3.6-8b-20240522-GGUF

ollama部署GGUF模型请参考:

Ollama本地部署Llama3-Chinese并进行测试


53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询