风云变幻的 LMSYS Chatbot Arena 盲测竞技场再次迎来新成员！

近日，Yi-1.5-34B 登录 Chatbot Arena，在总榜中以 1162 的 ELO 积分超越了 GPT-4-0613、Mistral-large-2402 等知名海外厂商发布的大尺寸模型，与 Qwen1.5-110B-Chat 并列第20名（2024.6.6）。在中文分榜上，Yi-1.5-34B 更是以 1274 的 ELO 积分跻身世界前十，同时在采用 Apache 2.0 许可协议的模型中位居第一（2024.6.6），可谓是开源界中小模型中最能打的羽量级选手，连 LMSYS 评测组织方都官方发帖恭贺。

LMSYS 评测组织官方发帖恭贺

Yi-1.5-34B在中文分榜中跻身前十

Yi-1.5-34B 首次上榜与诸多知名模型同台竞技，能够取得超越 GPT-4-0613、与 Qwen1.5-110B-Chat 比肩的成绩，得益于零一万物在模型训练中科学的算法与高质量数据的合理应用。零一万物模型训练负责人黄文灏此前曾表示，零一万物在模型训练时没有急于做 Scale up、推出第一款模型，而是选择重点提升数据质量，在基础能力建设完毕后，模型 Scale up 都会变得非常顺畅。

零一万物将提升数据质量作为高优先级事项，进行了科学的数据质量控制。目前已经搭建起了高质量数据的生产管线，能够在确保数据质量的前提下实现规模扩展。这些高质量数据成为 Yi-1.5 系列开源模型顺利实现代码、数学能力提升的基础条件。

以此次 Yi-1.5 系列开源模型迭代为例，增量预训练已经成为提高大规模语言模型（LLM）在特定领域表现的重要方面。找到训练数据的最佳混比是这次 Yi-1.5 模型训练的关键挑战。然而，探索不同数据混合对LLM的影响既耗时又费力，且在识别持续预训练最佳数据混合方面的研究有限，尤其是对于代码和数学推理等特定领域任务。为了解决这一挑战，模型训练团队在不同规模的各种数据混合上进行了实验，并总结出了一套针对继续预训练的经验。

为了充分释放预训练模型在聊天场景中的潜力，零一万物还创新了指令调优方法。根据观察到的指令调优 Scaling effect，零一万物从代码、数学、科学、工程、人文学科和通用聊天数据等诸多领域扩增指令调优数据，清楚地展示了 Scaling 的优势。通过使用 300 万条人工标注和高质量的合成指令调优样本，团队在保持了 Yi 模型优秀的通用能力的前提下，进一步提高了模型在代码和推理等各个关键领域的表现。

在指令微调SFT阶段，基于开源数据，零一万物也开始尝试采用了新颖的合成数据方案，这大大降低了数据构建成本。

Yi-1.5 系列的成功实践再次证明了零一万物在模型训练方面决策的正确性，也让团队看到，Yi-Large 或更大尺寸模型的上限还可以更高，在数据构建和训练过程还存在着优化空间。高质量、低成本的数据生产管线将会在后续多个模型的训练中得到复用，也预示着零一万物的数据构建成本与模型训练成本将进一步降低。在追逐 TC-PMF 的行业竞争中，降低的模型训练成本将为零一万物赢得宝贵的时间窗口，支撑其在优势窗口期构建出新的竞争壁垒。

作为全球生态建设的重要一环，零一万物尤其重视 Yi 系列开源模型的开发者体验。具体实践中，此次 Yi-1.5 发布时，零一万物也选用了开发者最熟悉的宽松许可证—— Apache 2.0，引发了国际开源社区的热烈讨论和一致好评，这是零一万物面向全球、拥抱开源的具体行动。

“我们相信开源开发者生态依赖于口碑，国内生态需要更多中立角色，以开发者为中心进行良性竞争。海外开发者更注重体验，无论是使用开源模型还是 API，都追求良好体验。”零一万物开源负责人林旅强表示，“我们真诚地希望，升级后的 Yi-1.5 系列开源模型能够为大家带来真正的价值。”