论文地址：

https://arxiv.org/pdf/2407.19584

SaulLM-54B 和 SaulLM-141B 基于 Mixtral 系列模型开发而成，并通过引入专家混合（MoE）架构，来提升模型的能力。

MoE 架构的核心思想，是将大型模型分解为多个小型专家网络，根据输入的不同特点进行激活，不仅可以提高模型的计算效率，还可以增强模型处理复杂法律文本的能力。

同时，SaulLM 使用 5400 亿 token 的专业法律数据进行预训练和微调，涵盖来自美国、欧洲、澳大利亚等不同法律体系的法律文本，输出内容的准确率高于很多同类模型。

相比之下，大多数基础模型都使用了一个名为“Common Crawl”的免费数据库进行训练，这其中包括有害、有偏见、被污染的数据。

这种训练方法的常见目标，是使得模型可以让用户感觉自己在与真人交谈的方式聊天，但这不是法律专业人士使用大模型的目的。

与大模型是否可以与人们聊天相比，法律人有不同的需求和担忧。而且，如果模型一开始就是通过 Common Crawl 等数据训练的，那么模型的“毒性”是无法通过微调解决的。

然而，构建一个法律大模型，最大的挑战就是缺少足够多且高质量的法律数据。

因此，273 Ventures 非常关心训练数据，自 2022 年底以来，该公司就一直在努力收集、策划以及丰富/注释行业可使用的法律数据。

去年 8 月，273 Ventures 正式推出一个名为 Kelvin Legal DataPack 的数据集，具体包括 150B token 的法律、金融和一般领域的文本，可供组织用于训练模型。据称，这是第一个具有明确出处和可商用的大规模数据集，还包括相关注释，以支持各种用例。

随后，273 Ventures 继续收集和丰富该数据集。截至去年 12 月底，该数据集扩展到近 100TB 内容的超过 3000 亿 token 的法律和金融数据。现在，这个数据集的参数量已经超过两万亿，并通过构建持续评分和过滤内容的系统，进一步改进了这些数据的质量。

也就是说，KL3M 通过使用“干净”的数据（即不包含有害、有偏见、被污染的数据）来训练，从而有效地提高模型的性能。‍

同时，用户还可以使用自己的法律数据补充 KL3M 模型的数据库，或者在上面构建自己的机器人，这也可以提高模型的性能。

KL3M 因此成为了第一个获得 Fairly Trained L 认证的大模型 —— Fairly Trained 是一个非营利组织，旨在向愿意证明他们的 AI 模型是基于自己拥有、已获许可或者属于公共领域的数据进行训练的公司提供认证。

注：Fairly Trained 由 TikTok 和 Stability AI 前高管 Ed Newton-Rex 创立，得到美国出版商协会和 UMG 等组织支持，并推出一个认证项目，帮助消费者和企业识别以尊重内容创作者权利的方式进行训练的 AI 模型。

关于 KL3M 的技术细节，可点击下文了解?

由于法律行业对模型精准度的高要求，AI 在法律行业落地需要攻克很多长期难题，包括：构建高质量的法律数据集、构建垂直模型等。

随着这些行业难题逐步得到了解决，越来越多真正好用的法律 AI 产品，已经开始出现。‍‍‍‍‍‍‍‍‍‍‍‍