图片来自DALL.E

LLM过于"自由"的输出特性，给开发者和使用者带来了一些个令人头痛的问题。比如，生成的文本可能包含令人担忧的内容，难以满足产品需求，更无法与现有系统无缝衔接。这些挑战迫切需要解决。

为此，近日一群来自谷歌研究院的科研人员开展了深入调研，提出了一个非常有价值的解决方案- 通过对LLM输出施加约束，让它们能够产生符合预期的、无懈可击的结果。

题目：“我们需要结构化输出”：面向以用户为中心的大型语言模型输出约束

网址：https://arxiv.org/pdf/2404.07362.pdf

他们首先系统地从用户中心的视角探讨了施加输出约束的场景与动机，构建了三个问题：

RQ1: 哪些现实世界的用例需要或将受益于能够约束LLM输出？

RQ2: 能够对LLM输出应用约束的好处和影响是什么？

RQ3: 用户希望如何向LLM表达他们的预期约束？

研究者通过向拥有构建LLM驱动应用经验的51位行业专业人士（软件工程师、研究人员、设计师、项目经理等）分发问卷调查来研究这些问题。深入了解了实际应用场景中对LLM输出约束的各种需求。基于此，他们构建出一个全面的分类体系，涵盖了从底层到高层的各种约束类型，为LLM的受控输出提供了有力支撑。

底层约束:规范格式，确保高可用性

Low-level constraints

PART 01

LLM生成的内容如果格式不规范、长度失控，将给后续的应用和集成带来不小困扰。因此，研究人员首先关注了底层约束，确保LLM输出符合特定的格式和长度要求。

比如，对于一些需要以标准格式(如JSON、Markdown等)呈现的应用场景，开发者需要LLM输出严格遵循目标格式，才能顺利进行后续处理和集成。一位受访者表示，"我希望问答系统的输出是一个标准的JSON对象，包含问题、正确答案和错误答案等字段，这样我就可以直接拿来做进一步处理。"另一位则提到，"在生成会议纪要时，我希望输出是Markdown格式的，这样可以直接插入文档中。"

除了格式之外，输出长度也是一大关键点。过长的输出可能难以满足UI展示的需求，或者影响用户体验。相反，过短的输出也可能无法完整表达预期内容。因此，研究人员发现开发者普遍希望能够精确控制LLM输出的长度，例如"每个摘要bullet点不超过40个字符"、"YouTube Shorts标题不超过100个字符"等。

通过满足这些底层约束，LLM的输出不仅更加规范有序，也能够与现有系统无缝集成，大大提升开发效率。

除了格式和长度约束，研究人员还发现开发者对LLM输出的语义和风格也提出了诸多要求。这些高层约束旨在确保LLM的输出不仅格式规范，而且契合实际需求，不会出现幻觉或偏离主题的情况。

首先是语义约束。有的场景要求LLM输出必须包含或排除特定的词语、内容或主题。比如在生成一封感谢信时，开发者希望LLM能够"包含对经理的感谢语，并提及他所在的办公地点，以增加亲和力"。又或者在为聊天机器人开发时，开发者要求LLM"只回答与电信运营商Airtel相关的话题，而不涉及其他运营商"。这样的语义约束有助于确保LLM的输出贴合实际需求，不会偏离预期。

除此之外，研究人员还发现开发者希望LLM输出能够遵循特定的风格和语气。比如一位受访者表示，"在生成新闻摘要时，希望LLM能够遵循特定的风格指南，如优先使用主动语态而非被动语态"。又或者要求LLM"使用通俗易懂的语言，避免使用复杂的技术术语"。这些风格约束有助于确保LLM输出的风格符合产品定位和用户期望。

研究人员还发现开发者尤其关注LLM是否会产生幻觉。他们希望LLM的输出能够完全基于事实，不会夹杂任何个人观点或无根据的内容。一位受访者表示，"我们不希望文档摘要包含任何观点或信仰，只要真实事实。"另一位则提到，"如果LLM找不到相关的论文或同行评审研究，就不应该提供虚构的输出。"通过这种幻觉约束，LLM可以为用户提供可靠的、事实支撑的输出，增强用户的信任。

研究发现，LLM输出约束涵盖了从底层格式到高层语义的各个层面。满足这些约束不仅能够大幅提升开发效率，同时也能够增强用户体验，促进LLM技术在更广泛场景的落地应用。

基于这一认识，研究人员提出了一个名为"ConstraintMaker"的原型工具，该工具允许用户为大型语言模型（LLM）编写提示并设定输出约束，然后得到严格符合这些约束的输出。通过界面，用户能够轻松定义输出的具体格式，如选择输出为JSON对象，并细化包括字段类型和内容的约束。比如，用户可以指定角色档案包括名字、年龄、孩子姓名等信息，甚至可以设置有序列表输出一系列有沙滩的城市，或是对电影评论进行情感分类。CONSTRAINTMAKER将这些约束转化为正则表达式，确保LLM的输出准确无误。这种界面使得设定复杂输出格式更直观、更便捷，尤其对于非专业用户而言，大大降低了与LLM交互的门槛。同时，工具还支持自然语言描述约束，满足开发者的个性化诉求。

通过ConstraintMaker，开发者可以快速构建出符合自身需求的LLM约束机制，不仅能够大幅降低开发难度，还能确保LLM输出的可靠性和一致性。这不仅大大提升了LLM在实际应用中的可用性，也为其走向更广阔的应用领域铺平了道路。

最   后

随着LLM技术的不断进步，以及用户需求的日益多样化，如何设计出更加灵活、可定制的约束机制将是一个持续需要关注的课题。只有确保LLM输出的可控性和可信性，它们才能真正发挥出应有的价值，成为企业和个人信赖的智能助手。

我整理了这篇文章的六类输出约束，包含详细的使用场景和Prompt示例，公众号后台发送“加群”，你将得到具体加群方法，欢迎来讨论，我送你这些可用于Prompt的示例。