大模型中的提示词（prompt）压缩：让每个Token都物尽其用

推荐语

探索大模型效率提升的革命性技术，让每个Token发挥最大效用。

核心内容：
1. 提示词压缩的定义及其对提升大语言模型效率的重要性
2. 提示词压缩的三大目标：降低成本、提高速度、优化令牌限制
3. 提示词压缩如何解决大语言模型的令牌限制和成本问题

杨芳贤

53A创始人/腾讯云(TVP)最具价值专家

点击“蓝字” 关注我们

一、提示词压缩的定义与目标

提示词压缩（Prompt压缩：提升大型语言模型效率的关键技术），简单来说，就是在确保输入文本的核心意义和上下文完整的前提下，对提供给大语言模型的输入文本进行精简和优化。这一过程涉及去除冗余信息、简化句子结构，并运用专门的压缩技术，尽可能减少令牌的使用数量。

假设向大语言模型提出请求，详细的提示词可能是：“能否请您为我提供一份关于 X 公司最新季度财务报告的全面总结，同时突出其中的积极和消极方面？” 而经过压缩后的提示词则为：“总结 X 公司季度报告：利弊？” 这两个提示词期望获得的输出结果一致，但压缩后的版本更简短、清晰，使用成本也更低。

提示词（Prompt Decorators:改善AI响应的简单方法(文末含代码)）压缩主要致力于实现三个重要目标：降低成本，由于令牌使用数量的减少，使用费用也随之降低；提高速度，更短的输入能够让模型更快地进行处理；优化令牌限制，帮助满足模型的令牌约束条件，特别是在处理长文本上下文的场景中。

二、提示词压缩对大语言模型的重要性

随着大语言模型在日常应用中愈发深入，与这些模型的交互效率变得至关重要。尽管大语言模型功能强大，但它们存在一些固有局限，其中最显著的就是令牌限制、成本问题以及延迟担忧，而提示词压缩正是解决这些挑战的有效途径。

（一）令牌限制的约束

大语言模型都有最大令牌容量，这个容量涵盖了输入提示词和模型生成的响应。以具有 4096 个令牌限制的模型为例，如果输入提示词占用了 3500 个令牌，那么留给模型响应的空间就极为有限。若不进行提示词压缩，可能会面临输出被截断或不完整、缩短响应时丢失重要上下文信息，以及在长文本上下文应用（如文档摘要、多轮对话）中可用性降低等问题。通过压缩提示词，能够为更详细、全面的输出腾出空间，提升模型在处理复杂任务时的表现。

（二）成本效率

大多数大语言模型提供商，如 OpenAI 和 Anthropic，都是根据令牌使用量向用户收费。较长的提示词意味着消耗更多的令牌，这直接导致成本的增加，尤其是在高频使用的场景下，费用会迅速累积。例如，未压缩的提示词包含 2000 个令牌，按照每 1000 个令牌 0.02 美元计算，每次请求需花费 0.04 美元；而压缩后的提示词若仅有 500 个令牌，每次请求则只需 0.01 美元。对于每天需要进行数千次查询的用户来说，这种成本上的节省是相当可观的。提示词压缩在不牺牲输出质量的前提下，有效降低了运营成本。

（三）减少延迟并提高速度

长提示词不仅成本更高，处理时间也更长。在实时应用场景，如客户服务聊天机器人或语音助手，每毫秒都至关重要。用户期望获得快速、流畅的交互体验，任何延迟都可能导致用户流失。提示词压缩通过缩短输入长度，加快了模型的处理速度，进而提升了用户体验，在对延迟敏感的环境中，显著提高了系统的响应能力。

（四）增强焦点和输出质量

出人意料的是，较长的提示词有时会分散模型的注意力。过于冗长的指令或冗余信息可能会使大语言模型感到困惑，从而导致生成的响应较为笼统或相关性较低，甚至会错误解读关键信息。而提示词压缩能够促使提示更加清晰明了，确保模型专注于关键要点，避免在无关信息中耗费资源，进而提升输出的质量。

三、提示词压缩的实际应用场景

提示词压缩在众多领域都展现出了巨大的价值，为不同行业的工作流程带来了优化和提升。

在客户支持领域，通过简洁的提示词能够实现更快、成本更低的自动回复。在处理大量客户咨询时，快速响应是关键，压缩后的提示词可以让聊天机器人迅速理解问题并给出准确回答，提高客户满意度。

法律文档总结方面，冗长复杂的合同和法律文件需要耗费大量时间和精力进行分析。运用提示词压缩技术，能够将这些冗长的文档压缩成更易于处理的形式，提取关键信息，帮助法律专业人士更高效地进行分析和研究。

在编码辅助场景中，开发人员可以使用最少的指令快速生成代码片段。随着软件开发节奏的加快，开发人员需要迅速获取代码编写的灵感和参考，提示词压缩能够让编码助手更快地理解需求，提供精准的代码建议，提高开发效率。

内容创作领域同样受益匪浅。无论是撰写营销文案、博客摘要还是社交媒体内容，成本效益都是重要考量因素。利用提示词压缩，创作者可以在控制成本的同时，获得高质量的内容生成建议，为内容创作提供了更多的可能性。

四、提示词压缩的技术手段

提示词压缩涉及多种策略和方法，从传统的简单技巧到前沿的先进技术，旨在在减少令牌使用的同时，保留提示词的意图和质量。

（一）传统方法

传统的提示词压缩方法简单直接，无需专门的工具或模型即可应用。

1. 信息提炼
   将冗长的文本浓缩为简洁的摘要，重点在于保留核心信息，去除不必要的细节。例如，将 “请详细解释植物光合作用的工作原理” 精简为 “解释植物的光合作用”。
2. 结构化提示词设计
   把冗长的指令重新格式化为要点列表或直接的命令，使用关键词代替完整的句子。比如，“能否给我一份关于这本书的全面总结，包括其关键主题和主要人物？” 可压缩为 “书籍总结：关键主题和主要人物”。
3. 关键词提取
   识别并仅保留关键术语，这种方法在信息检索或搜索相关的应用中非常有效。例如，对于 “描述气候变化对发展中国家的经济影响”，提取出 “气候变化、经济影响、发展中国家” 这些关键词。
4. 上下文摘要
   借助预训练的摘要模型自动缩小上下文规模，在减少文本长度的同时保持语义完整。

（二）先进技术

1. LLMLingua 系列
   这是一系列旨在通过压缩输入提示词来提高大语言模型效率的方法，包括 LLMLingua、LongLLMLingua 和 LLMLingua - 2。

• LLMLingua
  该方法利用经过良好训练的小型语言模型（如 GPT - 2 small 或 LLaMA - 7B）识别并去除提示词中的非必要令牌。它采用从粗到细的压缩策略，借助预算控制器在高压缩率下仍能保持语义完整。通过迭代的令牌级压缩算法对令牌之间的相互依赖关系进行建模，并通过指令调整使压缩后的提示词分布与目标大语言模型相匹配。LLMLingua 能够实现高达 20 倍的压缩率，且性能损失极小。
• LongLLMLingua
  针对长文本上下文场景的挑战，LongLLMLingua 通过查询感知压缩和重组，提升了大语言模型处理长输入的能力，有效缓解了计算成本增加、延迟和性能下降等问题。评估显示，LongLLMLingua 在将令牌数量减少约四倍的同时，性能可提升高达 17.1%。
• LLMLingua - 2
  基于前两者的基础，LLMLingua - 2 引入了数据蒸馏方法，用于与任务无关的提示词压缩。通过在从 GPT - 4 中提取的数据上进行训练，LLMLingua - 2 将提示词压缩转化为令牌分类问题，利用 BERT 级别的编码器从双向上下文中捕获关键信息。该方法在处理领域外数据方面表现出色，相比原始的 LLMLingua，速度提升了 3 到 6 倍，适用于多种应用场景。

五、提示词压缩面临的挑战与应对策略

尽管提示词压缩为大语言模型带来了诸多优势，但在实际应用过程中，也面临着一些挑战，需要谨慎应对。

（一）平衡压缩与上下文丢失

在压缩提示词时，如何在缩短长度的同时保持关键上下文是主要挑战之一。如果去除的信息过多，大语言模型可能会误解用户意图、给出模糊或不相关的响应，甚至遗漏准确回答所需的关键细节。例如，将 “总结气候变化对农业的经济影响，考虑作物产量波动、灌溉挑战和生长季节变化等因素” 过度压缩为 “总结气候变化的影响”，模型可能会忽略农业相关的特定细节。为了应对这一问题，可以在压缩过程中优先考虑关键实体、动作和结果；采用结构化提示词（如要点列表或关键词）来保留关键细节；运用查询感知压缩，确保压缩后的提示词仍能符合原始问题的意图。

（二）过度压缩的风险与缓解

过度压缩可能会导致指令模糊或不完整、语义丰富度降低，影响细致入微的响应，以及丢失重要的限定词或约束条件（如时间线、条件等）。例如，将 “解释欧盟的数据隐私法规，重点关注科技初创公司对 GDPR 的合规性” 过度压缩为 “解释数据隐私”，模型可能会给出通用的解释，忽略了特定的关注点。为了避免过度压缩的风险，可以设置压缩阈值，避免压缩比例过高；进行迭代测试，逐步压缩提示词并在每个阶段评估输出质量；采用混合方法，将基本的摘要技术与先进技术（如 LLMLingua 或 PCToolkit）相结合，实现可控的压缩；保留关键的关键词或实体，作为引导模型响应的上下文锚点。

（三）不同用例的考虑因素

不同的应用场景对提示词压缩的要求各不相同。在对话式 AI 中，应优先保证用户意图的清晰表达，避免因过度压缩影响对话流畅度；文档摘要需要保留特定主题的关键词和关键实体；代码生成则要避免删除重要的函数名、参数或代码注释。

提示词压缩（通过语义压缩文本降低LLM成本）在大语言模型的应用中扮演着不可或缺的角色。它不仅是应对令牌限制、成本和延迟等挑战的有效手段，更是提升大语言模型应用效率和质量的关键技术。通过合理运用各种压缩技术和工具，充分考虑不同应用场景的需求，平衡压缩与上下文保留之间的关系，能够实现更高效、更智能、更具成本效益的大语言模型应用，推动人工智能技术在各个领域的深入发展和广泛应用。