点击 01麻瓜社 关注公众号，AI学习不迷路

今天，OpenAI推出了提示缓存(Prompt Caching)，允许开发者降低成本和延迟。通过重复使用最近看到的输入令牌，开发者最多可以降低50%的成本和更快的提示处理时间。

为什么发布提示缓存？

许多开发者在构建AI应用程序时会在多个API调用中重复使用相同的上下文，例如在编辑代码库或与聊天机器人进行长时间多轮对话时。

提示缓存可用性和定价

从今天开始，提示缓存自动应用于GPT-4o、GPT-4o mini、o1-preview和o1-mini的最新版本，以及这些模型的微调版本。以下是定价概览:

如何监控缓存的使用？

对支持的模型的API调用将自动从超过1024个Token的提示词启用缓存。API会缓存之前已计算过的提示的最长前缀，从1024个令牌开始，以128个令牌为增量。如果开发者重复使用具有共同前缀的提示，OpenAI将自动应用提示缓存。开发者无需对API集成进行任何更改。

使用提示缓存的请求在API响应的'usage'字段中有一个'cached_tokens'值:

usage: {  total_tokens: 2306,  prompt_tokens: 2006,  completion_tokens: 300,    prompt_tokens_details: {    cached_tokens: 1920,    audio_tokens: 0,  },  completion_tokens_details: {    reasoning_tokens: 0,    audio_tokens: 0,  }}

缓存通常在5-10分钟不活动后清除，并且始终在缓存最后使用后一小时内移除。

如何有效地结构化提示词？

只有在提示内完全匹配前缀时才可能出现缓存命中。要实现缓存收益，请将静态内容(如指令和示例)放在提示的开头，并将可变内容(如用户特定信息)放在末尾。这也适用于图像和工具，它们在请求之间必须完全相同。

工作原理

对于1024个令牌或更长的提示，缓存自动启用。当您发出API请求时，会发生以下步骤:

1. 缓存查找: 系统检查您提示的初始部分(前缀)是否存储在缓存中。

2. 缓存命中: 如果找到匹配的前缀，系统使用缓存的结果。这显著降低了延迟并减少了成本。

3. 缓存未命中: 如果没有找到匹配的前缀，系统处理您的完整提示。处理后，您提示的前缀将被缓存以供将来请求使用。

可以缓存的内容

• 消息: 完整的消息数组，包括系统、用户和AI交互。

• 图像: 用户消息中包含的图像，可以是链接或base64编码的数据，也可以发送多个图像。确保detail参数设置相同，因为它会影响图像标记化。

• 工具使用: 消息数组和可用的`tools`列表都可以被缓存，有助于达到1024个令牌的最低要求。

• 结构化输出: 结构化输出模式作为系统消息的前缀，可以被缓存。

最佳实践

• 将静态或重复内容结构化在提示的开头，动态内容放在末尾。

• 监控缓存命中率、延迟和缓存令牌百分比等指标，以优化您的提示和缓存策略。

• 为了增加缓存命中，使用更长的提示，并在非高峰时段发出API请求，因为在高峰时段缓存清理更频繁。

• 最近未使用的提示会自动从缓存中移除。为了最小化缓存丢失，保持使用相同提示前缀的请求流稳定。

祝大家的AI应用开发越来越好！

点击 01麻瓜社 关注公众号，AI学习不迷路

• Anthropic提示词缓存