我要投稿

OpenAI终于推出Prompt Caching：成本砍半、速度翻倍！细节介绍都在这里了

发布日期：2024-10-09 20:35:42 浏览次数： 1801 来源：AGI Hunt

OpenAI 终于推出Prompt Caching 给开发者省钱了。

OpenAI最新推出的Prompt Caching功能，一下子就让API调用成本腰斩，速度翻倍。这下，AI应用开发者们该笑醒了。

让我们来看看这个新功能：

成本砍半，速度飙升

OpenAI这次真的是下了血本：

成本直接减半：长提示词的API调用成本降低了50%
速度提升惊人：延迟降低了80%

这意味着什么？

简单来说，开发者可以用更少的钱，做更多的事。

适用范围广，自动生效

这可不是什么小打小闹的实验性功能。OpenAI直接把它应用到了主力模型上：

GPT-4o
GPT-4o mini
o1-preview
o1-mini

最爽的是，这个功能是自动应用的。开发者们不需要修改一行代码，就能享受到这个福利。

缓存机制详解

那么，这个神奇的缓存是怎么工作的呢？

缓存触发条件：提示词超过1,024个token
缓存增量：以128个token为单位递增
缓存匹配：需要完全匹配前缀才能命中缓存
缓存保留时间：5-10分钟无活动后清除，最长保留1小时
监控方式：通过API响应中的'cached_tokens'字段查看

开发者优化建议

OpenAI还贴心地给出了优化建议：

将静态内容放在提示词开头，这样更容易命中缓存
缓存的输入token价格是未缓存token的一半
无需任何代码修改，系统会自动应用缓存

@bidhanxyz（ @bagel_network 的创始人）甚至预测：

有人会在API上实现模糊缓存，将成本再降低50%。

这话说的，OpenAI的工程师们怕是要加班了。

@ShenHuang_（Google Travel Ads的技术主管）也表示：

这可以节省我大量的API调用成本?

看来，不只是小开发者，连大公司都对这个功能垂涎三尺啊。

AI开发的春天来了？

这个功能早有呼声，@AI_GPT42说到：

我一直在等这个功能?

OpenAI这一次，终于回应了开发者的需求。可以说是跟上了其他厂商（如deepseed, claude等），为AI应用开发铺平了道路。

成本降低，速度提升，用同样的钱能干更多的事，这也意味着更多的创新可能性。

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

FP8 低精度训练：Transformer Engine 简析

2024-07-11

万字综述 10+ 种 LLM 投机采样推理加速方案

2024-07-11

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

2024-07-09

太爽了！o1 现在可以天天享用了

2024-09-18

通义千问超越GPT4了？

2024-06-11

Qwen2大模型微调入门实战-命名实体识别（NER）任务

2024-07-23

基于 Qwen2 大模型微调技术详细教程（LoRA 参数高效微调和 SwanLab 可视化监控）

2024-07-20

DifySandbox 的构建背景和实现机制

2024-07-12

彻底理解系列之：FP32、FP16、TF32、BF16、混合精度

2024-07-26

大模型国产化适配10-快速迁移大模型到昇腾910B保姆级教程（Pytorch版）

2024-07-23

大家都在问

LLM实践系列-聊聊大模型STF的数据清洗过程有多繁琐？

2024-11-18

深入理解预训练与微调，为什么需要预训练，什么是微调？

2024-11-16

GenAI部署：成功率与ROI为何双下滑？

2024-11-16

Cursor：如何构建 AI Coding 最佳实践？

2024-10-31

百度如何打造AI原生研发新范式？

2024-10-31

多语言向量模型的语言鸿沟（Language Gap），对比学习能否带来突破？

2024-10-27

如何使用NotebookLM？

2024-10-26

OpenAI新发布的canvas和Claude的Artifacts，哪个更好？

2024-10-25

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯