我要投稿

DeepSeek API 创新采用硬盘缓存，价格再降一个数量级

发布日期：2024-08-02 21:09:55 浏览次数： 1846 来源：DeepSeek

在大模型 API 的使用场景中，用户的输入有相当比例是重复的。举例说，用户的 prompt 往往有一些重复引用的部分；再举例说，多轮对话中，每一轮都要将前几轮的内容重复输入。

为此，DeepSeek 启用上下文硬盘缓存技术，把预计未来会重复使用的内容，缓存在分布式的硬盘阵列中。如果输入存在重复，则重复的部分只需要从缓存读取，无需计算。该技术不仅降低服务的延迟，还大幅削减最终的使用成本。

缓存命中的部分，DeepSeek 费用为 0.1元每百万 tokens。至此，大模型的价格再降低一个数量级。

如何使用 DeepSeek API 的缓存服务

硬盘缓存服务已经全面上线，用户无需修改代码，无需更换接口，硬盘缓存服务将自动运行，系统自动按照实际命中情况计费。

注意，只有当两个请求的前缀内容相同时（从第 0 个 token 开始相同），才算重复。中间开始的重复不能被缓存命中。

以下为两个经典场景的缓存举例：

多轮对话:下一轮对话会命中上一轮对话生成的上下文缓存

数据分析:后续具有相同前缀的请求会命中上下文缓存

多种应用能从上下文硬盘缓存中受益：

具有长预设提示词的问答助手类应用
具有长角色设定与多轮对话的角色扮演类应用
针对固定文本集合进行频繁询问的数据分析类应用
代码仓库级别的代码分析与排障工具
...

如何查询缓存命中情况

在 API 返回的 usage 中，增加了两个字段，帮助用户实时监测缓存的命中情况：

prompt_cache_hit_tokens：本次请求的输入中，缓存命中的 tokens 数（ 0.1 元 / 百万 tokens）
prompt_cache_miss_tokens：本次请求的输入中，缓存未命中的 tokens 数（1 元 / 百万 tokens）

降低服务延迟

输入长、重复内容多的请求，API 服务的首 token 延迟将大幅降低。

举个极端的例子，对 128K 输入且大部分重复的请求，实测首 token 延迟从 13 秒降低到 500 毫秒。

降低整体费用

最高可以节省 90% 的费用（需要针对缓存特性进行优化）。

即使不做任何优化，按历史使用情况，用户整体节省的费用也超过 50%。

缓存没有其它额外的费用，只有0.1 元每百万 tokens。缓存占用存储无需付费。

缓存的安全性问题

本缓存系统在设计的时候已充分考虑了各种潜在的安全问题。

每个用户的缓存是独立的，逻辑上相互不可见，从底层确保用户数据的安全和隐私。

长时间不用的缓存会自动清空，不会长期保留，且不会用于其他用途。

为何 DeepSeek API 能率先采用硬盘缓存

根据公开的信息，DeepSeek 可能是全球第一家在 API 服务中大范围采用硬盘缓存的大模型厂商。

这得益于 DeepSeek V2 提出的 MLA 结构，在提高模型效果的同时，大大压缩了上下文 KV Cache 的大小，使得存储所需要的传输带宽和存储容量均大幅减少，因此可以缓存到低成本的硬盘上。

DeepSeek API 的并发和限流

DeepSeek API 服务按照每天 1 万亿的容量进行设计。对所有用户均不限流、不限并发、同时保证服务质量。请放心加大并发使用.

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

万字长文解析：大模型需要怎样的硬件算力

2024-03-30

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

2024-07-18

一文带你了解大模型——智能体（Agent）

2024-05-28

全面对比dify、coze、streamlit、chainlit

2024-04-26

太强了！10大开源大模型！

2024-05-06

“大数据+”医疗

2024-04-11

Ollama 本地运行大模型(LLM)完全指南

2024-07-25

【深度】AI搜索产品深度分析-搜索原理和商业模式分析

2024-07-09

Cursor 一个真正让程序员产生危机感的 AI 编程工具

2024-08-21

Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人

2024-06-12

大家都在问

AI时代，哪种人更被需要？

2024-10-30

合成数据用于大模型训练的3点理解

2024-10-30

Perplexity CEO揭秘：不训大模型、关键在于检索、排序、编排

2024-10-30

昨晚，小米在发布会上这样玩 AI

2024-10-30

苹果 AI 完全体好用吗？我们用一台港版 iPhone 体验到了

2024-10-30

用对Cursor这个功能，AI编程效率提升200%

2024-10-30

大模型与知识图谱结合用于推荐及LLM驱动分块ChunkRAG实现策略解读

2024-10-30

深度｜对话澜码科技 CEO 周健：聊聊 AI Agent 应用、商业化以及当前行业的现状

2024-10-30

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

如何使用 DeepSeek API 的缓存服务

如何查询缓存命中情况

降低服务延迟

降低整体费用

缓存的安全性问题

为何 DeepSeek API 能率先采用硬盘缓存

DeepSeek API 的并发和限流

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

万字长文解析：大模型需要怎样的硬件算力

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

一文带你了解大模型——智能体（Agent）

全面对比dify、coze、streamlit、chainlit

太强了！10大开源大模型！

“大数据+”医疗

Ollama 本地运行大模型(LLM)完全指南

【深度】AI搜索产品深度分析-搜索原理和商业模式分析

Cursor 一个真正让程序员产生危机感的 AI 编程工具

Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人

大家都在问

AI时代，哪种人更被需要？

合成数据用于大模型训练的3点理解

Perplexity CEO揭秘：不训大模型、关键在于检索、排序、编排

昨晚，小米在发布会上这样玩 AI

苹果 AI 完全体好用吗？我们用一台港版 iPhone 体验到了

用对Cursor这个功能，AI编程效率提升200%

大模型与知识图谱结合用于推荐及LLM驱动分块ChunkRAG实现策略解读

深度｜对话澜码科技 CEO 周健：聊聊 AI Agent 应用、商业化以及当前行业的现状

热门标签

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

如何使用 DeepSeek API 的缓存服务

如何查询缓存命中情况

降低服务延迟

降低整体费用

缓存的安全性问题

为何 DeepSeek API 能率先采用硬盘缓存

DeepSeek API 的并发和限流

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

万字长文解析：大模型需要怎样的硬件算力

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

一文带你了解大模型——智能体（Agent）

全面对比dify、coze、streamlit、chainlit

太强了！10​大开源大模型！

“大数据+”医疗

Ollama 本地运行大模型(LLM)完全指南

【深度】AI搜索产品深度分析-搜索原理和商业模式分析

Cursor 一个真正让程序员产生危机感的 AI 编程工具

Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人

大家都在问

AI时代，哪种人更被需要？

合成数据用于大模型训练的3点理解

Perplexity CEO揭秘：不训大模型、关键在于检索、排序、编排

昨晚，小米在发布会上这样玩 AI

苹果 AI 完全体好用吗？我们用一台港版 iPhone 体验到了

用对Cursor这个功能，AI编程效率提升200%

大模型与知识图谱结合用于推荐及LLM驱动分块ChunkRAG实现策略解读

深度｜对话澜码科技 CEO 周健：聊聊 AI Agent 应用、商业化以及当前行业的现状

热门标签

太强了！10大开源大模型！