我要投稿

阿里大模型面试原题：LLM推理为什么用KV Cache

发布日期：2024-08-30 06:23:41 浏览次数： 3938

作者：丁师兄大模型

微信搜一搜，关注“丁师兄大模型”

本篇介绍为什么 LLM 推理加速有 KV Cache 而没有 Q Cache。

简单来说，LLM 在 decoding 阶段的每次推理只会用到当前的 Q，这次用的 Q 下次不会用到，所以不用 Cache Q。

但是每次都要用到当前和过去所有的 KV，这次用到的 KV 下次马上就要再用一次，所以 Cache KV 可以加速推理。

下面说明原因：

观察 Attention 公式，这个 K 和 Q 怎么看都很对称，为什么只 Cache K 而不 Cache Q？

把 KQV 写成分块的形式，像这样：

然后 Q 和 K 转置的矩阵乘就变成了这样：

直到这一步，K 和 Q 看上去都很对称。轮换一下 K 和 Q 对结果没有本质影响。

V 的引入破坏了这一对称性。忽略 ?? 系数，第 i 行的 softmax 简写成 ?? ，attention 操作的结果变成了这样：

这是没有 Causal Mask（因果掩码）的情况。

加入 Causal Mask 会变成这样：

可以写一下结果的通项，没有 Causal Mask：

有 Causal Mask：

无论有没有 Causal Mask，Q 和 K 在结果中都是不对称的。

在序列的 t 位置，Q 只有当前位置的 ??q_t 参与了计算，而 K 和 V 多个位置参与了计算，所以需要 KV Cache，而不需要 Q Cache。

在没有 Causal Mask 时，计算 t 位置的 Attention 需要未来的 KV，这在实际进行自回归推理时无法得到；加上 Causal Mask 之后，只需要 1,2,…,t 位置的 KV 就可以进行推理。

来源：https://www.zhihu.com/question/653658936/answer/3545520807

END

加入学习

✅ 我是丁师兄，专注于智能驾驶大模型，持续分享LLM面试干货。

✅ 大模型1v1辅导，已帮助多名同学成功上岸

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2026-03-15

Claude 这个更新，让模型能力提升10%+！

2026-03-14

100万上下文全面上线！Claude两款4.6模型取消长文本溢价，支持直塞600张图

2026-03-13

2026年国内如何注册 Claude 账号教程

2026-03-13

1300 万人围观，龙虾「杀手」来了

2026-03-13

从IDE到Terminal：适合后端宝宝体质的Claude Code工作流｜得物技术

2026-03-13

同一个 Claude，为什么别人跑出 78%，你只有 42%？也许你需要Harness工程

2026-03-13

破除偏见：阻碍生成式AI加速落地的认知桎梏

2026-03-12

OpenAI发布GPT-5.4金融套件：顶级数据库首次向普通用户开放

联系获取

联系获取

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

Pencil：设计和写代码，以后就全让AI干了

2026-01-24

独家实录｜唐杰、杨植麟、林俊旸、姚顺雨...All Star 对话上，大家聊了啥？

2026-01-10

2026 开年 AI 工具推荐，让你新的一年效率起飞！（建议收藏）

2026-01-01

从0到1玩转Clawdbot：我花了40小时，把这些坑都踩完了

2026-01-26

Claude赢麻了？OpenAI Codex正式支持Skills，GitHub连夜上车！

2025-12-21

终于！Gemini CLI支持Agent Skills，一键搬运Claude Code的“绝招”

2026-01-09

Claude Code Skills 国内实践全指南：从安装部署到高阶开发

2026-01-09

谷歌没想到：Antigravity 竟成了 Claude Code 的“免费充电宝”？

2025-12-30

我装了 9 个 Skill，终于看懂了 Google Antigravity 的野心

2026-01-21

深度解析——为什么Claude code CEO Dario 如此反中？

2026-01-23

大家都在问

粮厂研究员Will | 小米miclaw发布：谈谈为什么豆包手机没有撑过72小时？

2026-03-09

如果微信全面 AI 化了，会有什么后果？

2026-03-08

马斯克大赞阿里 AI，9B 参数硬刚 120B，海外网友：这叫小模型？

2026-03-03

Claude Code 的记忆机制：从CLAUDE.md到Auto Memory，它到底记住了什么？

2026-03-01

AGENTS.md 真的能帮助编码智能体吗？

2026-02-27

谷歌 Nano Banana 2 凌晨突袭！生图速度飙升，价格直接腰斩，Pro 功能竟然也免费了？

2026-02-27

Claude Code Security 的发布，会如何重塑传统网络安全企业？

2026-02-26

当软件不值钱了以后，最稀缺的资源是什么？

2026-02-24

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS Skill 提示词技巧 AI+电商 AI面试数字员工 ChatBI AI知识库开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB Palantir Glean Openclaw

应聘简历请发送至： ceo@53ai.com

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部