我要投稿

阿里大模型面试原题：LLM推理为什么用KV Cache

发布日期：2024-08-30 06:23:41 浏览次数： 1711

本篇介绍为什么 LLM 推理加速有 KV Cache 而没有 Q Cache。

简单来说，LLM 在 decoding 阶段的每次推理只会用到当前的 Q，这次用的 Q 下次不会用到，所以不用 Cache Q。

但是每次都要用到当前和过去所有的 KV，这次用到的 KV 下次马上就要再用一次，所以 Cache KV 可以加速推理。

下面说明原因：

观察 Attention 公式，这个 K 和 Q 怎么看都很对称，为什么只 Cache K 而不 Cache Q？

把 KQV 写成分块的形式，像这样：

然后 Q 和 K 转置的矩阵乘就变成了这样：

直到这一步，K 和 Q 看上去都很对称。轮换一下 K 和 Q 对结果没有本质影响。

V 的引入破坏了这一对称性。忽略 ?? 系数，第 i 行的 softmax 简写成 ?? ，attention 操作的结果变成了这样：

这是没有 Causal Mask（因果掩码）的情况。

加入 Causal Mask 会变成这样：

可以写一下结果的通项，没有 Causal Mask：

有 Causal Mask：

无论有没有 Causal Mask，Q 和 K 在结果中都是不对称的。

在序列的 t 位置，Q 只有当前位置的 ??q_t 参与了计算，而 K 和 V 多个位置参与了计算，所以需要 KV Cache，而不需要 Q Cache。

在没有 Causal Mask 时，计算 t 位置的 Attention 需要未来的 KV，这在实际进行自回归推理时无法得到；加上 Causal Mask 之后，只需要 1,2,…,t 位置的 KV 就可以进行推理。

来源：https://www.zhihu.com/question/653658936/answer/3545520807

END

加入学习

✅ 我是丁师兄，专注于智能驾驶大模型，持续分享LLM面试干货。

✅ 大模型1v1辅导，已帮助多名同学成功上岸

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

2024-07-18

万字长文解析：大模型需要怎样的硬件算力

2024-03-30

全面对比dify、coze、streamlit、chainlit

2024-04-26

“大数据+”医疗

2024-04-11

太强了！10大开源大模型！

2024-05-06

Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人

2024-06-12

【深度】AI搜索产品深度分析-搜索原理和商业模式分析

2024-07-09

大模型训练及推理【硬件选型指南】及 GPU 通识

2024-05-09

Ollama 本地运行大模型(LLM)完全指南

2024-07-25

HealthGPT：华工数字孪生人实验室发布主动健康大模型基座

2023-07-01

大家都在问

OpenAI o1的架构流程已被Claude破解了？

2024-09-21

RAG检索失败率降低49%？Anthropic-Contextual-RAG方案解析-兼看老刘的课堂三部曲

2024-09-21

Multi-Agent架构-CrewAI详解

2024-09-21

聊聊RLHF的奖励模型——上海人工智能书生大模型的RW实践

2024-09-21

文档大模型，能否真正解决非结构化数据难题

2024-09-21

全球首发：第二代 RAG 系统 auto-coder.rag 相比市面主流RAG系统 20%-60% 效果提升

2024-09-21

从 Data 到 Data + AI，必然之路还是盲目跟风？

2024-09-21

SFR-RAG：高效精简的检索增强生成模型

2024-09-21

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

万字长文解析：大模型需要怎样的硬件算力

全面对比dify、coze、streamlit、chainlit

“大数据+”医疗

太强了！10大开源大模型！

Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人

【深度】AI搜索产品深度分析-搜索原理和商业模式分析

大模型训练及推理【硬件选型指南】及 GPU 通识

Ollama 本地运行大模型(LLM)完全指南

HealthGPT：华工数字孪生人实验室发布主动健康大模型基座

大家都在问

OpenAI o1的架构流程已被Claude破解了？

RAG检索失败率降低49%？Anthropic-Contextual-RAG方案解析-兼看老刘的课堂三部曲

Multi-Agent架构-CrewAI详解

聊聊RLHF的奖励模型——上海人工智能书生大模型的RW实践

文档大模型，能否真正解决非结构化数据难题

全球首发：第二代 RAG 系统 auto-coder.rag 相比市面主流RAG系统 20%-60% 效果提升

从 Data 到 Data + AI，必然之路还是盲目跟风？

SFR-RAG：高效精简的检索增强生成模型

热门标签

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

万字长文解析：大模型需要怎样的硬件算力

全面对比dify、coze、streamlit、chainlit

“大数据+”医疗

太强了！10​大开源大模型！

Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人

【深度】AI搜索产品深度分析-搜索原理和商业模式分析

大模型训练及推理【硬件选型指南】及 GPU 通识

Ollama 本地运行大模型(LLM)完全指南

HealthGPT：华工数字孪生人实验室发布主动健康大模型基座

大家都在问

OpenAI o1的架构流程已被Claude破解了？

RAG检索失败率降低49%？Anthropic-Contextual-RAG方案解析-兼看老刘的课堂三部曲

Multi-Agent架构-CrewAI详解

聊聊RLHF的奖励模型——上海人工智能书生大模型的RW实践

文档大模型，能否真正解决非结构化数据难题

全球首发：第二代 RAG 系统 auto-coder.rag 相比市面主流RAG系统 20%-60% 效果提升

从 Data 到 Data + AI，必然之路还是盲目跟风？

SFR-RAG：高效精简的检索增强生成模型

热门标签

太强了！10大开源大模型！