我要投稿

Character.AI 推理服务2万QPS背后的技术点

发布日期：2024-08-09 09:05:30 浏览次数： 2150 作者：竹言见智

LLM推理吞吐量的关键瓶颈在于KV大小，它不仅决定了 GPU 上可以容纳的最大批量大小，而且还影响注意力层的 I/O 成本。CharacterAI通过使用以下技术，在不降性能情况下，将 KV 缓存大小减少 20 倍以上。

多查询注意力MQA

在所有注意力层中都采用了多查询注意力（Shazeer，2019）。与大多数开源模型中采用的 Grouped-Query Attention 相比，这将 KV 缓存大小减少了 8 倍。暂无具体超参及实验数据。

混合注意力视野Hybrid Attention Horizons

利用LongFormer中技术，将局部注意力（Beltagy et al.， 2020）与全局注意力层交错（如上图d所示），通过滑动窗训练局部注意力，并将复杂度从 O(n²)降低到 O(n)，这里n表示输入序列长度。实验发现在大多数注意力层上将注意力范围减少到 1024 不会对评估指标产生显着影响，包括长上下文大海捞针基准。在生产环境中，每 6 个layer中只有 1 个使用全局注意力。

跨层KV共享Cross Layer KV-sharing

我们将 KV 缓存绑定在相邻的注意力层之间，这进一步将 KV 缓存大小减少了 2-3 倍。对于全局注意力层，我们将多个全局层的 KV 缓存跨块绑定，因为在长上下文用例下，全局注意力层主导着 KV 缓存大小。与论文（Brandon et al.， 2024）效果类似，跨层共享 KV 不会降低质量。

Stateful Caching 有状态缓存

Character.AI 产品的特点是其中大多数聊天都是长对话，平均一条消息的对话历史记录为 180 条消息。随着对话时间越来越长，在每个回合不断重新填充 KV 缓存的成本将非常高。

为了解决这个问题，Character.AI开发了一种轮次间缓存系统。对于每个prefilled前缀和生成消息，将 KV 值缓存在本地内存，方便快速查询。

与 RadixAttention （Zheng et al.， 2023）类似，使用树状结构在 LRU 缓存中管理缓存的 KV 张量，类似下效果。缓存的 KV 值由前缀标记的滚动哈希编制索引，对于每个新查询，将为上下文的每个前缀计算滚动哈希，并检索最长匹配项的缓存。这样即使对于部分匹配的消息，也可以重复使用缓存。

在队列级别，使用会话粘性将来自同一对话框的查询路由到同一服务器。由于 KV 缓存较小，因此每个服务器可以同时缓存数千个对话。系统实现了 95% 的缓存率，进一步降低了推理成本。

训练及服务的量化

定制实现 int8 内核，对模型权重、激活和注意力 KV 缓存进行量化。与PTQ技术不同系统以 int8 精度原生训练模型，消除了训练/服务不匹配的风险，同时也显着提高了训练效率。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-04-01

MCP模型上下文协议详解（附参考资料）

2025-04-01

AI+MCP+测试工具来了！

2025-04-01

豆包新发布的深度思考，让AI搜索更像人类的思考模式了

2025-04-01

大模型下半场：7个趋势判断

2025-04-01

FunctionCall还没学会，又来了MCP，一文搞懂他们的区别

2025-04-01

真格基金戴雨森：长聊 AI Agent，各行业都会遭遇「李世石时刻」（上）

2025-04-01

真格基金戴雨森：长聊 AI Agent，各行业都会遭遇「李世石时刻」（下）

2025-04-01

MCP 和 Function Calling：概念

了解更多

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

本地部署大模型？看这篇就够了，Ollama 部署和实战

2024-08-13

16个具有“联网搜索”功能的AI：总有一个适合你！

2024-06-13

Cursor 一个真正让程序员产生危机感的 AI 编程工具

2024-08-21

OpenAI o1与GPT4o的对比分析

2024-09-23

大模型｜“上下文长度”和“上下文窗口”不再傻傻分不清楚！

2024-07-31

一文带你了解大模型——智能体（Agent）

2024-05-28

50+个AI大模型在不同领域的应用案例

2024-08-04

全面对比dify、coze、streamlit、chainlit

2024-04-26

【深度】AI搜索产品深度分析-搜索原理和商业模式分析

2024-07-09

一文读懂OpenAI新发布o1系列大模型

2024-09-17

大家都在问

伯克利大学35页综述：多智能体LLM系统为何会失败？

2025-04-01

【深度】一文解读Claude如何思考——大模型是真懂是装懂？

2025-04-01

AI Agent：大模型落地应用的“最后一公里”？

2025-04-01

专利答复3天→3小时！AI神器Claude 3.7如何让审查员秒批你的申请？

2025-03-30

MCP 很火，来看看我们直接给后台管理系统上一个 MCP？

2025-03-30

OpenAI拥抱MCP，“MCP经济”下会有哪些新机会？

2025-03-28

DeepSeek、GPT这些AI 大模型版本号为什么现在还没过 5 ？

2025-03-27

Mistral OCR最强OCR模型？

2025-03-27

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB

应聘简历请发送至： ceo@53ai.com

友情链接：

CopyRight © 2012-2024 深圳市博思协创网络科技有限公司版权所有

粤ICP备17114055号

广州：广州市华景路37号(华景软件园)暨南大学科技大厦6楼（整层）杨小姐 186 6662 7370

深圳：深圳市福田区泰然四路29号天安创新科技广场一期A座1204 陈先生 185 8882 0121

上海：上海市浦东新区金新路58号1602室戴先生 186 1639 7587

微信扫码
和创始人交个朋友

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部