我要投稿

Character.AI 推理服务2万QPS背后的技术点

发布日期：2024-08-09 09:05:30 浏览次数： 2200 作者：竹言见智

LLM推理吞吐量的关键瓶颈在于KV大小，它不仅决定了 GPU 上可以容纳的最大批量大小，而且还影响注意力层的 I/O 成本。CharacterAI通过使用以下技术，在不降性能情况下，将 KV 缓存大小减少 20 倍以上。

多查询注意力MQA

在所有注意力层中都采用了多查询注意力（Shazeer，2019）。与大多数开源模型中采用的 Grouped-Query Attention 相比，这将 KV 缓存大小减少了 8 倍。暂无具体超参及实验数据。

混合注意力视野Hybrid Attention Horizons

利用LongFormer中技术，将局部注意力（Beltagy et al.， 2020）与全局注意力层交错（如上图d所示），通过滑动窗训练局部注意力，并将复杂度从 O(n²)降低到 O(n)，这里n表示输入序列长度。实验发现在大多数注意力层上将注意力范围减少到 1024 不会对评估指标产生显着影响，包括长上下文大海捞针基准。在生产环境中，每 6 个layer中只有 1 个使用全局注意力。

跨层KV共享Cross Layer KV-sharing

我们将 KV 缓存绑定在相邻的注意力层之间，这进一步将 KV 缓存大小减少了 2-3 倍。对于全局注意力层，我们将多个全局层的 KV 缓存跨块绑定，因为在长上下文用例下，全局注意力层主导着 KV 缓存大小。与论文（Brandon et al.， 2024）效果类似，跨层共享 KV 不会降低质量。

Stateful Caching 有状态缓存

Character.AI 产品的特点是其中大多数聊天都是长对话，平均一条消息的对话历史记录为 180 条消息。随着对话时间越来越长，在每个回合不断重新填充 KV 缓存的成本将非常高。

为了解决这个问题，Character.AI开发了一种轮次间缓存系统。对于每个prefilled前缀和生成消息，将 KV 值缓存在本地内存，方便快速查询。

与 RadixAttention （Zheng et al.， 2023）类似，使用树状结构在 LRU 缓存中管理缓存的 KV 张量，类似下效果。缓存的 KV 值由前缀标记的滚动哈希编制索引，对于每个新查询，将为上下文的每个前缀计算滚动哈希，并检索最长匹配项的缓存。这样即使对于部分匹配的消息，也可以重复使用缓存。

在队列级别，使用会话粘性将来自同一对话框的查询路由到同一服务器。由于 KV 缓存较小，因此每个服务器可以同时缓存数千个对话。系统实现了 95% 的缓存率，进一步降低了推理成本。

训练及服务的量化

定制实现 int8 内核，对模型权重、激活和注意力 KV 缓存进行量化。与PTQ技术不同系统以 int8 精度原生训练模型，消除了训练/服务不匹配的风险，同时也显着提高了训练效率。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-04-26

从Function Call到MCP：大模型如何调用外部工具

2025-04-26

增量代码自动Review工具：洞窝在AI上的探索和实践

2025-04-25

OpenAI 白送 200 美元的深度研究功能？实测后发现这个「阉割版」不如不用

2025-04-25

为什么一定要做Agent智能体？

2025-04-25

哇！首个MCPBench来了，MCP竟然不比Function Calls更有优势？ | 最新

2025-04-25

医疗大模型案例分析（一）：Google Med-PaLM

2025-04-25

vLLM+Qwen-32B+Open Web UI构建本地私有大模型

2025-04-25

AI产品经理思考MCP（3）：MCP的未来可能

了解更多

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

本地部署大模型？看这篇就够了，Ollama 部署和实战

2024-08-13

16个具有“联网搜索”功能的AI：总有一个适合你！

2024-06-13

Cursor 一个真正让程序员产生危机感的 AI 编程工具

2024-08-21

OpenAI o1与GPT4o的对比分析

2024-09-23

大模型｜“上下文长度”和“上下文窗口”不再傻傻分不清楚！

2024-07-31

一文带你了解大模型——智能体（Agent）

2024-05-28

50+个AI大模型在不同领域的应用案例

2024-08-04

全面对比dify、coze、streamlit、chainlit

2024-04-26

【深度】AI搜索产品深度分析-搜索原理和商业模式分析

2024-07-09

一文读懂OpenAI新发布o1系列大模型

2024-09-17

大家都在问

为什么一定要做Agent智能体？

2025-04-25

除了MCP我们还有什么？

2025-04-24

LLM 推理引擎之争：Ollama or vLLM ?

2025-04-24

专题策划（下）| 如何实现大模型与行业的深度耦合？

2025-04-23

OpenAI：就你们也配做智能体？

2025-04-23

白话解析 DPO：如何让 AI 直接学习人类偏好？

2025-04-22

独家｜百度上线“心响”App，平替版Mauns来了？

2025-04-21

Deep Research 类产品深度测评：下一个大模型产品跃迁点到来了吗？

2025-04-21

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB

应聘简历请发送至： ceo@53ai.com

友情链接：

CopyRight © 2012-2024 深圳市博思协创网络科技有限公司版权所有

粤ICP备17114055号

广州：广州市华景路37号(华景软件园)暨南大学科技大厦6楼（整层）

深圳：深圳市福田区泰然四路29号天安创新科技广场一期A座1204

上海：上海市浦东新区金新路58号1602室

微信扫码
和创始人交个朋友

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部