支持私有化部署
首页
产品服务
解决方案
AI知识库
关于我们
公司介绍 渠道合作
预约演示
AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


立即咨询 预约演示
首页 AI知识库 前沿技术 开源大模型

我要投稿

刚刚！DeepSeek开源FlashMLA，推理加速核心技术

发布日期：2025-02-24 13:23:22 浏览次数： 1789 作者：Datawhale
推荐语

DeepSeek开源FlashMLA，推理加速新突破！

核心内容：
1. DeepSeek开源周首日，发布FlashMLA解码核
2. FlashMLA针对Hopper GPU优化，显著提升推理效率
3. 项目快速部署指南及性能测试结果

杨芳贤
53A创始人/腾讯云(TVP)最具价值专家


上周五，DeepSeek 发推说本周将是开源周（OpenSourceWeek），并将连续开源五个软件库。

第一个项目，果然与推理加速有关。

北京时间周一上午 9 点，刚一上班（同时是硅谷即将下班的时候），DeepSeek 兑现了自己的诺言，开源了一款用于 Hopper GPU 的高效型 MLA 解码核：FlashMLA。

image.png

该项目上线才 45 分钟就已经收获了超过 400 star！并且在我们截图时，Star 数量正在疯狂飙升。

image.png

项目地址：https://github.com/deepseek-ai/FlashMLA

众所周知，MLA是DeepSeek大模型的重要技术创新点，主要就是减少推理过程的KV Cache，从而实现在更少的设备上推理更长的Context，极大地降低推理成本。

此次 DeepSeek 直接开源了该核心技术的改进版本，可以说是诚意满满。

接下来，就让我看下这个开源项目的核心内容。

据介绍，FlashMLA 是适用于 Hopper GPU 的高效 MLA 解码内核，针对可变长度序列服务进行了优化。

目前已发布的内容有：

  •  BF16
  •  块大小为 64 的分页 kvcache

其速度非常快，在 H800 SXM5 GPU 上具有 3000 GB/s 的内存速度上限以及 580 TFLOPS 的计算上限。

在部署这个项目之前，你需要的有：

  •  Hopper GPU
  •  CUDA 12.3 及以上版本
  •  PyTorch 2.0 及以上版本

快速启动

  • 安装

python setup.py install

  • 基准

python tests/test_flash_mla.py

使用 CUDA 12.6，在 H800 SXM5 上，在内存绑定配置下实现高达 3000 GB/s，在计算绑定配置下实现 580 TFLOPS。

  • 用法


from flash_mla import get_mla_metadata, flash_mla_with_kvcache

tile_scheduler_metadata, num_splits = get_mla_metadata (cache_seqlens, s_q * h_q //h_kv, h_kv)

for i in range (num_layers):...o_i, lse_i = flash_mla_with_kvcache (q_i, kvcache_i, block_table, cache_seqlens, dv,tile_scheduler_metadata, num_splits, causal=True,)...

该项目发布后也是好评如潮。

image.png

甚至有网友打趣地表示：「听说第五天会是 AGI」。

image.png

最后，还是那句话：这才是真正的 OpenAI

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业

上一篇：ChatBox社区版联网搜索教程：OpenRouter配置指南 下一篇：官方报告：DeepSeek-V3 模型是如何炼成的！
返回列表
相关资讯

2025-04-20

谷歌Agent2Agent协议：AI协作的新曙光

2025-04-19

DeepSeek+Dify 构建本地知识库，真香！

2025-04-19

微软开源实时交互模型：提升Agent动态复杂处理能力

2025-04-19

微软最新 Playwright MCP 服务器强势来袭？

2025-04-18

OpenManus：开源版 Manus，无需邀请码，5 分钟极速体验！

2025-04-18

OpenAI开源34页Agents最佳实践白皮书~

2025-04-18

OpenAI推出终端编码智能体Codex CLI了

2025-04-18

“开源版coze”爆火，融资超 4.6 亿！如今 Docker 拉取量超 1 亿，斩获 77.5k star
智能化改造方案 智能化改造方案 了解更多
大模型落地应用平台 大模型落地应用平台 了解更多
160+中大型企业正在使用53AI
立即咨询 预约演示
把握AI发展的机遇，共同探索、共同进步

2025-01-22
如何打造基于GenAI的员工服务机器人

2025-01-22
热点资讯
我把最近爆火的 DeepSeek-V3 接到了 Cursor！

2025-01-01
Ollama 本地运行大模型(LLM)完全指南

2024-07-25
万字详解DeepSeek-R1，引爆AI圈的又一力作，大模型爆发势不可挡！

2025-01-21
太强了！10​大开源大模型！

2024-05-06
QWEN2.5开源上新，14B/32B回归实测：这就是最强单卡本地模型！

2024-09-20
全民进入GPT-4时代：OpenAI强势推出GPT-4o mini！彻底取代GPT-3.5！

2024-07-20
Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人

2024-06-12
如何免费使用 Claude AI？Claude使用指南！

2024-07-11
开源项目Composio：突破 AI 智能体开发的边界

2024-08-13
DeepSeek-V3 正式发布

2024-12-26
大家都在问
微软最新 Playwright MCP 服务器强势来袭？

2025-04-19
OpenAI开源的Codex CLI是什么？

2025-04-17
MCP，这个AI 开源协议有多大想象空间？

2025-04-15
Google ADK，知多少？

2025-04-13
一文看懂谷歌 A2A：它到底是个啥？为什么能带AI Agent 组队开黑？

2025-04-10
实测Llama 4，究竟是王者归来，还是廉颇老矣？

2025-04-07
4天开发，1700万美元融资：开源的Browser Use为啥这么火？

2025-04-03
为什么大模型本地部署后“没了下文”？

2025-04-03
热门标签
内容创作 大模型技术 个人提效 langchain llamaindex 多模态技术 RAG技术 智能客服 知识图谱 模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架 提示词技巧 AI+电商 AI面试 数字员工 ChatBI 知识管理 开源大模型 智能营销 智能硬件 智能化改造 AI+医疗 MaxKB


应聘简历请发送至： ceo@53ai.com
产品服务
工作+AI
工作对话
内容创作
方案撰写
魔法菜单
业务+AI
智能问答
拓展能力
私有模型
AIx业务
应用智改
LLMFlow
ChatBI
统管平台
大模型咨询
大模型开发
解决方案
【智能问答】解决方案
【应用智改】解决方案
【智能工单】解决方案
AI知识库
前沿技术
Agent框架
行业应用
企业经营
结构化提示词
关于我们
公司介绍
渠道合作
友情链接：
通往AGI之路 云璨信息 企微SCRM 小名片 优网科技
CopyRight © 2012-2024 深圳市博思协创网络科技有限公司 版权所有
粤ICP备17114055号

广州：广州市华景路37号(华景软件园)暨南大学科技大厦6楼（整层） 

深圳：深圳市福田区泰然四路29号天安创新科技广场一期A座1204    

上海：上海市浦东新区金新路58号1602室    

微信扫码
和创始人交个朋友

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

添加专属顾问

回到顶部

加载中...

扫码咨询