我要投稿

端侧大模型推理在NPU和CPU的对比

发布日期：2024-08-03 22:44:53 浏览次数： 3255

作者：汽车AI助手

微信搜一搜，关注“汽车AI助手”

一、CPU和NPU推理涉及到的关键知识

这部分是属于基础知识，如果了解可以直接跳过到第二部分。

计算能力

•FLOPS (Floating Point Operations Per Second)：测量计算设备每秒执行浮点运算的能力。例如，60 GFLOPS 表示每秒可以执行60 × 10^9次浮点运算。

•TOPs (Tera Operations Per Second)：测量计算设备每秒执行操作的能力，通常用于NPU和其他加速器。例如，16 TOPs 表示每秒可以执行16 × 10^12次操作。

•DMIPS (Dhrystone MIPS)：测量CPU整数运算性能的指标，主要用于反映CPU在执行Dhrystone基准测试中的性能。

DMIPS与FLOPS之间没有直接的转换关系，因为它们测量的是不同类型的运算性能。通常，假设1 DMIPS ≈ 1 FLOPS 或1 DMIPS ≈ 0.5 FLOPS是简化计算的常见方法，但实际情况依赖于具体CPU架构。

性能相关

•内存带宽：决定了数据在内存和处理单元之间传输的速度。例如，LPDDR5, 64-bit @ 6400 MT/s ≈ 51.2 GB/s 表示每秒可以传输51.2 GB的数据。

•数据传输时间：数据传输时间 = 数据量 / 内存带宽。例如，传输1.4 GB数据需要的时间 = 1.4 GB / 51.2 GB/s ≈ 0.027秒。

•并行处理：CPU和NPU通常具有并行处理能力，可以同时处理多个任务。例如，4核CPU可以并行处理4个任务。

•缓存：现代CPU和NPU通常有缓存用于存储频繁访问的数据，以减少内存访问延迟。

•模型架构：不同的模型架构（如Transformer、RNN等）对计算量和内存访问模式有不同的要求。例如，Transformer模型通常需要大量的矩阵乘法操作。

二、CPU和NPU推理性能

接下来我们通过数学计算的方式来推演端侧大模型分别在CPU和NPU的推理性能，为了方便计算，我们做基于以下背景进行验证：

1.模型参数: 2.8B（2.8 × 10^9）参数

2.输入长度: 250 tokens

3.模型架构: Llama

4. NPU性能: 16 TOPs（16 × 10^12 操作/秒）

5. CPU性能: 4核，每核15K DMIPS

6. 内存带宽: LPDDR5 64-bit @ 6400 MT/s ≈ 51.2 GB/s

7.每个参数4 bit

8.运算形式主要是矩阵运算

1. CPU性能计算

步骤1: 计算每个token的处理总运算量

•模型参数量：2.8B（2.8 × 10^9）个参数

•每个参数的运算量：假设每个参数需要2次基本操作（1次乘法和1次加法）

公式
总运算量= 2.8*10^9（参数）* 2 （操作/参数） = 5.6* 10^9 （操作）

•输入长度：250 tokens

公式
总计算量 = 5.6* 10^9 （操作）* 250 （tokens） = 1.4* 10^{12）（操作）

步骤2: 计算CPU的推理时间

•CPU性能：每核15K DMIPS，4核，总计60K DMIPS

•假设1 DMIPS ≈ 1 FLOPS（为了简化计算）

公式
每秒计算能力= 60K* 10^6 （FLOPS） = 60* 10^9 （FLOPS）

计算时间:

公式
计算时间 =总计算量/每秒计算能力= （1.4* 10^12） / （60* 10^9） = 23.33 （秒）

2. 内存带宽对CPU的影响

•内存带宽：LPDDR5, 64-bit @ 6400 MT/s ≈ 51.2 GB/s

•总数据传输量：

公式
总数据传输量 = 1.4 GB（模型存储需求） + 8 KB（输入数据存储需求） ≈ 1.4 （GB）

数据传输时间:

Plain Text
数据传输时间 = 1.4 （GB）/51.2 （GB/s） ≈ 0.027 （秒）

综合计算时间和内存带宽影响：

公式
总推理时间 ≈ 23.33 （秒） + 0.027 （秒） ≈ 23.357 （秒）

3. NPU性能计算

•NPU性能：16 TOPs = 16 × 10^12 操作/秒

•总运算量：1.4 × 10^12 运算

计算时间:

公式
计算时间 = 总计算量/每秒计算能力= 1.4* 10^12/16* 10^12（秒） = 0.0875 （秒）

4.结果总结

•CPU的推理时间: 约23.357秒（综合计算时间和内存带宽影响）

•NPU的推理时间: 约0.0875秒（内存带宽影响较小）

从这个结果来看，涉及大量计算的场景，NPU 的性能和成本明显优于 CPU。

三、可能的错误

上面的计算过程做了较多的计算模型简化，从计算严谨性的角度，这里把影响结果的前提假设梳理出来供大家参考。

1.DMIPS与FLOPS的转换假设:

￮DMIPS（Dhrystone MIPS）是测量整数运算性能的指标，通常不能直接转换为FLOPS（浮点运算性能）。

￮我们假设1 DMIPS ≈ 1 FLOPS 或1 DMIPS ≈ 0.5 FLOPS，这可能导致误差。实际情况依赖于具体CPU架构。

2.每个参数的运算量假设:

￮假设每个参数需要2次基本操作（1次乘法和1次加法），这可能低估了实际运算量。实际的深度学习计算涉及更多复杂操作。

3.忽略了缓存和其他硬件优化:

￮现代CPU和NPU通常有缓存、流水线等硬件优化，可能显著影响实际推理时间。

4.内存带宽与计算时间的独立性假设:

￮内存带宽影响数据传输速度，假设数据传输和计算是独立的，实际中两者可能同时进行。

5.忽略了模型架构的复杂性:

￮实际模型架构（如Transformer、RNN等）会影响计算量和内存访问模式。

四、 One More Thing

从结果可以看到，对于计算量要求高的推理场景，NPU 更适合于 CPU。但在实际工程化过程中，并不会完全放弃 CPU 而只用 NPU。行业内更多的是将 NPU 集成到 SoC 上，让 NPU、CPU、GPU 共同完成复杂任务。在实际工程化过程中，甚至会选择将一部分推理任务放在 CPU 上进行。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-10-13

Dify + 飞书组合拳：企业级 AI 安全大脑落地全指南，助力安管效率提升 300%

2025-09-23

专访Plaud中国区CEO：我们只做“必须做”和“不做要死”的事

2025-09-21

一款随时心理陪伴的AI硬件

2025-09-20

硬件不行，AI失灵，AI硬件创业者的第一道生死关

2025-09-19

刚刚，港版 iPhone 17 Air 抢空！eSIM+系统级AI，国行果粉实名羡慕

2025-09-15

钉钉AI硬件DingTalk A1，开会摸鱼的神

2025-09-11

手机敲三下，1秒录入客户信息：我用AI+n8n搭建的数据同步系统

2025-09-09

Rokid Glasses应用心愿单-采购清单

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

刚刚，港版 iPhone 17 Air 抢空！eSIM+系统级AI，国行果粉实名羡慕

2025-09-19

AI录音卡片大比拼：一文讲懂谁更值得买

2025-09-02

iPhone16 接入 Grok 4，国行果粉同步全球最强AI

2025-07-22

AI硬件的Aha Moment到了吗？

2025-09-02

我用飞书表格，实现门店的多屏的无人化管理

2025-08-25

Rokid Glasses优化设想

2025-09-05

为什么钉钉、360也要入局AI录音卡片？被种草之后一个反思：虽然很好用，但Rabbit R1的致命问题依旧存在

2025-09-02

我把滴滴出行MCP当成老年机来用，效果太棒了

2025-08-22

一款让人欲罢不能的AI硬件

2025-08-28

前美团硬件负责人创业，做了一款项链式的「AI相机」｜涌现NewThings

2025-08-23

大家都在问

AI硬件的Aha Moment到了吗？

2025-09-02

粉笔推出AI智能音箱：AI战略重要一环？

2025-08-15

微信支付这波操作把我干懵了，Agent能赚钱？

2025-07-08

OpenAI 的第一款 AI 硬件，竟然是一支笔？

2025-07-08

企业当前适合引入大模型驱动的智能运维吗？

2025-05-27

我们是否应该用 Lite-GPU 构建 AI 集群？

2025-05-24

下一代软件交互：传统应用如何进化成AI Agent？

2025-05-17

A100、4090、RTX 6000 Ada、RTX 4000 Ada，谁是AI推理时代的真香卡？

2025-05-14

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB