一文读懂：AI时代为什么需要DPU？

推荐语

AI时代算力革命，DPU如何打破传统架构瓶颈，释放智算中心潜能？

核心内容：
1. AI时代智算中心建设对DPU的需求
2. DPU的网络处理能力与安全、存储功能
3. DPU架构革新带来的算力释放、性能提升和安全隔离

杨芳贤

53A创始人/腾讯云(TVP)最具价值专家

AI时代的架构困局

随着大模型训练对算力的指数级需求，传统冯·诺依曼架构的局限性日益凸显。当ChatGPT等模型将工作负载分布到数千颗GPU时，突发的梯度数据传输导致网络拥塞，形成"算力墙"与"内存墙"之外的第三大瓶颈。数据显示，传统架构下服务器CPU约10%的算力被网络协议处理、存储管理、安全验证等基础设施任务占用，造成资源浪费。

比如，你买了100核的CPU，只能用90个核，其他10个核去哪里了？跑了一堆数据中心的软件，安全，存储，管理等等。那么这些额外10个核的开销部分就造成了一些浪费。相当于花了100块钱，只有90块钱被用在了计算上。因此，那么就需要一个专门干脏活累活的角色——DPU。

DPU，即数据处理器，具备强大网络处理能力，以及安全、存储与网络卸载功能，可释放CPU算力，能够完成CPU所不擅长的网络协议处理、数据加解密、数据压缩等数据处理任务，并对各类资源分别管理、扩容、调度，即处理“CPU做不好，GPU做不了”的任务，

DPU的架构革新

DPU通过构建"数据平面智能"，将网络从单纯的传输管道升级为可编程的计算节点。其核心价值在于：

1. 算力释放：将网络虚拟化（VxLAN）、存储加速（NVMeoF）、安全加密（IPSec）等任务卸载，使CPU/GPU专注核心计算

2. 性能跃迁：在100Gbps网络环境下，DPU可实现线速处理，延迟降低90%以上

3. 安全隔离：通过硬件级隔离构建零信任架构，阻断攻击横向扩散

DPU的发展可分为三个阶段：

第一阶段：智能网卡时代（2010-2019）

Mellanox的ConnectX系列开创网络加速先河，实现简单协议卸载。当时，为了降低CPU在数据中心的额外消耗，来自以色列的Mellanox公司提出了 Smart NIC （智能网卡）的概念。

在虚拟化环境中，CPU的工作负担极为繁重。它不仅要运行OVS（Open Virtual Switch）相关任务，还需兼顾存储管理、数据包的在线及离线加解密、数据包深度检查、防火墙管控以及复杂路由等多项复杂操作。如此高强度的工作，严重限制了CPU性能的充分发挥，导致其无法达到最佳状态。

Smart NIC的问世，为化解CPU资源额外消耗这一难题提供了全新的有效途径。借助Smart NIC，OVS操作得以从CPU中卸载，同时，它还能独立承担起存储加速、数据加密、深度包检测以及复杂路由等多种关键功能。这一系列功能的转移，使得原本耗费在处理这些工作负载上的大量CPU周期得以释放，重新归还给主机CPU。

如此一来，不仅有效解决了不同业务在CPU资源占用上的冲突问题，大幅提升了各项业务的运行性能，还确保了服务器CPU能够全力为应用提供强大的处理能力，或者为虚拟机（VM）服务提供更多资源支持，进而为企业创造更大的价值。 

第二阶段：DPU元年（2020）

NVIDIA收购Mellanox后发布BlueField-2，首次定义"第三大算力单元"。

正是看到了智能网卡的巨大商业价值，2019年3月，英伟达花费69亿美元收购了以色列芯片公司 Mellanox 。并在2020年推出了DPU产品，从此， DPU 这个概念正式进入了公众视野。

那一年，NVIDIA正式推出了两款 DPU 产品：BlueField-2 DPU 和 BlueField-2X DPU 。

第三阶段：架构创新期（2021至今）

2021年4月，NVIDIA对外发布了新一代数据处理器-NVIDIA BlueField-3 DPU。NVIDIA推出的BlueField-3 DPU无疑是一款具有开创性意义的产品。它作为全球首款专为AI和加速计算精心设计的DPU，一经问世便备受瞩目。

值得一提的是，BlueField-3作为业内首款集成了400G以太网和NDR InfiniBand的DPU，其网络性能堪称出色。它能够为那些对性能要求极为苛刻的工作负载，提供软件定义且硬件加速的数据中心基础设施解决方案。从AI领域到混合云环境，再到高性能计算以及5G无线网络，BlueField-3 DPU都展现出了强大的适应性和卓越的性能，重新定义了这些领域在数据处理和计算方面的可能性。

然而，NVIDIA并未满足于BlueField-3 DPU所取得的成就。随着大模型的不断涌现和广泛应用，提升GPU集群的分布式计算性能和效率、增强GPU集群的横向扩展能力以及实现生成式AI云上的业务性能隔离，成为了整个行业共同面临的关键挑战。为了应对这些挑战，在2023年底，NVIDIA推出了BlueField-3 SuperNIC。

BlueField-3 SuperNIC是NVIDIA针对生成式AI云的特殊需求而精心打造的产品。它源于BlueField DPU，采用了与DPU相同的架构，但在功能和应用场景上又有所区别。BlueField DPU主要专注于基础设施操作的卸载，对南北向流量进行加速和优化；而BlueField-3 SuperNIC则巧妙地借鉴了InfiniBand网络上的动态路由、拥塞控制和性能隔离等先进技术，同时充分兼容了以太网标准在云上的便利性，从而能够更好地满足生成式AI云对于性能、扩展性和多租户的严格要求，实现了对东西向流量的有效性能优化。

总体而言，目前NVIDIA的BlueField-3网络平台涵盖了两款极具特色的产品。其中，BlueField-3 DPU能够实现限速处理软件定义、网络、存储和网络安全等多项关键任务；而BlueField SuperNIC则专为强力支持超大规模AI云而设计，两者相辅相成，共同构成了NVIDIA在数据中心领域的强大技术支撑。

国内市场DPU发展趋势

在国内市场，DPU的研发同样呈现出蓬勃发展的态势。以中科驭数为例，其首颗国产DPU芯片K2于2022年成功上市，标志着国内在DPU技术研发方面取得了重大突破。随后，在去年6月发布的全功能三代DPU芯片K2Pro，更是展现出了强大的性能和广泛的应用前景。目前，K2Pro已经在超低延迟网络、云和数据中心、金融计算、大数据处理以及高性能计算等多个关键领域得到了广泛应用，为国内的数据处理和计算技术的发展提供了有力的支持。

当前，中国DPU产业尚处起步阶段。从国内市场需求层面审视，中国坐拥全球最为强劲的互联网产业，拥有规模庞大的网民群体以及丰富多元的线上生态体系。海量数据的井喷式爆发，极大地激发了对算力的强烈需求。与此同时，中国对网络安全的重视程度与日俱增。DPU在保障网络安全领域独具显著优势，从精细的数据安全防护，到数据中心全方位的安全守护，均能实现无缝覆盖，展现出良好的发展潜力，而这也构成了DPU产业在中国发展的重要前提条件 。