H200与H100的区别是什么

推荐语

NVIDIA最新H200 GPU性能大揭秘，显存升级带来速度革命。

核心内容：
1. H200与H100在算力参数和功率上的对比
2. H200显存升级带来的推理速度翻倍
3. H200在高性能计算领域的应用优势及NVIDIA Grace Hopper架构介绍

杨芳贤

53A创始人/腾讯云(TVP)最具价值专家

从图中可以明显的看出，H200与H100在算力参数上完全一致，甚至功率都一样，唯一的差别就在GPU显存上，H200采用的GPU显存是HBM3e，而H100是HBM3，这就导致H200的GPU 显存直接从80GB增加到了141GB，几乎翻倍，而显存带宽从3.35TB/s增加到了4.8TB/s，是H100的1.4倍。

在不断发展的人工智能领域，企业依靠大型语言模型来满足各种推理需求。LLM企业在大规模部署推理服务器时，需要以最低的TCO实现最高的吞吐量。从NVIDIA提供的官方测试报告可以看出，H200的推理性能提到大幅度提升，Llama2 70B模型下，可以达到H100的两倍。

显存带宽对于高性能计算（HPC）应用至关重要
，它可以加快数据传输速度并减少复杂数据处理的瓶颈。对于内存密集型的HPC应用，如仿真模拟、科学研究和人工智能，H200的更高内存带宽确保了数据可以高效地被访问和操作，从而实现结果生成时间快110倍。

同时，NVIDIA也发布了GH200（H200+Grace CPU）的芯片参数。来看一下整体的架构。

NVIDIA Grace Hopper 架构将 NVIDIA Hopper GPU 的开创性性能与 NVIDIA Grace CPU 的多功能性结合在单个超级芯片中，通过高带宽、内存一致性的 NVIDIA NVLink 芯片到芯片（C2C）互连进行连接。

NVIDIA NVLink-C2C 是一种用于超级芯片的内存一致性、高带宽、低延迟的互连技术。NVLink-C2C在CPU和GPU之间提供了高达900GB/s的总带宽，是加速系统中常用 PCIe Gen5 通道的7倍。NVLink-C2C 使应用程序能够使用 GPU 的显存，并直接以高带宽使用 Grace CPU 的内存。

每个 GH200 Grace Hopper 超级芯片拥有高达480GB的LPDDR5X CPU内存。GH200可以轻松部署在标准服务器中，运行各种推理、数据分析以及其他计算和内存密集型工作负载。GH200还可以与 NVIDIA NVLink 交换机系统结合使用，所有 GPU 线程在多达256个 NVLink 连接的 GPU 上运行。

Grace CPU：目前NVIDIA Grace CPU 是世界上最快的 Arm数据中心 CPU。Grace CPU 旨在实现高单线程性能、高内存带宽和出色的数据移动能力。NVIDIA Grace CPU 结合了72个 Neoverse V2 Armv9 核心和高达480GB的服务器级 LPDDR5X 内存，带有ECC（纠错码）。这种设计实现了带宽、能效、容量和成本之间的最佳平衡。

NVLink-C2C 内存一致性：内存一致性提高了开发者的生产力、性能和 GPU 可访问内存的数量。CPU 和 GPU 线程可以同时且透明地访问 CPU 和 GPU 驻留的内存，允许开发者专注于算法而非显式内存管理。内存一致性让开发者只传输所需的数据，而不是将整个页面来回迁移到 GPU。它还通过允许 CPU 和 GPU 的原生原子操作，提供了 GPU 和 CPU 线程之间的轻量级同步原语。

对于 AI 推理工作负载，GH200 Grace Hopper 超级芯片与 NVIDIA 网络技术结合，为扩展解决方案提供最佳的 TCO（总体拥有成本），让客户可以使用高达624GB的快速访问内存来处理更大的数据集、更复杂的模型和新的工作负载。

NVIDIA GH200 还提供双 GH200 配置，两个 Grace Hopper 超级芯片通过 NVLink 完全连接，提供 288GB 的 HBM3e 和 1.2TB 的快速内存，用于计算和内存密集型工作负载。