NVIDIA DGX SuperPOD™与NVIDIA DGX™ H100系统是下一代数据中心人工智能（AI）架构。旨在提供AI模型训练、推理、高性能计算（HPC）和混合应用中的高级计算挑战所需的计算性能水平，以提高预测性能和解决方案的时间。DGX SuperPOD基于NVIDIA在内部研究中构建的基础设施，并旨在解决当今最具挑战性的计算问题。基于DGX SuperPOD架构的系统已部署在全球客户数据中心和云服务提供商中。为了实现最大的可扩展性，DGX SuperPOD采用了几项关键的NVIDIA技术，包括：

- NVIDIA DGX H100系统-为人工智能和高性能计算提供最强大的计算构建模块。

- NVIDIA NDR（400 Gbps）InfiniBand-提供最高性能、最低延迟和最可扩展的网络互连。

- NVIDIA NVLink®技术-通过NVLink层连接GPU，为最苛刻的通信模式提供前所未有的性能。

DGX SuperPOD架构由NVIDIA 组件构成解决方案，包括NVIDIA Base Command™、NVIDIA AI Enterprise、CUDA和NVIDIA Magnum IO™。这些技术有助于保持系统在最高的可用性、性能和NVIDIA企业支持（NVEX）下平稳运行，确保所有组件和应用程序正常运行。

DGX SuperPOD的关键组件

DGX SuperPOD架构旨在提供最佳的模型训练和存储性能，广泛应用于企业、高等教育、研究和公共部门等客户。使用SUs，系统部署时间从几个月缩短到几周。利用DGX SuperPOD设计可以减少下一代模型和应用的解决方案和上市时间。

NVIDIA DGX H100 系统

DGX H100 系统比 DGX A100 系统 更优秀的点：

NVIDIA InfiniBand技术

InfiniBand是一种高性能、低延迟、支持RDMA的网络技术，经过20多年的验证可以提供最佳的节点间网络性能。由InfiniBand贸易协会（IBTA）推动，它不断发展并引领数据中心网络性能，最新一代的InfiniBand，NDR，每个方向的峰值速度为400 Gbps。它与之前的InfiniBand规范兼容。InfiniBand不仅有极佳的性能，还提供了其他优化性能方式，包括自适应路由（AR），具有SHARP的集体通信，具有SHIELD的动态网络修复，并支持多种网络拓扑，包括fat-tree，Dragonfly和多维Torus，以构建丰富的布局和计算系统。

运行时（Runtime）和系统管理

DGX SuperPOD RA代表了构建高性能数据中心的最佳实践。这些系统的呈现方式对于客户和用户来说是灵活的。NVIDIA Base Command是一款管理软件，用于DGX SuperPOD的部署。

DGX SuperPOD可以部署在本地，客户完全拥有和管理硬件，就像传统系统一样，它可以在客户的数据中心内或在商业数据中心中进行。同时，客户可以选择通过NVIDIA NGC™使用安全的云原生界面来操作系统。

组件

硬件组件

软件组件

设计原则

DGX SuperPOD的设计旨在通过紧密耦合的配置来最小化系统瓶颈，以提供最佳性能和应用可扩展性。每个子系统都经过精心设计以实现这一目标。此外，整体设计具有灵活性，可以根据数据中心的要求进行定制，以更好地集成到现有数据中心中。

系统设计

DGX SuperPOD针对AI、HPC和混合应用集群进行了优化：

- 基于每个SUs的32个DGX H100系统的模块化架构。

- 完全测试过的系统可扩展到四个SUs，但可以根据客户需求构建更大规模的部署。

- 机架设计可以支持每个机架的一个、两个或四个DGX H100系统，因此机架布局可以根据不同的数据中心需求进行修改。

- 已经通过认证的，可在DGX SuperPOD环境中使用的合作伙伴存储。

- NVIDIA企业支持（NVES）提供全面的系统支持，包括计算、存储、网络和软件。

计算特性

• 计算网络针对顶层网络进行了优化。

• 计算网络是一个平衡的、全速的树状结构。

• 在设计中使用了管理型NDR交换机，以提供更好的网络管理。

• 该网络设计支持最新的SHaRPv3功能。

存储特性

存储网络提供高带宽的共享存储。有以下特点 

- 存算分离、它与计算网络相互独立，以最大化存储和应用性能。

- 为每个DGX H100系统提供至少40 GBps的单节点带宽。

- 存储通过InfiniBand提供，并利用RDMA提供最大性能并最小化CPU开销。

- 它灵活且可按需扩展以满足特定的容量和带宽要求。

- 可访问的管理节点提供对共享存储的访问。

带内管理网络

• 基于以太网的带内管理网络用于节点配置、数据移动、Internet访问和其他用户可访问的服务。

• 计算和管理服务器的带内管理网络连接速度为100 Gbps，并进行了绑定以提高可靠性。

带外管理网络

OOB管理网络连接所有基本管理控制器（BMC）端口，以及其他应与系统用户物理隔离的设备。

外部存储需求

DGX SuperPOD计算架构必须与高性能、平衡的存储系统配对，以最大化整体系统性能。DGX SuperPOD设计为使用两个独立的存储系统，高性能存储（HPS）和用户存储，针对吞吐量、并行I/O以及更高的IOPS和元数据工作负载进行了优化。

高性能存储

HPS必须提供：

- 高性能、可靠的、针对多线程读写操作进行优化的POSIX风格文件系统。

- 原生InfiniBand支持。

- 本地系统内存用于透明缓存数据。

- 透明地利用本地磁盘缓存更大的数据集。

用户存储

用户存储必须：

- 针对高元数据性能、IOPS和关键企业功能（如检查点）进行设计。这与HPS不同，HPS针对并行I/O和大容量进行了优化。

- 通过以太网进行通信，以提供存储的备用路径，以便在存储网络或HPS故障时，管理员仍然可以并行访问和管理节点。

DGX SuperPOD架构

DGX SuperPOD架构是DGX系统、InfiniBand和以太网、管理节点和存储的组合。在这个例子中，每个机架的功耗超过40kW。机架布局可以根据本地数据中心的要求进行调整，例如每个机架的最大功率和DGX系统与支持设备之间的机架布局，以满足电力和冷却分配的本地需求。下图显示了单个SU的机架布局。

下图显示了一个示例的管理机架配置，包括网络交换机、管理服务器、存储阵列和UFM设备。大小和数量将根据使用的模型而变化。

该参考架构专注于具有128个DGX节点的4个SU单元。DGX SuperPOD可以扩展到更大的配置，包括64个SU单元和2000多个DGX H100节点,详细查看下表。

网络结构

SU的构建系统提供最高效的设计，如果不同的节点计数是由于预算限制、数据中心限制或其他需求而需要，结构应为设计用于支持完整的 SU，包括叶开关和叶脊电缆，并留下这些节点所在的未使用的结构。这将确保最佳的流量路由和确保结构所有部分的性能一致。

DGX SuperPOD配置使用四个网络结构：

- 计算网络 

- 存储网络

- 带内管理网络 

- 带外管理网络。

每个网络在本节中都有详细介绍。

下图显示了DGX H100 CPU托盘背面的端口和连接性。中间的计算网络端口使用双端口收发器来访问所有八个GPU。每对带内管理和存储端口为DGX H100系统提供了并行路径，以提高性能。OOB端口用于BMC访问。（BMC端口旁边的LAN端口DGX SuperPOD配置中不使用）

计算结构

下图显示了完整的127节点DGX SuperPOD的计算布局。每组32个节点都是1：1收敛的。DGX H100系统的每个链路的流量始终与SU中的其他31个节点相距一跳。节点之间或链路之间的流量经过spine层。

下表显示了不同SU大小的计算布局所需的电缆和交换机数量。

存储结构

存储网络采用了InfiniBand网络结构，这对于最大带宽是必不可少的。这是因为DGX SuperPOD每个节点的I/O必须超过40 GBps。高带宽要求与先进的网络管理功能，如拥塞控制和AR，为存储网络提供了显着的优势。

存储网络使用MQM9700-NS2F交换机。存储设备与上行端口的比例为1:1。DGX H100系统连接略微超额订阅，比例接近4:3，根据需要进行调整，以实现更多的存储灵活性，以满足成本和性能的要求。

带内管理

带内管理网络提供了几个关键功能：

- 连接管理集群的所有服务。

- 允许访问家庭文件系统和存储池。

- 为集群内的服务（如基本命令管理器、Slurmand）提供连接，以连接到集群外的其他服务，如NGC注册表、代码仓库和数据源。

下图显示了带内以太网网络的逻辑布局。带内网络连接计算节点和管理节点。此外，OOB网络连接到带内网络，以提供从管理节点到OOB存储布线上连接的设备（如存储）的高速接口，以支持并行操作。

带外管理

下图显示了OOB以太网布线。它连接了所有设备的管理端口，包括DGX和管理服务器、存储、网络设备、机架PDU和所有其他设备。这些端口是分开的，因为没有使用情况需要用户访问这些端口，并且使用逻辑网络隔离进行安全保护。

存储架构

海量的数据是开发深度学习模型的关键。随着数据量不断增长，用于训练模型的数据也在不断增长，数据格式在数据访问速度方面也起到关键作用。DGX H100系统的性能比其前身快了多达九倍，为了实现这一点，在实践中，存储系统的性能必须相应地扩展。

深度学习模型训练中的关键I/O操作是重新读取，仅仅是读取数据，而且由于深度学习模型训练的迭代性质，必须反复重用数据。纯读取性能仍然很重要，因为某些模型类型可以在一个epoch的一小部分时间内训练（例如，某些推荐模型），而现有模型的推理过程可能具有更高的I/O密集性，远远超过训练过程。写入性能也可能很重要，因为深度学习模型的规模和训练时间增长，写入检查点对于容错是必要的。检查点文件的大小可以达到几TB，虽然不经常写入，但通常是同步写入，会阻塞深度学习模型的前进进程。

理想情况下，在第一次读取数据集时将数据缓存起来，这样就不需要通过网络重新获取数据。共享文件系统通常使用RAM作为缓存的第一层。从缓存中读取文件的速度比从远程存储快上一个数量级。此外，DGX H100系统提供NVMe storage也可以用于缓存或分阶段数据。

DGX SuperPOD设计用于支持所有工作负载，但为了最大化训练性能，所需的存储性能可能因模型和数据集类型而异。下表的指南可帮助确定不同类型模型所需的I/O级别。

存储性能需求

存储性能指南

注意：随着数据集变得越来越大，它们可能不再适合本地系统的缓存中。将不适合缓存的大型数据集与非常快的GPU配对可能会导致难以实现最大训练性能的情况。NVIDIA GPUDirect Storage®（GDS）提供了一种将数据从本地NVMe直接读入GPU内存的方法，提供更高的持续I/O性能和更低的延迟。使用DGX SuperPOD上的存储网络，启用GDS的应用程序应该能够以超过27GBps的速度直接读取数据到GPU中。

高速存储为组织的所有节点提供了共享视图。它必须针对小型、随机的I/O模式进行优化，并提供高峰值节点性能和高聚合文件系统性能，以满足组织可能遇到的各种工作负载。高速存储应支持从单个系统进行高效的多线程读写，但大多数深度学习工作负载都是以读为主。

在汽车和其他与计算机视觉相关的任务中，使用1080p图像进行训练（在某些情况下是无损压缩）的用例涉及的数据集很容易超过30 TB的大小。在这些情况下，每个GPU的读取性能需要4 GBps。

虽然自然语言处理的情况通常不需要太多的读取性能进行训练，但在创建和读取检查点文件时需要峰值性能的读写能力。这是一个同步操作，在此阶段训练会停止。如果您正在寻找最佳的端到端训练性能，请不要忽视检查点的I/O操作。上述指标假设存在各种工作负载、数据集，并且需要从高速存储系统进行本地和直接训练。在最终确定性能和容量需求之前，最好对工作负载和组织需求进行准确定性。