支持私有化部署
AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


一文读懂GPU最强辅助:HBM

发布日期:2025-04-11 20:11:52 浏览次数: 1552 作者:科技词话
推荐语

深入探索HBM技术如何成为GPU的最强辅助,实现高性能计算的飞跃。

核心内容:
1. HBM技术的起源和发展,及与传统内存技术的比较
2. HBM在GPU中的具体应用案例和性能表现
3. HBM技术的迭代方向和市场主导者分析

杨芳贤
53A创始人/腾讯云(TVP)最具价值专家
HBM是High Bandwidth Memory的简称,它是一种高性能的3D堆叠DRAM技术,主要用于满足高性能计算和图形处理单元(GPU)对内存带宽和容量的高需求。HBM技术由AMD与海力士(Hynix)共同开发,并在2013年首次公布。

随着计算需求的不断增长,传统的内存技术已经难以满足高性能计算(HPC)和图形处理单元(GPU)对内存带宽和容量的日益增长的需求。在这样的背景下,高带宽内存(HBM)技术应运而生,为解决这一问题提供了创新性的解决方案。
HBM是一种3D堆叠DRAM技术,它通过将多个DRAM芯片层叠在一起,并使用高密度的硅通孔(TSV)和微凸点(microbumps)技术,实现与处理器或GPU的垂直互连。这种设计大幅提高了内存的带宽和容量,同时减小了内存模块的物理尺寸。与传统的GDDR5内存相比,HBM由于其紧凑的设计和高效的数据传输,通常具有更低的功耗。

目前,HBM产品以HBM(第一代)、HBM2(第二代)、HBM2E(第三代)、HBM3(第四代)、HBM3E(第五代)的顺序开发,最新的HBM3E是HBM3的扩展版本。GPU现在一般常见有2/4/6/8四种数量的堆叠,立体上目前最多堆叠12层。

2月26日,美光科技官方宣布开始批量生产HBM3E高带宽内存,其24GB 8H HBM3E产品将供货给英伟达,并将应用于英伟达H200 Tensor Core GPU。美光HBM3E目前拥有24GB 容量,引脚速度超过9.2Gb/s,可提供超过1.2TB/s的内存带宽,为 AI 加速器、超级计算机和数据提供闪电般的数据访问速度。

目前主流 AI 训练芯片都使用 HBM,一颗 GPU 配多颗 HBM。以英伟达最新发布的H200举例,改GPU搭载了6个美光HBM3E 24GB高速显存,按道理来说,H200的内存容量应该是24*6=144GB,内存带宽应该是1.2*6=7.2TB/s,但英伟达官网发布的参数显存只有141GB,并不是整数,显存带宽也只有4.8TB/s,这是出于量产原因,英伟达保留了一小部分作为冗余,以提高良品率。

HBM 不断迭代,迭代方向为增加容量和带宽,目前最高层数为12层。海力士 2014 年推出全世界第一颗 HBM,2018 年推出 HBM2,后续每隔两年推出新一代HBM,目前最新量产的是HBM3e,原厂加速研发,HBM4 可能采用16层堆 叠。从 I/O 数量看(总线位宽),HBM1到HBM3e均保持在1024bit, 而数据的传输速率从HBM1的1Gb/s 提升到 HBM3e的9.2Gb/s,最终实现带宽从HBM1的128GB/s 提升至 HBM3e的1.2TB/s。HBM4的标准目前未确定,目前普遍预期HBM4最高16层堆叠,2048bit总线位宽。

HBM市场主要由三大存储巨头所主导:

SK海力士:作为HBM技术的主要开发者之一,SK海力士在HBM领域占据领先地位。该公司不仅参与了HBM的早期开发,还持续推动技术的迭代,如HBM2、HBM2E到HBM3等。SK海力士在HBM技术上的创新和量产能力,使其成为伟达AI芯片HBM的主要供应商,份额最高。

三星电子:三星电子是全球领先的半导体公司之一,在HBM技术方面也具有强大的研发和生产能力。三星电子不仅在HBM的研发上投入巨大,还积极扩大产能以满足市场需求。三星电子在HBM技术上的进展,包括开发更高密度和更大容量的产品,对提升其在高性能计算和AI领域的竞争力起到了关键作用。三星着重满足其他云端服务业者的订单,在客户加单下,预计在 HBM3 与海力士的市占率差距会大幅缩小,2023~2024 年三星和海力士市占率预估相当,合计拥 HBM 市场约 95%的市占率

美光科技:美光因技术路线判断失误在HBM市场份额比较低,在追赶中。虽然相比SK海力士和三星电子较晚进入HBM市场,但美光通过直接从HBM3E开始着手,并迅速提升技术实力,对现有市场格局构成了挑战,英伟达在H200中使用美光是对其非常大的认可。


二维码过期,可加V:TechRider2023


53AI,企业落地大模型首选服务商

产品:场景落地咨询+大模型应用平台+行业解决方案

承诺:免费场景POC验证,效果验证后签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

添加专属顾问

回到顶部

加载中...

扫码咨询