买最贵的GPU，挨最毒的打！

推荐语

AI项目中存储的重要性被严重低估，老季的教训告诉你，最贵的GPU也可能因为存储瓶颈而失败。

核心内容：
1. 老季与行业龙头合作，忽视存储导致项目失败
2. 数据处理环节对存储的高要求，传统存储的不足
3. 大模型项目中，存储与计算同样重要，老季的复盘和建议

杨芳贤

53A创始人/腾讯云(TVP)最具价值专家

最近，某集成商操盘手老季郁闷透顶。搞了个AI项目，尾款还没结，锅全被他身上。

老季在圈里号称季牛牛，搞项目从没失过手，可这一次，搞砸了。

一个老客户，某行业龙头，属于那种“混熟了”的类型，常年从老季公司采购服务器、存储、交换机啥的，处得还不错。

前阵子，他们内部决定搞行业私有大模型。

跟老季提了需求：之前的机房还在用，直接上一批GPU服务器就行，其他的都利旧。

不过做方案的时候，公司技术总监给老季提了个醒：大模型项目特殊，其他设备利旧的话可能会有坑——

于是，老季去找客户加预算。

客户听了立马摆手：“你就别再忽悠我买设备了，把GPU服务器配好就行。”

老季想了想，客户说的也有道理。

于是就没再坚持，按照客户的需求，继续推进。

结果，设备到货，上线，一跑模型。

所有人都疯了！

模型训练一跑就卡死，推理更别提了，延迟高得吓人，吞吐更不用说了，TPS竟然只有几百…

为什么数据加载这么慢，为什么训练总卡死，为什么Checkpoint保存要等半天？为什么推理延迟这么大？

双方技术查了几圈，查硬件、查软件、查框架…

最终跟技术总监担心的一样：存储拖了后腿。

客户脸都黑了，开始骂老季：“你们怎么不提醒我存储也可能是瓶颈？白瞎我这么好的GPU了？”

老季有苦难言，心说：领导，我提醒你了呀。

可是现在，这锅，只能自己背。

复盘

最后，公司老板出面协调，跟客户一起开个项目复盘会，大家一起来解决问题。

为了让老季长点记性，这个复盘会让他主讲。开会那天，老季PPT投上去，大大的一行字↓

显然，不是！

但当下很多大模型项目却把GPU当成充要条件，却忽略了另一大基础设施：存储。

很多人还不知道

我们先了解一下，大模型训推过程中，是如何处理数据的↓

这五个环节，是计算与存储高度耦合的过程，也被称为：半计算半存储型任务。

比如，数据预处理和加载环节↓

原始数据采集量动不动就是PB级，要求存储高并发读取，一秒要加载几GB碎片小文件，还得边读边处理（ETL），传统存储跟不上节奏。

比如，Checkpoint加载与保存环节

训练中断是家常便饭，关键是能基于Checkpoint快速恢复，不用从头再来。

此时，需要高速读写、近GPU存储、纳秒级延迟，而传统存储写入速度慢，导致断点恢复慢。

这需要低延迟向量检索、高QPS、小文件快速读取能力。

而这一切，对于传统存储来讲，都太吃力了

老季正讲着，甲方的技术人员举手提出了问题↓

老季暗笑，正中下怀啊。

“大模型时代，存储不能只是‘仓库’，必须升级成一个——智慧物流系统，能调度、会加速、搬得快。AI场景讲究的是数据流动性，不是堆硬盘。”

现场的气氛热烈起来

这是个好问题！但老季没立即回答，他顿了顿，看向甲方领导。

甲方领导眉头紧锁，清了清嗓子，问出了第一个问题↓

那必然选曙光ParaStor F9000系列！

这是一款干大活的AI存储，特别适合：大模型训练、高并发推理。

为啥F9000这么猛？

核心就在于它不是拼某个指标，而是对真实AI场景进行过深度适配，搞了一个AI存储三级协同方案。

也就是说，F9000真正把前面所说的「三级物流体系」给落地了。

这时候，甲方负责这个项目的技术主管抛出了个新问题↓

老季点点头，当然，用户收益有三点：

①以存提算，能让GPU满负荷运转，利用率直接翻倍

②以存代算，为GPU分担计算任务

比如在KV Cache、RAG检索阶段，GPU只管“输出”，存储来“记忆+查资料”，大大提升了推理速度。

老季的话音刚落，甲方领导又提出了第二个问题。

老季早有准备——

那必然选曙光ParaStor S6000系列！

现在大模型需要的数据存储容量越来也大，动不动就是几百TB、几PB，要存模型参数、训练日志、版本文件、推理数据、清洗数据、原始数据…

老季推荐这款存储，理由就就两点：

首先，存得多，成本低

单柜支持1.44PB超大容量，24TB× 60盘位，4U空间就能搞定，容量密度提升 70%，省机房、省电、更省钱。

第二，有策略、不乱存

S6000能实现【冷热分层+智能调度】：热数据自动放到 NVMe，读写快；冷数据全进 SATA/SAS，存得省。

这些都是通过智能调度，实现冷热数据无感流动。

几个回合下来，甲方领导听的津津有味，紧锁的眉头也展开了，笑呵呵地又问了一个问题。

老季点点头，确实！这年头，大家不仅要存储性能和容量，还越来越关心数据管理。

以前这些问题，基本靠猜。

现在曙光存储提供一张图，让你纵观全局数据流动！

每一步的数据流动路径、存储位置、冷热分布，全都一目了然。