推荐语

腾讯自主研发 Angel 平台，应对大模型训练挑战，这是我看到的关于大模型基建最好的建议，没有之一。

核心内容：
1. 大模型训练面临的多方面挑战
2. Angel 平台打造“超级流水线”的创新举措
3. 该平台获得的领先科技奖及应用成果

杨芳贤

53A创始人/腾讯云(TVP)最具价值专家

当前，我国人工智能大模型正进入快速发展阶段。模型参数动辄超万亿，训练数据更是超十万亿级别，如此庞大的规模给模型训练和推理带来了通信、效率等多方面挑战。为应对这些挑战，腾讯自主研发了Angel机器学习平台。

“Angel机器学习平台能帮助提供更好的‘基建体系’，助力大模型高速运行。”1月15日，腾讯机器学习平台部总监陶阳宇接受科技日报记者采访时介绍，Angel机器学习平台针对众多核心底层硬件和关键软件技术实现自主研发，通过工程能力创新，可支持万亿参数规模大模型的训练和推理，以及涉及大规模计算量的应用部署，助力实体产业升级和数字经济发展。

确保训练“不卡壳”

“训练大模型，其实就像工厂里的‘流水线’，数据喂进去，产出大模型，网络、算力和训练推理平台是‘流水线’上三个关键要素，缺一不可。”陶阳宇打了一个生动的比方。

“Angel机器学习平台就是要为大模型训练打造一条‘超级流水线’，投入数据‘原料’，就能训练出可直接部署的大模型，高效又稳定。”陶阳宇说。

如何提升算力资源利用率，成为大模型发展的关键。这对Angel机器学习平台的研发提出了技术挑战。“训练大模型所需的海量算力，单台服务器无法支持，需要由大量服务器作为节点，通过高速网络互联组成集群。”陶阳宇说，团队自研了星脉RDMA网络，给Angel机器学习平台装配上全新“传送带”，实现集群高速互联。相比于同类领先产品，RDMA网络单节点带宽达到3.2T，通信性能提升30%，成本降低70%。

凭借深厚的技术积累、创新的关键技术和广泛的应用场景，“Angel大规模机器学习平台关键技术与应用”获2024年世界互联网大会领先科技奖。

建起“智能调度中心”

过去的大模型训练框架，就像“流水线”上老旧的机器，效率不高，导致很多算力空转浪费。

为解决这个问题，Angel机器学习平台自研了训练/推理框架，提出显存加主存的一体化机制，实现多维并行和算子优化。这犹如给“流水线”换了一台“涡轮增压发动机”，每一点资源都被充分利用起来，使训练性能提升2.6倍，推理速度提升2.3倍，又快又省钱。

训练万亿参数规模的大模型，图形处理器（GPU）间的协同十分重要。传统GPU集群的架构就像“手工作坊”，生产效率较低。而Angel机器学习平台采用了一种GPU拓扑感知调度，优化了任务分配机制，如同在“流水线”上建起“智能调度中心”，让“流水线”的GPU节点各司其职、默契配合，变得高效有序，GPU集群加速比从50%提升到99%。

基于Angel机器学习平台，腾讯自主研发了参数量达到万亿级别的混元大模型。该大模型已应用于腾讯内部的700多个业务场景，并通过腾讯云服务30万行业客户，覆盖广告、金融、社交等多个领域，助力各行各业数智化升级。

加大底层技术研发

2024中国算力大会发布的《中国综合算力指数报告（2024）》显示，过去20年间，中国的智能算力需求增长超过百亿倍。这使算力中心朝着万卡规模迈进。近年来，全球各大运营商均在加速布局超大规模的智算中心，以适应这一需求。

“Angel机器学习平台已达到万卡规模，现在我们正针对更大规模的场景进行优化，以提高平台的效率和稳定性。”陶阳宇透露。

值得一提的是，Angel机器学习平台支持国产芯片的应用，并初步解决了异构芯片混合计算问题。未来，平台将在此基础上探索更灵活有效的国产化芯片技术支持。“我们将进一步推广异构芯片混合计算的应用，灵活调度不同芯片，充分发挥每一款芯片的算力。”陶阳宇表示。

此外，由于单一数据中心的算力集群在电力供应上可能会受限，因此需要多个大的算力集群联合起来工作。为满足这一需求，研究团队还在研究跨数据中心的大规模训练技术。目前，研究团队已在两座距离约120公里的数据中心之间完成千卡规模的训练任务，其效率能达到单集群的98%左右。

腾讯公司副总裁蒋杰表示，公司未来将继续投入底层技术自主研发，并通过开源共享推动技术创新升级，助力智能技术走入千行百业。