微信扫码
添加专属顾问
我要投稿
NVIDIA为AI开发者带来革命性变化,CUDA原生支持Python,简化GPU计算程序开发。核心内容:1. NVIDIA CUDA工具包新增原生Python支持2. CuTile接口简化算法开发,性能匹敌C++代码3. Python成为CUDA首选语言,扩大NVIDIA开发者基础
NVIDIA 拥抱 Python!CUDA 迎来原生 Python 支持,告别 C/C++,AI 开发者福音!新编程模型 CuTile 接口更易理解和调试,加速 C++ 库无缝衔接,性能媲美底层 C++ 代码。拥抱 Pythonic CUDA 堆栈,引爆 GPU 加速!
译自:NVIDIA Finally Adds Native Python Support to CUDA[1]
作者:Agam Shah
根据 GitHub 2024 年开源调查[2],2024 年,Python 成为世界上最流行的编程语言,超过了 JavaScript。
多年来,NVIDIA 的 CUDA[3] 软件工具包一直没有原生 Python 支持。但现在情况已经改变。
在 GTC 上,NVIDIA 宣布在其 CUDA 工具包中原生支持并完全集成 Python。开发人员将能够使用 Python 在 GPU 上直接执行算法风格的计算。
“我们一直在努力将加速的 Python 作为头等公民引入 CUDA 堆栈,” CUDA 架构师 [Stephen Jones] 在最近的 GTC 会议的演讲中说。
对于程序员来说,这意味着巨大的影响。CUDA 诞生于 C 和 C++,现在程序员不需要了解这些编程语言就可以使用该工具包。
“CUDA 的 Python 不应该看起来像 C。它应该看起来像 Python,”Jones 说。
“CUDA 的 Python 不仅仅是将 C 翻译成 Python 语法。”
— Stephen Jones, CUDA 架构师
程序员可以使用自然的 Python 接口和调用函数和库的脚本模型来创建 AI 程序,以便在 NVIDIA GPU 上执行。
“CUDA 的 Python 不仅仅是将 C 翻译成 Python 语法。它必须是 Python 开发人员觉得自然的东西,”Jones 说。
NVIDIA 对 CUDA 上的 Python 的原生支持为数百万开发人员打开了开发工具包。CUDA 以前要求开发人员了解 C++ 或 Fortran。该编程工具包有一些 Python 工具,但它不是原生支持的。
据 The Futurum Group 称[4],CUDA 用户数量在 2023 年仅为 400 万,高于 2020 年的 200 万。但 Python 是世界上增长最快的语言。NVIDIA 将能够接触到数百万 Python 程序员——尤其是在印度和巴西等发展中国家,这些国家的程序员为开源项目做出了热情的贡献。
Python 支持还将使 NVIDIA 的基础设施可以在新兴市场中使用。NVIDIA GPU 的大部分位于美国和欧洲,但印度的电信和基础设施公司正在建设主要的 GPU 装置,这些装置将在未来几年内投入使用。
NVIDIA 正在加大力度招募程序员,并希望支持更多编程语言[5],包括 Rust 和 Julia。
CUDA 包括库、SDK、编译器、主机运行时、工具以及预打包的软件和算法。NVIDIA 已将各个部分添加到整个 Pythonic CUDA 堆栈[6]。
NVIDIA 的重点是在不脱离 Python 的情况下提供 GPU 加速。CUDA Python 不能仅仅是内核产品;它需要堆栈中的所有内容和流畅的执行流程,Jones 说。
“你必须能够编写一个内核并将其放入 PyTorch 中,但你还必须能够调用 Pythonic 库以及所有其他东西,”Jones 说。
实际上,编译器层没有任何东西,因为它围绕即时 (JIT) 编译构建。这大大减少了堆栈中 GPU 的树中的依赖项数量。
“保持所有层之间的互操作性将大大提高生产力,并能够端到端地使用 Python,”Jones 说。
最初,NVIDIA 构建了基本 Python 绑定(包括运行时编译器)和 Python 库,例如 cuPyNumeric,它是 NumPy 的直接替代品,NumPy 是 Python 中使用最广泛的计算库。cuPyNumeric 仅更改一个导入指令,NumPy 代码从在 CPU 上运行变为在 GPU 上运行。
CUDA Core 是“对 CUDA 运行时的 Pythonic 重新构想,使其自然且原生于 Python”。
— Stephen Jones, CUDA 架构师
在过去的一年中,NVIDIA 制造了 CUDA Core[7],Jones 说这是“对 CUDA 运行时的 Pythonic 重新构想,使其自然且原生于 Python”。
CUDA Core 具有 Python 的执行流程,该流程完全在进程中,并且严重依赖 JIT 编译。
“你不应该退出命令行编译器或任何类似的东西,你应该完全在进程中,”Jones 说,并补充说,这大大减少了堆栈中 GPU 的树中的依赖项数量。
NVIDIA 创建了一个名为 NVMath Python 的库,该库具有用于主机端和设备端库调用的统一接口。Jones 说,融合库调用的能力带来了很大的性能提升。
该公司还构建了可以直接从 Python 代码访问加速的 C++ 库的库。
“因为这位于我们多年来构建的基础设施之上……我们没有在 Python 中重新实现这些。我们确保它链接到底层微调的 C++ 代码,因此 [that] 您的性能差异可以忽略不计,”Jones 说。
NVIDIA 还添加了用于分析器和代码分析器的工具。
Python 使编码变得简单,编码人员不必过多担心底层硬件。考虑到这一点,NVIDIA 正在添加一个编码层,该层与在 GPU 上执行的更高级别的抽象保持一致。
新的编程模型,称为 CuTile 接口,首先为 Pythonic CUDA 开发,随后将推出 C++ CUDA 的扩展。
CuTile “从根本上来说更柏拉图式”,因为今天的 Python 程序员更多地考虑数组而不是线程(这更像是 C++ 的特征)。
开发人员无法神奇地获取 Python 代码并将其导出以进行 GPU 加速。CUDA 通常会获取一个问题并将其分解为数千个较小的块,这些块在 GPU 上单独处理。
这些块被分解成更小的瓦片,这些瓦片运行数千个线程来处理单个元素。这些线程组合成一个单一的操作。
能够一直向下处理线程级别的单个元素,并行地赋予 GPU 强大的计算能力。
但 NVIDIA 认为 GPU 执行不需要一直下降到线程级别。处理也可以在瓦片级别进行,这就是 CuTile 编程模型适合的地方。
与 C++ 不同,Python 在设计上不是粒状的。
CuTile 在较低的粒度级别上将数组映射到 GPU 上,从而使代码更易于理解和调试。“从根本上说,它的性能是一样的,”Jones 说。
瓦片中的数据可以构造为向量、张量或数组。编译器可以更好地将整个数组操作从一个线程块映射到 GPU。
“通常,编译器会比我做得更好,因为编译器深入了解我在做什么……[and] GPU 运行的细节,”Jones 说。
与 C++ 不同,Python 在设计上不是粒状的。
“有很多这样的东西。OpenAI 的 Triton 将是一个很好的例子。我认为这些非常适合 Python 程序,”Jones 说。
[1]
NVIDIA Finally Adds Native Python Support to CUDA:https://thenewstack.io/nvidia-finally-adds-native-python-support-to-cuda/[2]
GitHub 2024 年开源调查:https://github.blog/news-insights/octoverse/octoverse-2024/[3]
CUDA:https://developer.nvidia.com/cuda-toolkit[4]
称:https://futurumgroup.com/insights/ai-in-context-uxl-to-be-an-open-source-alternative-to-nvidias-cuda/[5]
支持更多编程语言:https://thenewstack.io/nvidias-hardware-roadmap-and-its-impact-on-developers/[6]
Pythonic CUDA 堆栈:https://nvidia.github.io/cuda-python/latest/[7]
CUDA Core:https://nvidia.github.io/cuda-python/cuda-core/latest/
53AI,企业落地大模型首选服务商
产品:场景落地咨询+大模型应用平台+行业解决方案
承诺:免费场景POC验证,效果验证后签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2025-04-04
MCP协议入门指南,4个案例+2个实践全解析!
2025-04-04
一文读懂AI智能体融合与数据隐私安全问题
2025-04-04
AI菩萨OpenRouter连发两大招,免费Quasar+全模型联网!
2025-04-04
王炸!Spring AI+MCP 三步实现智能体开发
2025-04-04
万字解读——大模型架构类型综述:从传统到前沿的框架演进
2025-04-04
企业级大模型落地部署技术步骤 2025
2025-04-04
面向六个月后的 AI Code,也许影响的不只是前端
2025-04-04
2025风口指南:万字长文带你吃透大模型Agent,涵盖应用、场景与发展
2024-08-13
2024-06-13
2024-08-21
2024-09-23
2024-07-31
2024-05-28
2024-08-04
2024-04-26
2024-07-09
2024-09-17
2025-04-02
2025-04-02
2025-04-01
2025-04-01
2025-04-01
2025-03-30
2025-03-30
2025-03-28