AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


NVIDIA 在 GDC 2024 推出全新数字人技术和 RTX SDK
发布日期:2024-06-23 06:26:20 浏览次数: 2351 来源:小微模型


在今年的游戏开发者大会(GDC 2024)上,NVIDIA 宣布了一系列激动人心的新技术,旨在彻底改变游戏开发领域。通过与领先的 AI 应用程序开发者如 Inworld AI 的合作,NVIDIA 展示了其最新的数字人技术和更新的 RTX SDK。这些创新不仅简化了高质量游戏世界的创建,还加速了生成式 AI 驱动的游戏角色的部署。


NVIDIA 数字人技术:革新游戏角色

NVIDIA 的数字人技术提供了一个全套或单个微服务的解决方案,用户可以根据需要整合到他们的产品中。这些技术包括:

1. NVIDIA Avatar Cloud Engine (ACE):通过 NVIDIA Audio2Face (A2F) 提供逼真的面部动画,以及由 NVIDIA Riva 提供的自动语音识别 (ASR) 和文本转语音 (TTS) 功能,极大地增强了数字人的真实感和互动性。

2. NVIDIA NeMo:一个用于开发自定义生成式 AI 的端到端框架。NeMo 提供了精确的数据管理、先进的自定义功能、检索增强生成和加速性能,使企业就绪型模型的开发更加高效。

3. NVIDIA RTX:包括 RTX 全局照明(RTXGI)和 DLSS 3.5 在内的渲染技术集合,为游戏和应用提供了实时路径追踪的能力。

这些技术在由 Inworld AI 与 NVIDIA 合作完成的《秘密协议》演示中得到了展示。玩家可以在游戏中扮演一位经验丰富的私人侦探,体验前所未有的 NPC 交互。该演示结合了 OpenAI 的 ChatGPT 3.5、ElevenLabs 的文本转语音 (TTS)、Riva ASR 和 A2F 微服务,大大提升了 Inworld 的语言、语音和动画制作流程。Inworld 的 AI 引擎采用多模态方法,将认知、感知和行为系统结合,并利用 Unreal Engine 插件进行快速集成,使得使用 MetaHumans 更加简单高效。

AI 驱动的照明改进和渲染集成

除了数字人技术,NVIDIA 还推出了 RTX 全局照明(RTXGI)2.0 SDK,通过 AI 实现光线追踪的间接照明。这一更新进一步丰富了现有的神经渲染技术选项,如 DLSS 超分辨率技术、DLSS 3 帧生成、DLSS 光线重建和 DLAA。

最新的算法——神经辐射缓存(NRC)提供了一种 AI 驱动的解决方案,能够实时训练场景的辐射缓存,并使用反应式照明处理全动态场景。这种技术无需预先为几何图形和材质烘焙静态照明,从而在高要求的场景中提供了更出色的性能和更准确的全局照明。

为提供更好的扩展性,NVIDIA 推出了空间哈希辐射缓存 (SHaRC),它无需使用神经网络即可提供与 NRC 类似的优势,并与任何支持 DirectX 或 Vulkan 光线追踪的 GPU 兼容。这是一种基于空间哈希数据结构构建的辐射缓存,专为路径追踪的快速且可扩展的全局照明技术而设计。

NVIDIA 的这些创新为游戏开发者提供了强大的工具,使他们能够创建更加真实、生动的游戏角色和高质量的游戏世界。通过申请抢先体验计划,用户可以开启 NVIDIA ACE 的旅程,并获取正在开发的 AI 模型。有关更多信息,可以访问 NVIDIA 的 API Catalog,并通过浏览器或完全加速堆栈的 API 端点体验和评估这些微服务。

对于寻求端到端数字人解决方案的游戏开发者,NVIDIA 提供了包括 Convai、Inworld、Data Monsters、Quantiphi 和 UneeQ 在内的中间件合作伙伴的支持。有关更多信息和反馈,用户可以参阅 Digital Human 论坛。

总的来说,NVIDIA 在 GDC 2024 上的展示不仅展示了其在生成式 AI 和渲染技术领域的领先地位,也为未来的游戏开发设定了新的标准。随着这些技术的不断发展和应用,我们可以期待更加沉浸和互动的游戏体验。


53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询