NVIDIA GTC 2024展示虚拟世界驱动物理AI时代发展

编者注：本文是 “走进全宇宙” 系列文章的一部分，该系列专注于开发者、3D从业者和企业如何使用 OpenUSD 和 NVIDIA Omniverse 的最新进展来改变他们的工作流程。

上周的 NVIDIA GTC 展示了物理AI的转折点：机器人、车辆和工厂正从单一使用案例和孤立部署扩展到跨行业的复杂企业工作负载。

这一转变的核心是用于物理AI的新前沿模型，包括 NVIDIA Cosmos 3、NVIDIA Isaac GR00T N1.7 和 NVIDIA Alpamayo 1.5。

NVIDIA 还发布了 NVIDIA 物理AI数据工厂蓝图，旨在推动世界建模、人形机器人技能和自动驾驶领域的最新技术发展，以及用于AI工厂数字孪生仿真的 NVIDIA Omniverse DSX 蓝图。

OpenClaw 等开源智能体框架将AI堆栈一直扩展到运营层面——实现长期运行的”爪子”，使用工具、内存和消息接口来编排工作流程、管理数据管道并在专用机器上自主执行任务。

OpenClaw 的创建者 Peter Steinberger 在 NVIDIA GTC 新闻发布会上表示：”通过 NVIDIA 和更广泛的生态系统，我们正在构建爪子和护栏，让任何人都能创建强大、安全的AI助手。”

OpenUSD 是物理AI可扩展性的驱动力——提供通用的场景描述语言，让团队将计算机辅助设计（CAD）数据、仿真资产和真实世界遥测数据整合到一个共享的、物理上准确的世界视图中。

AI工厂数字孪生推动高效部署

现代AI工厂非常复杂——涵盖热力学、电网、网络负载和机械系统。使用仿真技术可以更容易地按时按预算建设这些工厂。

为了解决这个问题，NVIDIA 在 GTC 上推出了 Omniverse DSX 蓝图，这是一个参考架构，通过单个数字孪生统一AI工厂每一层的仿真。这使得运营商能够在实际安装机架之前优化性能和效率。

物理AI数据工厂蓝图扩展数据生产

真实世界数据曾经是物理AI的护城河——但它无法扩展。真实世界是混乱的、不可预测的，充满边缘案例，处理、仿真和评估数据的管道是分散的。瓶颈不仅仅是数据——而是整个数据工厂。

为了解决这个问题，NVIDIA 在 GTC 上推出了物理AI数据工厂蓝图，这是一个开放的参考架构，将计算转化为大规模、高质量的训练数据。基于 NVIDIA Cosmos 开放世界基础模型和 NVIDIA OSMO 操作器构建，它将数据整理、增强和评估统一到单个管道中，使开发者能够从有限的真实世界输入生成多样化的长尾数据集。

包括 FieldAI、Hexagon Robotics、Linker Vision、Milestone Systems、Skild AI 和 Teradyne Robotics 在内的领先物理AI开发者已经在利用该蓝图加速机器人项目、视觉AI智能体和自动驾驶车辆程序。

Microsoft Azure 和 Nebius 是首批提供该蓝图的云平台，将世界级计算转化为交钥匙数据生产引擎。

NVIDIA Omniverse 和仿真技术副总裁 Rev Lebaredian 在新闻发布会上表示：”与云领导者一起，我们提供了一种新型智能体引擎，将计算转化为下一代自主系统和机器人所需的高质量数据。在这个新时代，计算就是数据。”

CAD 到 OpenUSD 工作流程加速机器人开发

将 CAD 文件转换为 OpenUSD 是物理AI管道中的关键步骤——将工程数据转化为仿真就绪资产，开发者可以使用这些资产在物理上准确的虚拟环境中构建、测试和验证机器人。

使用 NVIDIA Omniverse Kit 软件开发工具包和 NVIDIA Isaac Sim 等工具，团队可以优化和丰富3D数据，用于实时渲染、仿真和协作工作流程。

包括 FANUC 和 Fauna Robotics 在内的公司正在使用这种无缝的 CAD 到 OpenUSD 工作流程来加速机器人系统设计和验证。

Mega Omniverse 蓝图实现工厂级机器人系统

Lebaredian 在 GTC 数字孪生和仿真特别演讲中表示：”工厂本身现在就是机器人系统。”

所有工厂都诞生于仿真中。NVIDIA Mega Omniverse 蓝图为企业提供参考架构，在物理上准确的设施数字孪生中设计、测试和优化机器人车队和AI智能体，然后才在车间部署单个机器人。

KION 与埃森哲和西门子合作，使用该蓝图构建大规模仓库数字孪生，为全球最大的纯合同物流提供商 GXO 训练和测试基于 NVIDIA Jetson 的自主叉车车队。

全球机器人生态系统合作推进物理AI

NVIDIA 正在与全球机器人生态系统合作——包括领先的机器人大脑开发者、工业机器人巨头和人形机器人先驱——来增强生产级物理AI。

ABB Robotics、FANUC、KUKA 和安川电机拥有超过200万台机器人的全球安装基础，正在使用 NVIDIA Omniverse 库和 NVIDIA Isaac 仿真框架，通过物理上准确的数字孪生验证复杂的机器人应用和生产线。这些公司还将 NVIDIA Jetson 模块集成到其控制器中，以实现实时AI推理。

机器人开发从机器人大脑开始，这就是为什么包括 FieldAI 和 Skild AI 在内的领先开发者正在使用 NVIDIA Cosmos 世界模型进行数据生成，并使用 Isaac 仿真框架在仿真中验证策略来构建机器人大脑。

与此同时，Generalist AI 正在使用 NVIDIA Cosmos 探索生成合成数据。这种组合使机器人能够以极快的速度精通任何任务——从供应链监控到食品配送。

想了解 NVIDIA GTC 的所有公告，请查看在线新闻工具包并观看主题演讲回放。观看 GTC 物理AI日的所有会议并观看开发者直播回放。

Q&A

Q1：NVIDIA物理AI数据工厂蓝图是什么？它有什么作用？

A：NVIDIA物理AI数据工厂蓝图是一个开放的参考架构，将计算转化为大规模、高质量的训练数据。它基于NVIDIA Cosmos开放世界基础模型构建，将数据整理、增强和评估统一到单个管道中，使开发者能够从有限的真实世界输入生成多样化的长尾数据集。

Q2：OpenUSD在物理AI中起什么作用？

A：OpenUSD是物理AI可扩展性的驱动力，提供通用的场景描述语言，让团队将计算机辅助设计（CAD）数据、仿真资产和真实世界遥测数据整合到一个共享的、物理上准确的世界视图中。它是将CAD文件转换为仿真就绪资产的关键技术。

Q3：哪些公司正在使用NVIDIA的物理AI解决方案？

A：包括ABB Robotics、FANUC、KUKA和安川电机等工业机器人巨头，以及FieldAI、Skild AI、Hexagon Robotics等机器人开发者都在使用NVIDIA的物理AI解决方案。此外，KION与埃森哲和西门子合作构建仓库数字孪生，Microsoft Azure和Nebius是首批提供相关蓝图的云平台。