英伟达升级Cosmos，助力机器人研发新飞跃

老黄对机器人的前景充满信心，绝非空谈！

在正在举行的SIGGRAPH（计算机图形学）大会上，英伟达为机器人界带来了全新进化的Cosmos世界模型。

Cosmos主要用于生成符合现实世界物理规律的合成数据，自发布以来，已被Figure、Agility Robotics、通用汽车等众多知名机器人和自动驾驶公司采用。

此次升级的重点在于规划能力和生成速度两大方面：

• 推出Cosmos Reason：一款拥有70亿参数、具备推理能力的视觉语言模型，可帮助机器人进行任务规划；
• 新增Cosmos Transfer-2及精简版：加速将虚拟场景转化为训练数据，并提供更快的轻量化版本。

除了软件更新，英伟达还几乎全面升级了机器人开发配套技术与硬件——包括全新的Omniverse库、RTX PRO Blackwell服务器，以及DGX Cloud云平台等。

英伟达人工智能研究副总裁Sanja Fidler表示：

AI正在提升我们的模拟能力，而模拟能力也在推动AI系统的发展。这两个领域之间存在着真实而强大的结合，这种结合很少有人能做到。

如今，英伟达正凭借一整套机器人开发基础设施，全力冲击这一融合新高地。

软硬件全面革新

让我们先来看看具体都有哪些更新。

在软件层面，仅7B大小的Cosmos Reason尤为引人注目。

官方表示，这个模型不仅具备扎实的物理理解能力，还能运用常识进行多步推理，堪称机器人的“智慧大脑”。

通过记忆和推理，它可以作为规划模型，预测实体Agent下一步的可能行动。

同时，英伟达还推出了加速合成数据生成的Cosmos Transfer-2及其更轻量的精简版，从而大幅缩短从虚拟场景或空间控制信息到训练数据的转换时间。

其中，精简版将70步蒸馏过程简化为1步，使RTX PRO服务器上的运行更加高效。

为了配合这些模型，英伟达还发布了功能更强大的Omniverse新库与SDK，支持机器人开发者更便捷地进行三维重建、仿真及跨平台数据互通。具体更新包括：

• 实现了MuJoCo和OpenUSD这两种机器人仿真格式的数据兼容，让开发者能更方便地在不同平台之间进行机器人模拟。
• 引入Omniverse RTX光线追踪和3D高斯渲染技术，使开发者能够利用传感器数据以三维形式捕捉、重建并模拟现实世界。
• 在GitHub开源机器人仿真和学习工具Isaac Sim 5.0与Isaac Lab 2.2，结合了新渲染技术和统一的数据格式，帮助机器人开发者更好地缩小虚拟仿真和现实环境之间的差距。

总之，Cosmos与Omniverse作为一对黄金搭档（前者负责构建逼真、高效的三维仿真和数字孪生环境，后者则专注于提供强大的物理AI模型和智能推理能力），二者的结合将为机器人训练生成更精确、更大规模的数据。

在搞定数据之后，还有硬件问题亟待解决。

对此，英伟达也专门推出了RTX PRO Blackwell服务器，覆盖训练、合成数据生成、机器人学习与仿真等工作负载。

而且借助DGX Cloud，开发者可以随时随地通过云端高效运行Omniverse和Cosmos相关应用，轻松实现大规模仿真与训练任务，极大降低了硬件门槛和运维成本。（目前DGX Cloud已经上线微软云市场）

英伟达全力聚焦机器人领域

从以上动作不难看出，英伟达正在大力布局机器人研发领域。

背后的考量在于：计算机图形与AI正在融合，将从根本上改变机器人领域。

以图形学起家的英伟达，正是看到了图形学和AI融合的趋势以及这种趋势对机器人领域的重要影响，才将机器人作为下一个关注重点。

例如，传统机器人训练依赖现实数据，获取成本高且受限，而计算机图形技术可以打造逼真的虚拟环境，结合AI实现物理精确的仿真。

这样一来，机器人学习各种技能的门槛和成本就被降低了，从而更有可能加速机器人的落地应用。