英伟达发布Cosmos 3四款开放权重世界模型,用于驾驶与机器人仿真
2026年11月6日,英伟达在Cosmos世界模型开发平台上为Cosmos 3模型家族新增四个开放权重检查点,面向交互式世界模拟、多传感器多视角驾驶场景和机器人动作预测。四款模型均为Cosmos 3 Nano的后训练示例,拥有16B可训练参数,并采用OpenMDW1.1许可;按其条款,模型可用于商业和非商业用途。
四款模型分工明确。Cosmos3-Nano-Transfer-Auto用于离线合成驾驶数据,可生成最多11路摄像头(含鱼眼)的同步视频,并联合生成RGB与LiDAR数据;每路摄像头的World Scenario Map(WSM)控制场景结构和交通运动,文本提示控制外观,LiDAR生成还需对齐HD地图的距离图控制。Cosmos3-Nano-Sim-Auto是Transfer-Auto的因果蒸馏流式版本,以少量去噪步连续生成同步摄像头视频和LiDAR小段,借助滚动历史和更新后的驾驶控制支持快速流式、长时交互推演;闭环交互需要仿真运行时和WSM渲染器来更新控制。
Cosmos3-Nano-Sim-Transfer把模拟器的空间控制与文本提示渲染为RGB观测,物理和真值状态仍由模拟器负责。Cosmos3-Nano-Sim-Bimanual根据双臂机器人或摄像头动作预测下一段视频,支持YAM和AgiBot机器人本体,可由策略或人工操作摇杆控制。英伟达还发布四阶段后训练配方,便于开发者适配自有传感器布局、驾驶域或机器人本体;公司提醒,短程训练成功只验证执行,不等于收敛,需在留出片段上评估质量。运行Sim-Bimanual需要Linux、NVIDIA GPU、Docker和NVIDIA Container Toolkit;已发布的vLLM-Omni配置在一个GB200上测试,英伟达称这不是最低内存规格。
- 2026-11-06 03:35 | Huggingface:New NVIDIA Cosmos 3 Open Models for Interactive World Simulation阅读原文
TL;DR NVIDIA Cosmos world model development platform adds four new open-weight checkpoints to its Cosmos 3 model family for generating interactive world simulation and multi-sensor multi-view driving scenes: 🌦️ Cosmos3-Nano-Transfer-Auto : Generate multi-view driving data with varied weather, li...