SOURCE // NEWS

英伟达发布Cosmos-H-Dreams:手术机器人实时生成式模拟

英伟达发布Cosmos-H-Dreams:手术机器人实时生成式模拟

手术机器人正迅速从远程操作向高能力的视觉-语言-动作(VLA)策略演进。然而,评估和训练这些系统极其困难。物理机器人平台运行昂贵,实验难以复制,且失败可能损坏仪器或生物组织。传统物理模拟器难以建模复杂的变形组织、精细器械交互、高光表面、缝合线、针头、烟雾和遮挡等极其复杂的场景。

世界基座模型提供了一条新路径。它们直接从同步视频和机器人运动学中学习视觉动力学,而无需手动构建每个物体和物理交互。英伟达此前推出的 Cosmos-H-Surgical-Simulator 作为一款动作条件化的世界基座模型,基于 Cosmos-Predict2.5-2B 构建,并在 Open-H-Embodiment 数据集上进行了微调。它能根据初始场景和机器人动作序列预测未来的手术视频,从而支持离线策略评估和合成数据生成。

今天,英伟达迈出了关键一步,推出了 Cosmos-H-Dreams,这是一个专门面向手术机器人的实时、动作条件化生成式模拟器。通过英伟达加速流式推理库 FlashDreams,研发团队将原本复杂的模拟器蒸馏为一个因果、少步骤的学生模型。在单张 NVIDIA RTX PRO 6000 GPU 上运行,它就能提供一个可由人类或学习策略闭环控制的交互式环境,并针对 da Vinci Research Kit (dVRK) 台面缝合任务进行了优化,实现了实时自回归生成。

AgentUpdate 深度解析

Cosmos-H-Dreams 的推出标志着 AI Agent 在高精尖、高风险物理世界落地迈出了里程碑式的一步。传统的强化学习 Agent 严重依赖精确的物理引擎,而手术这种极度复杂的非刚体交互场景一直是传统仿真的噩梦。通过将‘物理引擎’升维替换为基于多模态大模型的‘世界模型’,并利用知识蒸馏和流式推理技术降维到单卡实时运行,英伟达成功打通了具身智能 Agent 在数字孪生环境中的闭环训练链路。这种‘生成式模拟’范式不仅将颠覆医疗机器人领域,还将快速辐射到自动驾驶、柔性制造等高壁垒 Agent 生态中,使低成本、超高保真度的仿真训练成为可能。