还在依赖昂贵的Sim2Real迁移?机器人界现在更推崇Real2Sim。英伟达GEAR联合李飞飞团队及佐治亚理工大学,发布了重磅系统SimFoundry。
该系统核心在于:只需一段RGB视频,即可生成可交互、可评测的仿真环境。它不仅能进行精确的3D重建,还能自动通过“数字表亲”(Digital Cousins)机制,在保持物体功能前提下更换布局、物体及任务,实现数据的无限扩展。
SimFoundry的三阶段流水线包括:Extraction(提取)、Generation(生成)与Augmentation(增强)。利用视觉语言模型(VLM)与SAM 3分割模型,系统能够将场景解析为可导入IsaacLab等物理引擎的数字孪生。实验表明,其策略评估的相关系数高达0.911,且引入Digital Cousins后,机器人真实场景的成功率提升最高达40%。
SimFoundry 的出现标志着具身智能从“数据饥渴”迈向“数据自主”的关键转折。长期以来,机器人训练的瓶颈在于真实世界交互数据的获取成本,而传统的仿真方法往往受限于昂贵的手工建模。#SimFoundry 通过打通 Real-to-Sim 闭环,不仅实现了对物理场景的高保真复刻,更通过 Task Cousins 等生成式扩展机制,为 AI Agent 提供了类似语言模型预训练的“Scaling Law”潜力。对比现有的如 NVIDIA Isaac Sim 生态或仿真渲染方案,SimFoundry 在泛化性和零样本迁移方面的表现尤为出色。这种技术路径意味着未来 AI Agent 不再仅仅是数字世界的“大脑”,而是具备了能够通过观察现实世界,自动反哺自身物理交互能力的“完整形态”。对于构建通用的物理世界智能体而言,SimFoundry 所构建的这种从视频到物理交互的数据流,将极大压缩具身智能从实验室走向家庭的周期,是 AI Agent 生态演进中不可或缺的基础设施。