论文导读
加州大学伯克利分校、英伟达等机构提出RoboSimStudio，把手机拍摄的机器人操作视频变成可交互的物理仿真。一次双臂海绵擦拭试点中，编码智能体在56分钟内搭出经验证的模拟任务，再利用仿真反馈改进动作。工作台还能依据真实执行的失败视频，修正原先遗漏的物理约束。
先让海绵真正碰到横杆
一只机械臂握住横杆，另一只拿着海绵擦掉上面的记号。视频里看起来只有几个动作，搬进仿真却得同时处理机械臂运动、海绵变形和两个物体之间的接触。海绵的位置差一点，擦拭就可能变成从横杆旁边划过去。
图：真实机械臂一侧夹住横杆，另一侧持海绵接近横杆。
研究团队把一段手机视频交给现成编码智能体，没有附上CAD模型或经过标定的相机。智能体估计物体尺寸和摆放，选用工作台已有的机器人与材料模型，再运行、观察、改代码。论文报告，一次构建在56分钟内完成了经验证的仿真擦拭。
这里的“验证”指模拟任务确实完成，不代表对真实摩擦和受力的精确复原。工作台提供了可调整的接触参数与物理反馈，让智能体能逐步把场景改到可以工作，而不是只生成一段看起来相似的动画。
软海绵和硬机械臂，各自用合适的模型
RoboSimStudio把物体的定义和计算物理的方式分开。机械臂与刚体、绳索与布料、柔软物体可以使用不同的求解器，随后通过交换接触力或位置在同一个场景里协作。擦拭试点中，刚体和机械臂与模拟海绵变形的计算连在一起。
图：工作台将素材、机器人接口与不同物理求解器连到同一仿真场景。
这种组织方式保留了具体的调节入口。人可以在浏览器中拖动物体、控制机械臂，用滑块修改刚度和阻尼；编码智能体则能读取物体移动、接触、抓取或滑落等反馈，定位上一轮动作出了什么问题。不同材料的选择可以修改，不必每次重写整项任务。
团队用这套人类引导流程构建了18种操作仿真，涵盖连接器插入、理线、折毛巾、揭薄膜等。它们检验的是不同接触与变形场景能否在工作台里表达，并不是18项任务都已完成自动搭建与实机迁移。
工作台还接入了力反馈操作。人控制模拟机械臂时，接触阻力会通过低成本主控机械臂的电机传回。夹爪的实际开口也参与反馈，帮助区分夹住物体和在空中合拢，给视觉之外再加一个调参线索。
真实横杆一动，仿真也得跟着改
完成初始仿真后，团队改变海绵刚度，并生成30种横杆与海绵的空间布局。一个根据反馈调整的动作程序在14次迭代后，把模拟擦除面积从0%提高到100%。这个数字对应擦掉了多少模拟记号，不能读成100%的实机成功率。
图：真实擦拭画面中，横杆支架移动后海绵接触关系发生变化。
改进后的程序被搬到真实机械臂，完成了擦拭；另一次执行却把横杆支架推移，导致海绵失去接触。原始仿真把支架固定在环境里，当然复现不了这种失败。智能体看过失败视频后，把固定约束改成自由刚体，修改后的场景便能显示偏心擦拭引起的移动和倾倒。
试点只覆盖一项实机迁移任务，模拟与真实行为的对齐主要依靠定性观察。它已经展示出一条具体的修正路径：先运行，再拿真实偏差回头检查哪条物理假设写错了，最后在同一个工作台中重建那次接触。
参考资料
https://arxiv.org/abs/2610.18835
https://arxiv.org/html/2610.18835
https://arxiv.org/pdf/2610.18835
