arXivDaily arXiv每日学术速递 周一至周五更新

PAPERDAILY REPORTS

机器人不必等思考完:英伟达团队把模型延迟从495降到147毫秒

作者:arXivDaily编辑部 论文中文资料arXiv 2610.17540 cs · cs.AI · cs.RO

论文导读

英伟达、纽约大学、加州大学伯克利分校等机构提出TacitVLA,让机器人保留推理训练的收益,却不必等待当前推理文本生成后再行动。在LIBERO测试的单H100设置下,模型调用延迟从495降至147毫秒。需要记忆的任务则把文字记录挪到动作执行期间,让下一轮还能使用历史信息。

少等348毫秒,少的是哪一步

机器人看到桌面物体后,先写出场景说明和计划,再开始生成动作。这种“先说清楚再动手”的流程有一个直接代价:文字还没逐字输出完,动作只能等着。TacitVLA把当前推理文本从动作模型的输入里拿掉。

图:两种推理策略在LIBERO中的取放过程,分别列出成功与未完成任务的时序。

在LIBERO和LIBERO-Plus上,显式推理版本一次调用要495毫秒,TacitVLA为147毫秒,约缩短到原来的三分之一。两者都在单张H100上计时,数字衡量从观察到动作段准备好的等待,并不是机械臂移动速度。

论文还比较了完全不接受推理监督的同架构模型。它在LIBERO-Plus成功率为67.6%,TacitVLA为72.9%,显式推理为73.5%。TacitVLA保留了大部分推理收益,但不是每个数字都超过显式推理;这组比较的重点,是少等一段文本后成绩仍接近。

训练时学推理,行动时不读当次答案

研究团队把作用分开检查。推理文本可以在训练时塑造模型对场景与任务的表示,也可以在长任务中记录历史;当前动作是否必须读到当次生成的推理,是第三个问题。

图:注意力关系图与时间流程比较当前推理先生成或延后生成的两条路径。

TacitVLA与显式推理版本使用同样的训练序列、数据和优化设置,只改变动作部分对当前推理文本的读取权限。动作仍能使用视觉、指令及已有上下文,也会受推理训练影响,只是无法直接读取这一轮推理词句。

对于不需要保存当次文本的任务,部署时可以跳过文本生成。不是把一个依赖推理答案的现成模型直接静音,而是训练时就让动作路径学会在没有那段文字的条件下工作。论文用同架构对照把这一区别固定下来。

四组测试覆盖机器人操作、计数记忆和驾驶仿真。驾驶部分的结果来自公开场景的闭环模拟评测;它能补充不同任务上的观察,不能据此宣布同样的等待缩短已经适用于道路上的真实车辆。

计数还得记,只是换个时机写

按按钮要求重复指定次数时,当前画面可能看不出之前按了几次。这样的任务不能把历史记录也一并删掉。TacitVLA先利用已有记录生成动作,再在机械臂执行这段动作时,补写下一轮需要的条目。

图:连续画面配合生成的文字账本,展示投放计数任务中的状态更新。

在RoboMME计数任务的设置里,动作路径平均127毫秒,生成记录需93毫秒;16个动作以20Hz执行,留下800毫秒窗口。记录可以在执行期间完成,下一次调用到来时已进入上下文,当前动作无须串行等待。

在另一组RMBench按按钮任务中,无推理版本成功率仅7.7%,TacitVLA为74.3%,显式推理为73.3%。计数依赖文字账本,研究并没有证明机器人可以不要记忆;它证明的是这份记忆不必每次堵在行动之前。

所有受测记忆任务中,延后生成都能赶上执行窗口。更长的记录或更短的动作段可能让它来不及完成,超出的时间仍会形成等待。能省掉多少延迟,要看生成工作是否真的能藏进这段执行时间。

参考资料

https://arxiv.org/abs/2610.17540

https://arxiv.org/html/2610.17540

https://arxiv.org/pdf/2610.17540

https://tacitvla.github.io

https://arxiv.org/src/2610.17540

↑