论文导读
加州大学圣迭戈分校、苏黎世联邦理工学院、英属哥伦比亚大学、布朗大学团队提出LeWAM，让机器人同时学习动作和动作后果。四项视觉目标仿真任务中，平均规划速度从每秒1.62个方案提高到52.50个，约提速32.3倍；长任务成功率从10.9%升到46.2%。模型先给出更有希望的动作，再用学到的环境变化检查并调整它们。
先给机器人一个目标画面
要把一个物体放到指定位置，可以先给机器人看最后应该是什么样子，再让它从当前画面想办法到达目标。这与只告诉它完成某个固定任务不同：当前物体在哪里、夹爪在哪边，都会改变合适的动作。
图：两排画面展示导航、推T形物体、方块、拼图、挂工具和搬运等仿真环境，图标标记任务属性。
LeWAM在十个仿真环境里测试这种看目标画面做规划的能力，包括推T形物体、移动方块、挂工具和多物体操作等。团队还规定了每项任务的成功条件。例如方块任务同时检查方块和末端执行器位置，不能只把物体送对地方，就把机器人状态忽略。
动作和后果，在一起学
一些世界模型先学画面随动作怎样变化，之后再添加控制策略。这样，能预测画面不一定等于知道该怎么动；如果从大量随意动作中搜索，规划也会很慢。
LeWAM把动作学习和后果预测放到同一训练阶段。它把当前画面压成内部状态，一条分支根据动作预测下一个状态，另一条分支根据历史状态生成动作。两类学习共同要求视觉表示保留与控制有关的信息，而不是只记住背景。
规划时，模型先从自己学到的动作分布中采样，预测各条动作的后果，再根据与目标状态的距离调整候选。执行其中一小段后，重新观察，再规划下一段。它没有在控制时把每种后果都还原成完整视频，比较发生在紧凑内部状态中。
图：一串预测器接收历史状态与候选动作，最后比较目标状态并通过梯度调整动作，雪花符号表示模型冻结。
规划更快，远目标仍更难
在四项视觉目标任务上，LeWAM平均每秒规划52.50次，对照LeWM使用的搜索方法为1.62次，速度差约32.3倍。这个数字比较的是论文指定的仿真规划过程，不代表真实机械臂移动速度提高了32倍。
当目标画面离起始位置更远，模型要面对更长的动作链。论文在推T形、方块、场景操作和拼图四项任务中，把目标设到记录轨迹100步之后，平均成功率为46.2%，对照为10.9%。同一个模型在近目标任务上表现更好，不能把近目标的成绩套到长任务。
十个环境的总体比较也展示了接触操作上的差距。挂工具任务的目标到达率为94.7%，对照为35.4%；多物体搬运任务为83.3%，对照为2.8%。图片中的误差线、不同任务的动作预算和成功判据都属于比较口径。
图：每项任务用多组柱形比较模型成功率并给出误差线，前五组纵轴从50%起绘。
实机另测，直接执行也另算
团队还训练了不用目标画面的行为模仿版本。在这里，机器人直接根据观察历史生成动作块，完成某个固定任务，不运行前面的在线规划过程。仿真三项任务的平均成绩与已有扩散策略相近，部分任务改善、部分任务没有领先。
实机用了场景相机和腕部相机，测试拾取放置T形物体、推T形物体和叠胶带，每项任务每种方法30次。端到端LeWAM分别成功16、8、6次，合计成功率33.3%；同表中的扩散策略平均38.9%。这组实验不能支持“LeWAM实机成功率93.5%”一类写法，后者来自仿真目标规划。
同一套建模思路能够用于规划或直接执行，但实验条件必须分别报告。项目页把仿真环境、规划结果和实机任务分开展示，还提供按记录动作推进的状态预测，方便检查模型究竟学到了什么后果。
