论文导读
英伟达、麻省理工学院、加州大学伯克利分校等机构提出Robota-Embed，让机器人用画面、指令和正在执行的动作一起检索旧经验。在五项ManiSkill仿真任务中，配合任务记忆与上下文方案，固定策略的成功率从24%提高到68%，把“找得到经历”推进到“找对下一步参考”。
画面一样，下一步可能完全相反
机械臂靠近一个碗，可能准备放下物体，也可能刚刚放好、正要离开。只找外观相似的画面，容易把两个方向相反的动作当成同一种经验。Robota-Embed把检索问题改成：当前做到哪一步，什么后续动作才合适。
输入包括当前画面、任务文字和原生动作；图库中则保留过去交互之后的一段视频与动作。模型把两端转换到同一个可比较的表示空间，再按相关性找出后续片段。它查找的是记录过的未来过程，并非凭空预测一个实验结果。
图：当前操作查询与检索出的后续片段并列，展示跨来源经验对应。
这种区别对机器人很实际。同样一句收拾桌面的指令，抓取前、搬运中、释放后需要的参考不同。把动作阶段纳入检索，才有机会避免“物体找对了，步骤找错了”。
先检验有没有找对，再让策略用起来
团队整理了1695684个训练锚点，来自人类、真实机器人和仿真经验。检索基准包含4000个查询和8000个候选片段，同时区分找对具体片段与找对所属经历。两种指标不能互相替代。
论文报告，片段级首位召回率为47.33%，经历级为81.77%；相对不含动作输入的Gemini Embedding 2，分别高22.09和33.47个百分点。这个对照说明的是该检索任务，不是通用语言或视觉能力排名。
图：视觉、语言与动作联合检索、首位召回率和两种上下文应用的总体结果。
找到参考后，还得接进策略实际接受的输入。Embed2ICL探索了两种接口：一种用检索视频初始化冻结策略的视觉缓存，另一种训练策略使用预先编码的上下文。DROID-Sim成功率从47.0%到56.3%，LIBERO困难子集从86.4%到92.8%，分别对应不同策略和评测，不能合并成一个总成功率。
改的是记忆用法，不是大模型权重
Embed2Evolve让执行反馈参与任务局部记忆和上下文方案的选择。哪些旧尝试值得保留、何时重新检索、历史信息如何呈现，都在开发过程中调整；策略模型与检索模型权重保持固定。
最终测试前，选中的记忆与方案被冻结。五项ManiSkill任务，每项每条件使用20个新的匹配初始状态。68%对应这组仿真最终测试，直接策略为24%，另一种嵌入模型独立演化的方案为33%。它没有证明任何现实家庭任务都能达到同样表现。
图：开发阶段收集经验、调整记忆方案，再冻结记忆与策略接口进行测试。
相对直接策略，最终每次测试的平均策略Token用量减少43.7%；相对另一个演化方案，减少约79.5%。两者分母不同，不能只摘取最大的节省数而省略对照。统计包含成功与失败的最终测试，不包含开发试错成本。
实机部分还评估了双臂分杯等任务进度。分杯的平均进度从66.67%到87.50%，这是12次测试的归一化阶段得分，不应写成任务成功率。经验检索的价值，最终要落到策略是否按正确步骤完成更多动作。
参考资料
https://arxiv.org/abs/2610.19495
https://arxiv.org/html/2610.19495
