作者
Computer Vision
反事实视频生成实现可扩展的人形机器人移动操作
机构 * Amazon FAR（亚马逊FAR） ； UC Berkeley（加州大学伯克利分校） ； Carnegie Mellon University（卡内基梅隆大学） ； Stanford（斯坦福大学）
AI总结 提出PRISM框架，通过反事实视频生成和接触锚定仿真重建，从少量真实视频扩展训练数据，实现无需真实微调的人形机器人移动操作泛化。
Comments published at CoRL 2026. Project page: this https URL (https://prism-real2sim2real.github.io/)
OmniTaskonomy：视觉生成何时提升视觉理解？
机构 * University of California, Berkeley（加州大学伯克利分校） ； Duke University（杜克大学） ； Carnegie Mellon University（卡内基梅隆大学） ； University of Washington（华盛顿大学） ； Elorian ； Impossible Research
AI总结 本研究通过OmniTaskonomy分类体系系统探究视觉生成监督对视觉理解的影响，发现特定生成任务能选择性提升对应理解能力，且梯度对齐程度与迁移增益正相关，为视觉理解训练提供指导。
形态度量模仿：从形态与接触感知的手部重定向到仿真到现实视觉运动策略
机构 * University of California, Berkeley（加州大学伯克利分校）
AI总结 提出形态度量模仿框架，通过形态优化、残差强化学习和策略蒸馏，将人手交互示范转化为零样本仿真到现实的视觉运动策略，显著提升接触精度和真实世界成功率。
Comments 24 pages, 10 figures
SPIDER：可扩展的物理引导的灵活重新定位
机构 * FAIR at Meta（Meta 的 FAIR） ； Carnegie Mellon University（卡内基梅隆大学）
AI总结 SPIDER 是一种基于物理的重新定位框架，通过大规模物理采样和课程式虚拟接触指导，将人类运动数据转化为动态可行的机器人轨迹，提升策略学习效率。
Comments Project website: https://jc-bao.github.io/spider-project/
AgentSTAR：从单目视频进行智能体式形状重建与跟踪
机构 * Amazon FAR (Frontier AI and Robotics)（亚马逊前沿人工智能与机器人部门）
AI总结 本文提出AgentSTAR方法，利用视觉-语言模型智能体通过分析-合成循环从单目视频重建和跟踪物体形状与位姿，在ARCTIC和HOT3D数据集上超越现有基线。
场景语言模型用于开放词汇场景映射
机构 * Chalmers（查尔姆斯理工大学） ； Zenseact ； Stanford（斯坦福大学） ； UC Berkeley（加州大学伯克利分校） ； NVIDIA（英伟达）
AI总结 SceneLM是一种场景语言模型，直接维护文本场景地图，通过添加、编辑和删除对象更新地图，在检索和定位基准上性能与完整系统相当，且表示紧凑6-12倍，可在线运行于边缘设备。
学习物理交互：触觉与力感知机器人学习综述
机构 * Nanyang Technological University（南洋理工大学） ； Stanford University（斯坦福大学） ； University of California, Berkeley（加利福尼亚大学伯克利分校） ； Massachusetts Institute of Technology（麻省理工学院） ； National University of Singapore（新加坡国立大学） ； Georgia Institute of Technology（佐治亚理工学院） ； The University of Tokyo（东京大学） ； ETH Zurich（苏黎世联邦理工学院） ； Harvard University（哈佛大学） ； Imperial College London（伦敦帝国学院） ； KTH Royal Institute of Technology（瑞典皇家理工学院） ； Technical University of Darmstadt（达姆施塔特工业大学）
AI总结 本综述针对力与触觉感知机器人学习研究的空白，提出TF-ART分类法，整合多模态感知与多阶段系统设计视角，兼具算法与实践意义。
Comments 53 pages, 7 figures
FARM: 使用关系空间记忆找到任何物体
机构 * UC Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学）
AI总结 提出FARM系统，通过实时构建包含几何、视觉语言描述和视角证据的开放词汇物体级记忆，并利用VLM解析查询和显式空间约束，在44k语言查询中Recall@5和Recall@10分别提升164%和224%，Accuracy@1提升35%。
持续学习何时需要学习
机构 * UC Berkeley（加州大学伯克利分校） ； Capital Fund Management（资本基金管理公司）
AI总结 研究大语言模型持续学习问题，从空间和时间轴分解变化，通过重新设置基准和引入协议评估多种方法，发现持续学习非单一能力，不同环境变化需不同更新行为，为设计更强持续学习系统提供指导。
Comments Code: https://github.com/anneharrington/studying-cl. Project page: https://anneharrington.github.io/studying-cl/
基于开放数据、训练和评估的可扩展行为克隆
AI总结 提出ABC开源行为克隆栈，包含最大遥操作数据集ABC-130K（3500小时/13万片段/195任务），并开源硬件、训练和仿真流程，通过协同训练实现仿真与真实评估关联，验证DiT和VLA模型设计，成功执行折纸盒、取信用卡等灵巧任务。
Comments 30 pages. Project page: https://abc.bot
ForceBand: 利用表面肌电信号学习有力操作
机构 * Amazon FAR（亚马逊 FAR） ； University of Maryland（马里兰大学） ； Johns Hopkins University（约翰霍普金斯大学）
AI总结 提出ForceBand，一种低成本腕戴式sEMG系统，通过预测手指力来增强人类演示数据，用于机器人有力操作策略学习，在多种物体上实现87%的成功率。
T-Rex: 触觉反应灵巧操作
机构 * UC Berkeley（加州大学伯克利分校） ； NVIDIA（英伟达） ； Stanford（斯坦福大学） ； Panasonic（松下） ； La Sapienza University（罗马大学） ； ItalAI
AI总结 提出大规模触觉数据集和可变速率混合Transformer架构，在12项精细操作任务上平均成功率提升超30%。
Comments Project page: https://tactile-rex.github.io/
PTLD: 从仿真到现实的触觉潜在知识蒸馏用于灵巧操作
机构 * Carnegie Mellon University（卡内基梅隆大学） ； University of Washington（华盛顿大学） ； FAIR at Meta（Meta的FAIR团队） ； UC Berkeley（伯克利大学）
AI总结 提出PTLD方法，通过真实世界触觉策略数据蒸馏鲁棒状态估计器，解决触觉仿真困难问题，在灵巧操作任务中相比纯本体感策略提升182%和57%。
Do as I Do: 从日常人类视频中获取灵巧操作数据
机构 * UC Berkeley（加州大学伯克利分校）
AI总结 提出DO AS I DO算法，从单目RGB人类视频中重建手-物交互并重定向到多指灵巧机器人手，生成可执行的操作数据，优于现有方法。
Comments Project website: https://do-as-i-do.com/
对比动作-图像预训练用于视觉运动控制
机构 * UC Berkeley（加州大学伯克利分校） ； NVIDIA（英伟达） ； Sapienza University of Rome（罗马大学） ； Panasonic（松下） ； ItalAI
AI总结 提出CAIP方法，利用大规模第一人称视频中3D手部关键点作为代理动作信号，通过对比学习统一动作-图像表示，在少量机器人数据下显著提升灵巧操作性能。
SAM 3D: 将图像中的任何内容3D化
机构 * Meta Superintelligence Labs（Meta超智能实验室）
AI总结 提出SAM 3D生成模型，从单张图像重建3D物体的几何、纹理和布局，通过人机协同标注和分阶段训练突破数据瓶颈，在真实场景中取得显著优势。
Comments Website: https://ai.meta.com/sam3d/
将最优控制与学习相结合用于新环境中的视觉导航
机构 * University of California, Berkeley（加州大学伯克利分校） ； Facebook AI Research（脸书人工智能研究）
AI总结 本文提出了一种结合模型控制与学习感知的方法，用于在新环境中实现可靠的视觉导航，通过生成无碰撞路径的 waypoints，使机器人能够高效地到达目标位置，同时在低帧率和仿真到现实的迁移中表现良好。
Comments Project website: https://vtolani95.github.io/WayPtNav/
DIPOLE：融合视觉与几何实现鲁棒的视觉运动泛化
机构 * University of California, Berkeley（加州大学伯克利分校） ； Nanyang Technological University（南洋理工大学）
AI总结 提出DIPOLE，通过训练时模态丢弃和轻量交叉注意力融合视觉与几何信息，实现跨光照、纹理、视角等变化的鲁棒策略泛化，在18个模拟和4个真实任务中平均性能提升39.1%。
AutoEval 的正确做法：使用合成数据进行模型评估
机构 * Department of Electrical Engineering and Computer Sciences, University of California, Berkeley, USA（电子工程与计算机科学系，加州大学伯克利分校） ； Department of Systems Immunology, Weizmann Institute of Science, Rehovot, Israel（系统免疫学系，魏茨曼科学研究所） ； Inria, Ecole Normale Supérieure, Paris, France（法国国家信息与自动化技术研究所，巴黎高等师范学院）
AI总结 本文提出高效且统计上无偏的算法，利用AI标记的合成数据减少模型评估所需的人工标注量，在GPT-4实验中有效样本量提升高达50%。
Comments camera-ready paper version
MonoDuo: 使用单机械臂学习双臂策略
机构 * University of California, Berkeley（加州大学伯克利分校）
AI总结 提出MonoDuo框架，利用单臂机器人演示和人类协作数据，通过数据增强生成合成演示，训练双臂机器人策略，在五项任务中实现零样本部署和少样本微调，成功率高达70%。
Comments Accepted to appear in the 2026 IEEE International Conference on Robotics and Automation (ICRA), Vienna, Austria, 1-5 June 2026
超越二元：基于物理接触表示的仿真到现实灵巧操作
机构 * ETH Zürich（苏黎世联邦理工学院） ； UC Berkeley（伯克利加州大学）
AI总结 提出基于物理原理的中心压力（CoP）触觉表示，结合可微动力学传感器标定，实现多指手的零样本仿真到现实迁移，在插销入孔和球平衡任务中优于二元接触和原始触觉基线。
Comments Project site: https://mpan31415.github.io/tactile_rep/
扩散模型的多目标学习：半监督学习下的统计理论
机构 * University of California, Berkeley（加州大学伯克利分校）
AI总结 针对扩散模型在多目标学习中因模型容量增大导致统计成本高的问题，提出半监督两阶段训练方法，利用未标记数据通过伪样本蒸馏，证明所需配对样本量仅取决于专家模型复杂度。
ViTacFormer：学习跨模态表示以实现视觉-触觉灵巧操作
机构 * University of California, Berkeley（加州大学伯克利分校） ； Peking University（北京大学） ； Sharpa
AI总结 本文提出ViTacFormer，通过跨注意力编码器融合高分辨率视觉与触觉，并结合自回归触觉预测头提升精度与鲁棒性，实现多指手的模仿学习，成功完成高精度灵巧操作任务。
大视频规划器实现通用机器人控制
机构 * MIT（麻省理工学院） ； UC Berkeley（加州大学伯克利分校） ； Harvard（哈佛大学）
AI总结 本文提出利用大规模视频预训练构建通用机器人基础模型，通过生成视频计划实现跨任务和环境的泛化控制，并在真实机器人上验证了其可行性。
Comments 29 pages, 16 figures
机器人学习的世界模型：全面综述
机构 * Nanyang Technological University（南洋理工大学） ； University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） ； The University of Tokyo（东京大学） ； University of Oxford（牛津大学） ； Microsoft（微软公司） ； ETH Zurich（苏黎世联邦理工学院） ； Princeton University（普林斯顿大学） ； Harvard University（哈佛大学）
AI总结 综述从机器人学习角度系统回顾世界模型的快速发展，探讨其与机器人策略的耦合、作为强化学习模拟器的作用以及机器人视频世界模型的发展，总结关键范式与挑战。
Comments 43 pages, 6 figures
罗德里格斯网络用于学习机器人动作
机构 * MIT（麻省理工学院） ； Stanford University（斯坦福大学） ； UC Berkeley（加州大学伯克利分校）
AI总结 本文提出罗德里格斯网络，通过引入运动学先验知识提升机器人动作学习性能，验证了其在动作预测和手部重建中的有效性。
Comments ICLR 2026
通过随机玩具学习抓取任何物体
机构 * University of California, Berkeley（加州大学伯克利分校） ； Sapienza University of Rome（罗马大学） ； ItalAI ； Panasonic（松下）
AI总结 本文通过随机组装的简单玩具训练机器人，使其具备泛化抓取能力，采用对象中心视觉表示实现零样本性能，实现在YCB数据集上的67%抓取成功率。
野外运动预测
机构 * UC Berkeley（加州大学伯克利分校） ； Google DeepMind（谷歌DeepMind） ； Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
AI总结 本文提出密集点轨迹作为行为视觉标记，设计扩散变换器模型，实现复杂运动模式的预测，并通过300小时野生动物视频验证了其高效性和泛化能力。
Comments project page: https://motion-forecasting.github.io/
人类水平的三维形状感知源自多视角学习
AI总结 本文提出了一种基于多视角学习的框架，通过自然视觉数据预测人类三维形状推断，首次实现了与人类表现一致的准确率，揭示了模型动态与人类感知的自然对应关系。
Comments Project page: https://tzler.github.io/human_multiview Code: https://github.com/tzler/human_multiview Huggingface dataset: https://huggingface.co/datasets/tzler/MOCHI
扩散力场用于多智能体交互序列建模
机构 * Sony Group Corporation（索尼集团公司） ； Meta ； UC Berkeley（加州大学伯克利分校）
AI总结 本文提出MAGNet框架，通过灵活的条件和采样生成多智能体运动序列，支持多种交互任务，实现长序列生成和智能体间协调。
Comments Project page: https://von31.github.io/MAGNet/ ; Code: https://github.com/Von31/MAGNet-code
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈