arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~

作者

Pieter Abbeel

Robotics

至 收录 415
2606.30645 2026-06-30 cs.RO cs.AI cs.GR cs.SY eess.SY

VLK: Learning Humanoid Loco-Manipulation from Synthetic Interactions in Reconstructed Scenes

VLK:从重建场景中的合成交互学习人形机器人全身操控

Yen-Jen Wang, Jiaman Li, Sirui Chen, Takara E. Truong, Pei Xu, Pieter Abbeel, Rocky Duan, Koushil Sreenath, Angjoo Kanazawa, Carmelo Sferrazza, Guanya Shi, Karen Liu

机构 * Amazon FAR(亚马逊FAR) UC Berkeley(加州大学伯克利分校) Stanford University(斯坦福大学) Carnegie Mellon University(卡内基梅隆大学)

AI总结 提出VLK方法,通过3D高斯泼溅重建室内场景并合成视觉-语言-运动学数据,训练人形机器人全身操控策略,实现从仿真到真实的迁移。

Comments 19 pages, 7 figures, 4 tables

URL PDF HTML 收藏
2606.27375 2026-06-26 cs.RO 新提交

Scalable Behavior Cloning with Open Data, Training, and Evaluation

基于开放数据、训练和评估的可扩展行为克隆

Arthur Allshire, Himanshu Gaurav Singh, Ritvik Singh, Adam Rashid, Hongsuk Choi, David McAllister, Justin Yu, Yiyuan Chen, Huang Huang, Pieter Abbeel, Xi Chen, Rocky Duan, Phillip Isola, Jitendra Malik, Fred Shentu, Guanya Shi, Philipp Wu, Angjoo Kanazawa

AI总结 提出ABC开源行为克隆栈,包含最大遥操作数据集ABC-130K(3500小时/13万片段/195任务),并开源硬件、训练和仿真流程,通过协同训练实现仿真与真实评估关联,验证DiT和VLA模型设计,成功执行折纸盒、取信用卡等灵巧任务。

Comments 30 pages. Project page: https://abc.bot

URL PDF HTML 收藏
2606.17055 2026-06-23 cs.RO 新提交

T-Rex: Tactile-Reactive Dexterous Manipulation

T-Rex: 触觉反应灵巧操作

Dantong Niu, Zhuoyang Liu, Zekai Wang, Boning Shao, Zhao-Heng Yin, Anirudh Pai, Yuvan Sharma, Stefano Saravalle, Ruijie Zheng, Jing Wang, Ryan Punamiya, Mengda Xu, Yuqi Xie, Yunfan Jiang, Letian Fu, Konstantinos Kallidromitis, Matteo Gioia, Junyi Zhang, Jiaxin Ge, Haiwen Feng, Fabio Galasso, Wei Zhan, David M. Chan, Yutong Bai, Roei Herzig, Jiahui Lei, Li Fei-Fei, Ken Goldberg, Jitendra Malik, Pieter Abbeel, Yuke Zhu, Danfei Xu, Linxi Fan, Trevor Darrell

机构 * UC Berkeley(加州大学伯克利分校) NVIDIA(英伟达) Stanford(斯坦福大学) Panasonic(松下) La Sapienza University(罗马大学) ItalAI

AI总结 提出大规模触觉数据集和可变速率混合Transformer架构,在12项精细操作任务上平均成功率提升超30%。

Comments Project page: https://tactile-rex.github.io/

URL PDF HTML 收藏
2606.19333 2026-06-18 cs.RO cs.CV 新提交

Do as I Do: Dexterous Manipulation Data from Everyday Human Videos

Do as I Do: 从日常人类视频中获取灵巧操作数据

Bhawna Paliwal, Haritheja Etukuru, William Liang, Pieter Abbeel, Nur Muhammad Mahi Shafiullah, Jitendra Malik

机构 * UC Berkeley(加州大学伯克利分校)

AI总结 提出DO AS I DO算法,从单目RGB人类视频中重建手-物交互并重定向到多指灵巧机器人手,生成可执行的操作数据,优于现有方法。

Comments Project website: https://do-as-i-do.com/

URL PDF HTML 收藏
2606.13795 2026-06-18 cs.LG 新提交

DiPOD: Diffusion Policy Optimization without Drifting Apart

无漂移扩散策略优化

Haozhe Jiang, Haiwen Feng, Pieter Abbeel, Jiantao Jiao, Angjoo Kanazawa, Nika Haghtalab

机构 * University of California, Berkeley(加州大学伯克利分校) Simons Institute for the Theory of Computing(西蒙斯计算理论研究所) Department of Electrical Engineering and Computer Sciences, University of California, Berkeley(加州大学伯克利分校电气工程与计算机科学系)

AI总结 针对扩散策略梯度方法的不稳定性,提出DiPOD框架,通过自蒸馏与策略改进梯度更新交替进行,维持紧界行为,实现稳定且高效的策略优化。

Comments Project page: astro-eric.github.io/blogs/dipod/ Code: https://github.com/Astro-Eric/DiPOD-release

URL PDF HTML 收藏
2509.26633 2026-06-17 cs.RO cs.AI cs.LG cs.SY eess.SY 版本更新

OmniRetarget: Interaction-Preserving Data Generation for Humanoid Whole-Body Loco-Manipulation and Scene Interaction

OmniRetarget:面向人形全身运动操控与场景交互的交互保持数据生成

Lujie Yang, Xiaoyu Huang, Zhen Wu, Angjoo Kanazawa, Pieter Abbeel, Carmelo Sferrazza, C. Karen Liu, Rocky Duan, Guanya Shi

机构 * Amazon FAR (Frontier AI & Robotics)(亚马逊前沿人工智能与机器人实验室) MIT(麻省理工学院) UC Berkeley(伯克利大学) Stanford University(斯坦福大学) CMU(卡内基梅隆大学)

AI总结 提出OmniRetarget引擎,通过交互网格显式建模并保持智能体、地形和物体间的空间与接触关系,将人类运动重定向为机器人运动,生成高质量轨迹以训练强化学习策略,实现长时间跑酷和操控技能。

Comments Project website: https://omniretarget.github.io

URL PDF HTML 收藏
2606.13677 2026-06-12 cs.RO cs.AI cs.CV cs.LG 新提交

Mana: Dexterous Manipulation of Articulated Tools

Mana: 铰接工具的灵巧操作

Zhao-Heng Yin, Guanya Shi, Pieter Abbeel, C. Karen Liu

机构 * UC Berkeley(加州大学伯克利分校) CMU(卡内基梅隆大学) Stanford University(斯坦福大学) Amazon FAR(亚马逊FAR)

AI总结 提出Mana框架,将灵巧操作重解释为动画问题,通过粗到细的流水线自动生成操作轨迹,实现铰接工具的零样本仿真到现实迁移。

Comments Project Page: https://zhaohengyin.github.io/mana

URL PDF HTML 收藏
2606.10305 2026-06-10 cs.RO 新提交

SARM2: Multi-Task Stage Aware Reward Modeling for Self Improving Robotic Manipulation

SARM2: 多任务阶段感知奖励建模用于自我改进的机器人操作

Qianzhong Chen, Hau Zheng, Justin Yu, Suning Huang, Jiankai Sun, Ken Goldberg, Chuan Wen, Pieter Abbeel, Yide Shentu, Philipp Wu, Mac Schwager

机构 * Stanford University(斯坦福大学) UC Berkeley(加州大学伯克利分校) Shanghai Jiao Tong University(上海交通大学)

AI总结 提出多任务阶段感知奖励模型RM,结合动作基元阶段估计器和多门控专家混合值头,为机器人操作任务提供密集逐步奖励,并基于RM构建SPIRAL框架,通过廉价自主轨迹改进VLA策略,在10任务基准上显著提升成功率。

URL PDF HTML 收藏
2606.05873 2026-06-05 cs.RO cs.AI cs.CV cs.LG

LadderMan: Learning Humanoid Perceptive Ladder Climbing

LadderMan: 学习人形机器人感知爬梯

Siheng Zhao, Yuanhang Zhang, Ziqi Lu, Pieter Abbeel, Rocky Duan, Koushil Sreenath, Yue Wang, C. Karen Liu, Guanya Shi

机构 * Amazon FAR(亚马逊FAR) USC(美国南加州大学) UC Berkeley(加州大学伯克利分校) Stanford University(斯坦福大学) CMU(卡内基梅隆大学)

AI总结 提出LadderMan系统,通过两阶段学习管道和视觉基础模型,使人形机器人能够鲁棒地攀爬多种梯子并在梯子上进行操控。

URL PDF HTML 收藏
1506.02438 2026-06-04 cs.LG cs.RO cs.SY eess.SY

High-Dimensional Continuous Control Using Generalized Advantage Estimation

利用广义优势估计进行高维连续控制

John Schulman, Philipp Moritz, Sergey Levine, Michael Jordan, Pieter Abbeel

机构 * Department of Electrical Engineering and Computer Science(电气工程与计算机科学系) University of California, Berkeley(加州大学伯克利分校)

AI总结 本文提出了一种基于广义优势估计的方法,通过减少策略梯度估计的方差来解决高维连续控制中的样本需求问题,并通过信任区域优化提高稳定性和收敛性,从而在复杂的3D运动任务中实现了高效的政策学习。

URL PDF HTML 收藏
1710.06537 2026-06-04 cs.RO cs.SY eess.SY

Sim-to-Real Transfer of Robotic Control with Dynamics Randomization

机器人控制的仿真到现实转移与动力学随机化

Xue Bin Peng, Marcin Andrychowicz, Wojciech Zaremba, Pieter Abbeel

机构 * OpenAI

AI总结 本文提出一种简单方法通过随机化仿真动力学来弥合现实与仿真的差距,使策略能适应不同动态,从而在无需真实系统训练的情况下实现现实世界泛化。

URL PDF HTML 收藏
1610.03518 2026-06-04 cs.RO cs.AI cs.LG cs.SY eess.SY

Transfer from Simulation to Real World through Learning Deep Inverse Dynamics Model

通过学习深度逆动力学模型实现仿真到现实世界的迁移

Paul Christiano, Zain Shah, Igor Mordatch, Jonas Schneider, Trevor Blackwell, Joshua Tobin, Pieter Abbeel, Wojciech Zaremba

AI总结 本文提出通过学习深度逆动力学模型,在仿真与现实世界之间实现控制策略的迁移,解决仿真与现实差异导致的性能下降问题。

URL PDF HTML 收藏
2511.22445 2026-06-02 cs.RO

DIPOLE: Fusing Vision and Geometry for Robust Visuomotor Generalization

DIPOLE:融合视觉与几何实现鲁棒的视觉运动泛化

Yikai Tang, Haoran Geng, Jindou Jia, Yuxuan Hu, Sheng Zang, Jianfei Yang, Pieter Abbeel, Jitendra Malik

机构 * University of California, Berkeley(加州大学伯克利分校) Nanyang Technological University(南洋理工大学)

AI总结 提出DIPOLE,通过训练时模态丢弃和轻量交叉注意力融合视觉与几何信息,实现跨光照、纹理、视角等变化的鲁棒策略泛化,在18个模拟和4个真实任务中平均性能提升39.1%。

URL PDF HTML 收藏
2605.25210 2026-05-26 cs.LG cs.AI stat.ML

Multi-Objective Learning for Diffusion Models: A Statistical Theory under Semi-Supervised Learning

扩散模型的多目标学习:半监督学习下的统计理论

Ziheng Cheng, Yixiao Huang, Hanlin Zhu, Haoran Geng, Somayeh Sojoudi, Jitendra Malik, Pieter Abbeel, Xin Guo

机构 * University of California, Berkeley(加州大学伯克利分校)

AI总结 针对扩散模型在多目标学习中因模型容量增大导致统计成本高的问题,提出半监督两阶段训练方法,利用未标记数据通过伪样本蒸馏,证明所需配对样本量仅取决于专家模型复杂度。

URL PDF HTML 收藏
2603.05066 2026-05-20 cs.LG

Reward-Conditioned Reinforcement Learning

基于奖励的强化学习

Michal Nauman, Marek Cygan, Pieter Abbeel

机构 * University of Warsaw(华沙大学) Nomagic UC Berkeley, Amazon FAR(伯克利大学,亚马逊FAR)

AI总结 本文提出基于奖励的强化学习(RCRL),通过在收集经验时使用单一名义目标,使智能体在不额外交互的情况下暴露于多种奖励目标,从而提高样本效率并支持零样本行为调整。

Comments preprint

URL PDF HTML 收藏
2605.10236 2026-05-19 cs.LG cs.AI

When Does Non-Uniform Replay Matter in Reinforcement Learning?

在强化学习中非均匀回放何时起作用?

Michal Korniak, Mikołaj Czarnecki, Yarden As, Piotr Miłoś, Pieter Abbeel, Michal Nauman

机构 * ETH Zurich(苏黎世联邦理工学院) University of Warsaw(华沙大学) UC Berkeley(伯克利加州大学) Amazon FAR(亚马逊FAR)

AI总结 本文研究了非均匀回放在强化学习中的有效性,发现回放体积、预期近期性和回放分布熵是决定因素,并提出了一种简单有效的截断几何回放策略以提高样本效率。

URL PDF HTML 收藏
2506.15953 2026-05-14 cs.RO

ViTacFormer: Learning Cross-Modal Representation for Visuo-Tactile Dexterous Manipulation

ViTacFormer:学习跨模态表示以实现视觉-触觉灵巧操作

Liang Heng, Haoran Geng, Kaifeng Zhang, Pieter Abbeel, Jitendra Malik

机构 * University of California, Berkeley(加州大学伯克利分校) Peking University(北京大学) Sharpa

AI总结 本文提出ViTacFormer,通过跨注意力编码器融合高分辨率视觉与触觉,并结合自回归触觉预测头提升精度与鲁棒性,实现多指手的模仿学习,成功完成高精度灵巧操作任务。

URL PDF HTML 收藏
2512.15840 2026-05-11 cs.RO cs.CV

Large Video Planner Enables Generalizable Robot Control

大视频规划器实现通用机器人控制

Boyuan Chen, Tianyuan Zhang, Haoran Geng, Caiyi Zhang, Peihao Li, Kiwhan Song, William T. Freeman, Jitendra Malik, Pieter Abbeel, Russ Tedrake, Vincent Sitzmann, Yilun Du

机构 * MIT(麻省理工学院) UC Berkeley(加州大学伯克利分校) Harvard(哈佛大学)

AI总结 本文提出利用大规模视频预训练构建通用机器人基础模型,通过生成视频计划实现跨任务和环境的泛化控制,并在真实机器人上验证了其可行性。

Comments 29 pages, 16 figures

URL PDF HTML 收藏
2602.15827 2026-05-08 cs.RO cs.AI cs.LG cs.SY eess.SY

Perceptive Humanoid Parkour: Chaining Dynamic Human Skills via Motion Matching

感知型人形扑动:通过动作匹配链式动态人类技能

Zhen Wu, Xiaoyu Huang, Lujie Yang, Yuanhang Zhang, Xi Chen, Pieter Abbeel, Rocky Duan, Angjoo Kanazawa, Carmelo Sferrazza, Guanya Shi, C. Karen Liu

机构 * Amazon FAR(亚马逊FAR) UC Berkeley(加州大学伯克利分校) CMU(卡内基梅隆大学) Stanford University(斯坦福大学)

AI总结 本文提出感知型人形扑动框架,通过动作匹配和强化学习实现人形机器人在复杂环境中自主执行长时程视觉扑动任务,展示高动态扑动技能和多障碍物穿越能力。

URL PDF HTML 收藏
2605.00080 2026-05-04 cs.RO cs.CV

World Model for Robot Learning: A Comprehensive Survey

机器人学习的世界模型:全面综述

Bohan Hou, Gen Li, Jindou Jia, Tuo An, Xinying Guo, Sicong Leng, Haoran Geng, Yanjie Ze, Tatsuya Harada, Philip Torr, Oier Mees, Marc Pollefeys, Zhuang Liu, Jiajun Wu, Pieter Abbeel, Jitendra Malik, Yilun Du, Jianfei Yang

机构 * Nanyang Technological University(南洋理工大学) University of California, Berkeley(加州大学伯克利分校) Stanford University(斯坦福大学) The University of Tokyo(东京大学) University of Oxford(牛津大学) Microsoft(微软公司) ETH Zurich(苏黎世联邦理工学院) Princeton University(普林斯顿大学) Harvard University(哈佛大学)

AI总结 综述从机器人学习角度系统回顾世界模型的快速发展,探讨其与机器人策略的耦合、作为强化学习模拟器的作用以及机器人视频世界模型的发展,总结关键范式与挑战。

Comments 43 pages, 6 figures

URL PDF HTML 收藏
2509.25358 2026-04-28 cs.RO

SARM: Stage-Aware Reward Modeling for Long Horizon Robot Manipulation

SARM:面向长时间 horizon 的机器人操控阶段感知奖励建模

Qianzhong Chen, Justin Yu, Mac Schwager, Pieter Abbeel, Yide Shentu, Philipp Wu

机构 * Stanford University(斯坦福大学) UC Berkeley(加州大学伯克利分校)

AI总结 本文提出一种基于视频的阶段感知奖励建模框架,通过自然语言子任务标注实现一致标签,提升长horizon任务的鲁棒性和泛化能力,实验表明其在真实世界和人类验证中表现优异。

URL PDF HTML 收藏
2506.02618 2026-04-23 cs.RO cs.CV

Rodrigues Network for Learning Robot Actions

罗德里格斯网络用于学习机器人动作

Jialiang Zhang, Haoran Geng, Yang You, Congyue Deng, Pieter Abbeel, Jitendra Malik, Leonidas Guibas

机构 * MIT(麻省理工学院) Stanford University(斯坦福大学) UC Berkeley(加州大学伯克利分校)

AI总结 本文提出罗德里格斯网络,通过引入运动学先验知识提升机器人动作学习性能,验证了其在动作预测和手部重建中的有效性。

Comments ICLR 2026

URL PDF HTML 收藏
2603.06082 2026-04-21 cs.AI cs.CE

Offline Materials Optimization with CliqueFlowmer

离线材料优化与CliqueFlowmer

Jakub Grudzien Kuba, Benjamin Kurt Miller, Sergey Levine, Pieter Abbeel

机构 * BAIR, UC Berkeley, Berkeley, California, USA(BAIR,加州大学伯克利分校,伯克利,加利福尼亚州,美国) FAIR, Meta, San Francisco, California, USA(FAIR,Meta,旧金山,加利福尼亚州,美国)

AI总结 本文提出基于离线模型优化的材料发现方法,结合CliqueFlowmer模型优化目标材料属性,优于生成方法。

URL PDF HTML 收藏
2507.11019 2026-04-14 cs.LG

Relative Entropy Pathwise Policy Optimization

相对熵路径策略优化

Claas Voelcker, Axel Brunnbauer, Marcel Hussing, Michal Nauman, Pieter Abbeel, Eric Eaton, Radu Grosu, Amir-massoud Farahmand, Igor Gilitschenski

机构 * University of Toronto(多伦多大学) Vector Institute(向量研究所) TU Wien(维也纳工业大学) University of Pennsylvania(宾夕法尼亚大学) University of Warsaw(华沙大学) UC Berkeley(加州大学伯克利分校) Polytechnique Montréal(蒙特利尔综合理工学院) Mila – Quebec AI Institute(Mila – 魁北克人工智能研究所)

AI总结 本文提出REPPO算法,通过路径策略梯度结合在线学习,提升训练稳定性与效率,展现优越的样本效率和内存表现。

URL PDF HTML 收藏
2511.11672 2026-04-03 cs.DC

OSGym: Scalable OS Infra for Computer Use Agents

OSGym: 用于计算机使用代理的可扩展操作系统基础设施

Zengyi Qin, Jinyuan Chen, Yunze Man, Shengcao Cao, Ziqi Pang, Zhuoyuan Wang, Han Fang, Ling Zhu, Zixin Xie, Zibu Wei, Tianshu Ran, Haoran Geng, Ray Pan, Qizhen Sun, Zachary Bright, Yuyang Cai, Chongye Yang, Jiace Zhao, Tianrui Liu, Han Cao, Yeyang Zhou, Rui Wang, Song Wang, Xiang Ren, Bo Zhang, Yutong Ban, Pieter Abbeel, Brian Anthony

AI总结 OSGym通过分布式状态管理、硬件感知复制调度、KVM虚拟化与容器池等优化,实现高可扩展性和资源效率,支持千级操作系统副本,降低代理训练成本。

URL PDF HTML 收藏
2410.13106 2026-03-20 cs.LG cs.AI

Cliqueformer: Model-Based Optimization with Structured Transformers

Cliqueformer: 基于结构变换器的模型优化

Jakub Grudzien Kuba, Pieter Abbeel, Sergey Levine

AI总结 Cliqueformer通过功能图模型学习黑盒函数结构,提升模型优化性能,适用于蛋白质工程和材料发现等设计任务。

URL PDF HTML 收藏
2603.10158 2026-03-12 cs.RO

Cross-Hand Latent Representation for Vision-Language-Action Models

跨手的潜在表示用于视觉-语言-动作模型

Guangqi Jiang, Yutong Liang, Jianglong Ye, Jia-Yang Huang, Changwei Jing, Rocky Duan, Pieter Abbeel, Xiaolong Wang, Xueyan Zou

AI总结 XL-VLA通过统一的潜在动作空间实现跨手灵巧操作的可扩展学习,提升视觉-语言-动作模型的训练效率和性能。

Comments Website: https://xl-vla.github.io

URL PDF HTML 收藏
2511.00153 2026-03-11 cs.RO

EgoMI: Learning Active Vision and Whole-Body Manipulation from Egocentric Human Demonstrations

EgoMI: 从第一人称人类演示中学习主动视觉和全身操作

Justin Yu, Yide Shentu, Di Wu, Pieter Abbeel, Ken Goldberg, Philipp Wu

机构 * UC Berkeley(伯克利大学)

AI总结 EgoMI通过同步捕捉头部和末端执行器轨迹,实现从第一人称人类演示中学习主动视觉与全身操作,有效弥合人机身体差距,提升半人形机器人模仿学习性能。

URL PDF HTML 收藏
2603.03280 2026-03-04 cs.RO cs.AI cs.CV cs.LG cs.SY eess.SY

How to Peel with a Knife: Aligning Fine-Grained Manipulation with Human Preference

如何用刀剥皮:将细粒度操作与人类偏好对齐

Toru Lin, Shuying Deng, Zhao-Heng Yin, Pieter Abbeel, Jitendra Malik

机构 * University of California, Berkeley(加州大学伯克利分校)

AI总结 本文提出了一种通过剥皮任务学习细粒度操作与人类偏好的对齐方法,通过两阶段策略优化实现高成功率和泛化能力。

Comments Project page can be found at https://toruowo.github.io/peel

URL PDF HTML 收藏
2603.01151 2026-03-03 cs.RO cs.CV cs.GR

D-REX: Differentiable Real-to-Sim-to-Real Engine for Learning Dexterous Grasping

D-REX:用于学习灵巧抓取的可微现实到仿真到现实引擎

Haozhe Lou, Mingtong Zhang, Haoran Geng, Hanyang Zhou, Sicheng He, Zhiyuan Gao, Siheng Zhao, Jiageng Mao, Pieter Abbeel, Jitendra Malik, Daniel Seita, Yue Wang

机构 * Physical Superintelligence (PSI) Lab, University of Southern California(南加州大学物理超智能实验室) Viterbi School of Engineering, University of Southern California(南加州大学韦伯尔工程学院) Department of EECS, University of California, Berkeley(加州大学伯克利分校电子工程与计算机科学系)

AI总结 D-REX通过可微引擎实现现实到仿真到现实的抓取学习,利用高斯点表示自动构建数字双胞胎并优化质量识别,从而提升抓取策略的力感知性能。

Comments ICLR 2026 Poster

URL PDF HTML 收藏