Demo-JEPA: Joint-Embedding Predictive Architecture for One-shot Cross-Embodiment Imitation
State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（信息处理国家重点实验室，计算机学院，北京大学）；University of Washington（华盛顿大学）；Beijing Innovation Center of Humanoid Robotics（北京人形机器人创新中心）
本文提出Demo-JEPA，一种跨体态模仿框架，通过解耦示范意图与体态特定的执行，利用共享预测表示空间将源视觉示范转换为目标兼容的未来潜在轨迹，使目标代理通过规划实现这些子目标，从而在异构体态间实现灵活的模仿。
2026-05-20 cs.RO
What Matters in Language Conditioned Robotic Imitation Learning over Unstructured Data
University of Freiburg（弗赖堡大学）；University of Technology Nuremberg（纽伦堡工业大学）
机器人技术的一个长期目标是建造能够通过机载传感器获得的感知执行各种日常任务的机器人，这些感知仅通过自然语言指定。虽然最近通过利用从像素的端到端学习，在语言驱动的机器人技术方面取得了实质性的进展，但由于设置的潜在变化，没有明确和充分理解的过程来做出各种设计选择。在本文中，我们对从离线自由形式模仿数据集学习语言条件策略的最关键挑战进行了广泛的研究。我们进一步确定架构和算法技术，提高性能，如机器人控制学习的分层分解，多模态Transformer编码器，离散的潜在计划和自我监督的对比损失，对齐视频和语言表示。通过将我们的调查结果与我们改进的模型组件相结合，我们能够提出一种新的方法，该方法在具有挑战性的语言条件长视野机器人操作CALVIN基准上显着优于现有技术。我们已经开源了我们的实现，以促进未来的研究，在学习执行许多复杂的操作技能，在一排指定的自然语言。代码库和训练模型可在http://hulc.cs.uni-freiburg.de上获得
2022-08-30 cs.AI cs.CL cs.CV
Interactive Imitation Learning in Robotics: A Survey
Delft University of Technology（代尔夫特理工大学）；University of Freiburg（弗莱堡大学）
本文系统综述了机器人交互式模仿学习，梳理其反馈类型、接口、学习模型、用户体验、应用与基准，并探讨与强化学习概念的对应关系及现实应用前景。
2022-10-31 cs.RO
KOI: Accelerating Online Imitation Learning via Hybrid Key-state Guidance
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Northwestern Polytechnical University（西北工业大学）；Institute of Artificial Intelligence, China Telecom Corp Ltd（中国电信股份有限公司人工智能研究院）
KOI方法通过融合语义与运动混合关键状态来改进奖励估计，从而在在线模仿学习中实现任务感知的高效探索，并在仿真和真实机器人实验中验证了其样本效率与实用性。
2024-10-17 cs.AI cs.RO
What Matters to Enhance Traffic Rule Compliance of Imitation Learning for End-to-End Autonomous Driving
Technical University of Munich（慕尼黑工业大学）；Huawei Munich Research Center（华为慕尼黑研究中心）
针对端到端自动驾驶模仿学习策略交通规则依从性不足的安全问题，提出结合对比跨语义生成融合与三类交通惩罚的P-CSG方法，在CARLA基准上提升驾驶得分，且对抗攻击鲁棒性显著增强。
2024-09-12 cs.AI cs.CV cs.LG
What's the Move? Hybrid Imitation Learning via Salient Points
Physical Intelligence（物理智能机构）；Stanford University（斯坦福大学）
该研究提出SPHINX混合模仿学习策略，结合多模态观测与混合动作空间，通过显著点实现长距离运动、腕部图像实现精密操作，在真实与模拟任务中大幅提升成功率与泛化性。
2024-12-06 cs.AI cs.CV cs.LG
Zero-Shot Visual Imitation
UC Berkeley（加州大学伯克利分校）
当前模仿学习的主导范式依赖于对专家行为的强有力的监督，以学习模仿“什么”和“如何"。我们追求一种替代范式，其中代理人首先探索世界没有任何专家的监督，然后将其经验提炼成一个目标条件的技能政策与一个新的向前一致性损失。在我们的框架中，专家的作用只是传达目标（即，在推理过程中模仿什么）。然后采用所学习的策略来模仿专家（即，如何模仿）在看到一系列演示所需任务的图像后。我们的方法是“zero-shot”，在这个意义上，代理从来没有访问专家的行动在训练过程中或在推理的任务演示。我们评估我们的zero-shot模仿者在两个现实世界中的设置：复杂的绳索操作与巴克斯特机器人和导航在以前看不见的办公环境与TurtleBot。通过在VizDoom模拟中的进一步实验，我们提供了证据表明，更好的探索机制可以学习到更有能力的策略，从而提高最终任务的性能。视频、模型和更多详细信息，请访问https://pathak22.github.io/zeroshot-imitation/
2018-04-23 cs.AI cs.CV cs.LG
DISEIL: Demonstration Distillation for Sample-Efficient Imitation Learning
Deakin Applied Artificial Intelligence Initiative（迪肯应用人工智能倡议）
本文提出DISEIL，通过有意选择失败模式和演示起点，用视觉-语言模型生成演示请求，在模拟任务中显著提升样本效率，实现高成功率。
2026-09-09 cs.AI cs.LG cs.RO
Decomposing the Generalization Gap in Imitation Learning for Visual Robotic Manipulation
Google DeepMind（谷歌DeepMind）；Stanford University（斯坦福大学）
本文通过仿真与真实机器人实验量化视觉操作模仿学习中各变化因素对泛化难度的影响，并构建含19个任务和11个因素的基准，得出跨环境一致的因素难度排序。
2023-07-07 cs.AI cs.RO
Improving Imitation Learning Efficiency for Manipulation through Geometric Prior Pretraining
Waseda University（早稻田大学）；National Institute of Advanced Industrial Science and Technology (AIST)（产业技术综合研究所（AIST））；Waseda Research Institute for Science and Engineering（早稻田大学理工学研究所）；University of Oxford（牛津大学）
本研究提出利用仅含平面、物体和手的简化几何场景进行预训练，为操作任务模仿学习提供低成本先验，实验表明该方法在模拟和真实机器人上均能提升早期训练成功率。
2026-11-09 cs.RO
Dynamic Regret Convergence Analysis and an Adaptive Regularization Algorithm for On-Policy Robot Imitation Learning
University of California, Berkeley（加州大学伯克利分校）；Toyota Research Institute（丰田研究院）
基于策略的模仿学习算法（如Dagger）通过执行机器人控制策略、测量性能（损失）、从监督者获得纠正反馈并生成下一个策略来进化机器人控制策略。由于迭代之间的损失可能会不可预测地变化，因此一个基本问题是在什么条件下此过程最终将实现收敛策略。如果假设基本的轨迹分布是静态的（平稳的），则可以证明Dagger的收敛性。然而，在更现实的机器人模型中，潜在的轨迹分布是动态的，因为它是策略的函数。最近的结果表明，它是可能的，以证明收敛的Dagger时，一个规则性条件的变化率的轨迹分布是满意的。在这篇文章中，我们使用来自在线优化领域的动态后悔理论重新构建了这一结果，并表明动态后悔可以应用于任何策略算法，以分析其收敛性和最优性。这些结果启发了一种新的算法，自适应按策略正则化（AOR），以确保收敛的条件。我们目前的仿真结果与车杆平衡和运动的基准，表明AOR可以显着减少动态遗憾和抖动的机器人学习。据我们所知，这是动态后悔理论在模仿学习中的首次应用。
2019-07-08 cs.LG cs.RO
Self-Supervised Disentangled Representation Learning for Third-Person Imitation Learning
Stony Brook University（石溪大学）
人类通过观察别人来学习模仿。然而，机器人模仿学习通常需要第一人称视角（FPV）的专家演示。为每个机器人收集这样的FPV视频可能非常昂贵。第三人称模仿学习（英语：Third-person imitation learning，TPIL）是一种通过以第三人称视角（英语：Third-person view，TPV）观察其他主体来学习行为策略的概念，类似于人类的行为。这最终允许在TPV中利用来自许多不同数据源的人类和机器人演示视频，用于策略学习。在本文中，我们提出了一个TPIL方法的机器人任务与egomotion。虽然许多具有地面/空中机动性的机器人任务通常涉及摄像机自运动的动作，但针对此类任务的TPIL研究一直有限。在这里，FPV和TPV观察在视觉上非常不同; FPV显示自我运动，而代理外观仅在TPV中可见。为了使TPIL更好的状态学习，我们提出了我们的解纠缠表示学习方法。我们使用双自动编码器结构加上表示置换损失和时间对比损失，以确保状态和视点表示很好地解开。我们的实验表明我们的方法的有效性。
2021-08-02 cs.CV cs.LG cs.RO
Density-Aware Federated Imitation Learning for Connected and Automated Vehicles with Unsignalized Intersection
Beijing University of Posts and Telecommunications（北京邮电大学）；Beijing Information Science and Technology University（北京信息科技大学）
智能交通系统（ITS）已成为工业4.0的重要组成部分之一。效率作为智能交通系统的重要指标之一，受到了研究者的广泛关注。然而，由多个交通服务提供商承载的下一代城市交通可能会因隐私原因而禁止多个区域之间的原始数据交互，这在现有研究中容易被忽视。针对上述问题，提出了一种基于联邦学习的车辆控制框架，包括交互器、训练器和聚集器。此外，密度感知的模型聚合方法在此框架中使用，以改善车辆控制。此外，为了提高端到端学习算法在安全性方面的性能，本文提出了一种模仿学习算法，该算法可以从一组避碰规则中获得避碰能力。此外，还探索了一种损失感知的经验选择策略，通过额外的计算减少了交互者和训练者之间的通信开销。最后，实验结果表明，所提出的模仿学习算法具有避免碰撞的能力，并使不适感降低了55.71%。此外，密度感知的模型聚合可以进一步减少41.37%的不适，经验选择方案可以减少12.80%的通信开销，同时确保模型收敛。
2021-05-05 cs.MA cs.RO
What data do we need for training an AV motion planner?
Lyft（来福车）；University of Edinburgh（爱丁堡大学）
我们调查什么等级的传感器数据需要训练模仿学习为基础的AV规划人类专家示范。机器学习的规划者非常渴望训练数据，这些数据通常是使用配备有用于自主操作的相同传感器的车辆收集的。这是昂贵且不可扩展的。如果可以使用更便宜的传感器来收集数据，数据的可用性就会提高，这在数据量需求很大而可用性很小的领域至关重要。我们使用长达1000小时的专家演示进行了实验，发现使用10倍低质量数据进行训练在规划器性能方面优于1倍AV级数据。这一点的重要意义是，确实可以使用更便宜的传感器。这有助于改善数据访问并使基于模仿的运动规划领域民主化。除此之外，我们还对规划者的性能进行了敏感性分析，作为感知范围，视野，准确性和数据量的函数，以及为什么低质量的数据仍然提供良好的规划结果。
2021-05-26 cs.CV cs.LG cs.RO
What Matters for Batch Online Reinforcement Learning in Robotics?
Stanford University（斯坦福大学）
本文系统研究机器人批量在线强化学习的关键因素，发现Q函数引导、隐式策略提取和高表达策略至关重要，并提出加入时间相关噪声的通用有效方案。
2025-05-12 cs.AI cs.RO
TAVIS: A Benchmark for Egocentric Active Vision and Anticipatory Gaze in Imitation Learning
Department of Intelligent Systems（智能系统系）
TAVIS提出了一种评估主动视觉模仿学习的基础设施，包含两个任务集和两个仿人躯干机器人，通过实验发现主动视觉对任务类型和条件具有任务依赖性，且多任务策略在分布偏移下表现下降，模仿学习能产生与人类参考相当的预见性注视。
2026-10-08 cs.AI cs.CV cs.LG
VOILA: Visual-Observation-Only Imitation Learning for Autonomous Navigation
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Army Research Laboratory（陆军研究实验室）；Sony AI（索尼人工智能）
虽然基于视觉的自主移动机器人导航的模仿学习最近在研究界受到了极大的关注，但现有方法通常需要使用部署平台收集的状态动作演示。然而，如果一个人不能很容易地装备他们的平台来记录这些演示信号，或者更糟的是，演示者根本无法进入平台，那该怎么办？基于视觉的自主导航的模仿学习在这样的场景中是否可能？在这项工作中，我们假设，答案是肯定的，最近的想法从模仿观察（IfO）文学可以承担这样的机器人可以学习导航使用仅自我为中心的视频收集的演示，即使在存在的观点不匹配。为此，我们引入了一种新的算法，视觉观察只有模仿学习自主导航（VOILA），可以成功地学习导航策略从一个单一的视频演示收集从一个物理上不同的代理。我们在真实感AirSim模拟器中评估了VOILA，并表明VOILA不仅成功地模仿了专家，而且还学习了可以推广到新环境的导航策略。此外，我们证明了VOILA在现实世界中的有效性，它允许轮式豺狼机器人成功地模仿人类行走的环境中使用的视频记录使用手机摄像头。
2021-10-08 cs.AI cs.CV cs.LG
Re-Mix: Optimizing Data Mixtures for Large Scale Imitation Learning
Stanford University（斯坦福大学）；UC Berkeley（加州大学伯克利分校）
本研究针对机器人模仿学习的数据选择问题，提出Re-Mix方法，基于分布鲁棒优化学习数据集域权重，通过早停等策略适配机器人数据差异，在Open X-Embodiment数据集上显著优于均匀及人工权重。
2024-08-26 cs.LG cs.RO
CIVIL: Causal and Intuitive Visual Imitation Learning
Collaborative Robotics Lab, Mechanical Engineering Department, Virginia Tech（弗吉尼亚理工学院与州立大学机械工程系协作机器人实验室）；Mechanical Engineering Department, California State University, Northridge（加州州立大学北岭分校机械工程系）；Mechanical Engineering Department, Cornell University（康奈尔大学机械工程系）
针对视觉模仿学习中机器人仅模仿动作而不解因果的问题，提出CIVIL算法，通过人类标记与语言提示提取因果特征，训练Transformer策略，提升性能并减少学习时间。
2025-10-27 cs.LG cs.RO cs.SY
Third-Person Visual Imitation Learning via Decoupled Hierarchical Controller
MIT（麻省理工学院）；Facebook AI Research（脸书人工智能研究院）；CMU（卡内基梅隆大学）
我们研究了一个广义的设置，从演示示教学习建立一个代理，可以操纵新的对象在看不见的情况下，只看一个视频的人类演示从第三人称的角度。为了实现这一目标，我们的智能体不仅要学会理解所演示的第三人称视频在其上下文中的意图，还要在其环境配置中执行预期的任务。我们的核心观点是在学习过程中通过将实现什么（预期任务）与如何执行它（控制器）解耦来明确地执行这种结构。我们提出了一个层次化的设置，其中一个高级模块学习生成一系列第一人称子目标的条件下的第三人称视频演示，和一个低级别的控制器预测的行动，以实现这些子目标。我们的代理根据原始图像观察进行操作，而无需访问完整的状态信息。我们展示了在一个真正的机器人平台上使用Baxter的倾倒和放置物体在一个盒子里的操作任务的结果。项目视频和代码在https://pathak22.github.io/hierarchical-imitation/
2019-11-21 cs.CV cs.LG cs.RO
Memorize, Adapt, Ignore: Diagnosing Robot Learning Mechanisms under Training Data Variation
PRIME Robotics Lab, Department of Mechanical Engineering, The University of British Columbia（不列颠哥伦比亚大学机械工程系PRIME机器人实验室）；Department of Computer Science, University of British Columbia（不列颠哥伦比亚大学计算机科学系）；Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）
本研究通过神经正切核诊断工具，揭示训练数据变化如何使机器人策略从记忆转向适应或忽略，为域随机化设计和模型选择提供实用指导，并经真实硬件实验验证。
2026-10-01 cs.RO
Rethinking Demonstration Unlearning in Imitation Learning for Robotics
University of Michigan（密歇根大学）；Zhejiang University（浙江大学）；Wuhan University of Technology（武汉理工大学）
本研究针对机器人模仿学习的演示数据遗忘问题，提出双维度联合审计方法，在ACT机械臂实验中实现了20次试验18次成功的盲测恢复。
2026-08-24 cs.LG cs.RO
More Structure, Not More Capacity: Object-Centric Representations for Visuomotor Imitation Learning
研究视觉运动模仿学习，对比全局场景嵌入等传统视觉模型，测试以对象为中心的插槽表示，发现其结构优势，如更高成功率，还通过故障分类法分析故障类型，指出遮挡是主要瓶颈，为视觉运动模仿学习提供新方法和见解。
2026-07-14 cs.AI cs.RO
One-Shot Imitation Learning
Berkeley AI Research Lab（伯克利人工智能研究实验室）；OpenAI
模仿学习通常被应用于孤立地解决不同的任务。这通常需要仔细的特征工程或大量的样本。这与我们的期望相去甚远：理想情况下，机器人应该能够从任何给定任务的很少演示中学习，并立即推广到相同任务的新情况，而不需要特定于任务的工程。在本文中，我们提出了一个元学习框架来实现这种能力，我们称之为一次性模仿学习。具体来说，我们考虑的设置中有一个非常大的任务集，每个任务有许多实例。例如，一个任务可以是将桌子上的所有块堆叠成单个塔，另一个任务可以是将桌子上的所有块放置成两个块塔，等等。在训练时，我们的算法提出了对所有任务的子集的演示。训练一个神经网络，将一个演示和当前状态（最初是该对演示中另一个演示的初始状态）作为输入，并输出一个动作，目标是所得到的状态和动作序列尽可能与第二个演示匹配。在测试时，演示了一个新任务的单个实例，预计神经网络将在这个新任务的新实例上表现良好。软注意力的使用允许模型推广到训练数据中看不到的条件和任务。我们预计，通过在更广泛的任务和设置上训练这个模型，我们将获得一个通用的系统，可以将任何演示转化为强大的策略，可以完成各种各样的任务。视频可在https://bit.ly/nips2017-oneshot获得。
2017-12-04 cs.AI cs.LG cs.NE
The intrinsic motivation of reinforcement and imitation learning for sequential tasks
ETIS Lab（ETIS实验室）；Idiap Research Institute（Idiap研究所）；Universidade da Coruna（拉科鲁尼亚大学）；Okinawa Institute of Science and Technology（冲绳科学技术大学院大学）
本文提出一种基于经验进展的内在动机统一框架，使学习智能体在多任务序列学习中主动选择探索或模仿、任务分解及最佳导师请求示范，从而实现更快、更鲁棒的自动课程学习。
2024-12-29 cs.AI cs.HC cs.LG
Composing Pre-Trained Object-Centric Representations for Robotics From "What" and "Where" Foundation Models
University of Pennsylvania（宾夕法尼亚大学）
提出POCR框架，通过组合“什么”和“哪里”预训练模型构建无需新训练的以对象为中心的表示，提升机器人模仿策略性能与泛化能力。
2024-04-20 cs.AI cs.CV cs.LG
Optimizing Neurorobot Policy under Limited Demonstration Data through Preference Regret
Rochester Institute of Technology（罗切斯特理工学院）；Advanced Micro Devices, Inc.（超威半导体公司）；University of Liverpool（利物浦大学）
本文提出MYOE框架，通过可查询的偏好混合状态空间模型估计每一步的目标，利用偏好遗憾优化机器人控制策略，实验显示其鲁棒性、适应性和泛化能力优于其他RLfD方法。
2026-04-04 cs.AI cs.CV cs.LG
What Matters for Scalable and Robust Learning in End-to-End Driving Planners?
Mercedes-Benz AG（梅赛德斯-奔驰集团）；Max-Planck-Institute for Informatics, SIC（马克斯·普朗克信息研究所，SIC）
本文研究了端到端驾驶规划器中可扩展性和鲁棒性学习的关键因素，提出BevAD架构在Bench2Drive基准上达到72.7%的成功率，展示了纯模仿学习的数据扩展能力。
2026-03-16 cs.AI cs.CV cs.RO
What Matters, When? Diagnosing and Improving Conditional Visual Grounding in Visuomotor Imitation Policies
Fraunhofer Institute for Production Systems and Design Technology IPK（弗劳恩霍夫生产系统与设计技术研究所IPK）；Technische Universität Berlin（柏林工业大学）
该研究针对视觉运动模仿策略在引入相似物体时的目标选择失效问题，以ACT为基础提出三类互补干预措施，在仿真和物理UR3e机器人上提升了鲁棒性，还验证了其在预训练视觉-语言-动作策略上的通用性。
2026-09-07 cs.AI cs.CV cs.RO
Experimental Study on the Imitation of the Human Head-and-Eye Pose Using the 3-DOF Agile Eye Parallel Robot with ROS and Mediapipe Framework
University of Tehran（德黑兰大学）
本文提出了一种将计算机视觉技术和神经网络概念相结合的人脸和眼睛的模拟方法。从机械的角度来看，一个3-DOF球面并联机器人是用来模仿人的头部运动。在眼球运动方面，在三自由度球面并联机构的末端执行器上附加了一个二自由度机构。为了具有鲁棒和可靠的模仿结果，应该从面部网格中提取有意义的信息以获得面部的姿态，即，滚转角、偏航角和俯仰角。为此，提出了两种方法，其中每一种都有自己的优点和缺点。第一种方法包括诉诸所谓的Mediapipe库，这是一个机器学习解决方案，用于高保真身体姿势跟踪，由谷歌推出。作为第二种方法，通过线性回归模型针对不同姿态的人脸图片的收集数据集来训练模型。此外，一个3-DOF敏捷眼并联机器人被用来显示该机器人的能力被用作一个系统，这是类似于一个人的头部执行3-DOF旋转运动模式。此外，还制作了3D打印的人脸和2-DOF眼睛机构，以更时尚的方式显示整个系统。实验测试，这是基于ROS平台上完成的，证明了所提出的方法跟踪人的头部和眼睛运动的有效性。
2021-11-04 cs.RO
One-shot Visual Imitation via Attributed Waypoints and Demonstration Augmentation
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
在本文中，我们分析了现有技术的行为，并设计了新的解决方案，一次性的视觉模仿的问题。在这种情况下，智能体必须解决一个新任务的一个新实例，只需一个视觉演示。我们的分析表明，目前的方法由于三个错误而达不到要求：纯离线训练产生的Dagger问题，与对象交互的最后一厘米误差，以及与任务上下文而不是实际任务的不匹配。这激发了我们的模块化方法的设计，在该方法中，我们a）将任务推理（做什么）与任务执行（如何做）分开，b）开发数据增强和生成技术以减轻失配。前者允许我们利用手工制作的运动原语来执行任务，从而避免了Dagger问题和最后的厘米误差，而后者则使模型专注于任务而不是任务上下文。我们的模型在最近的两个基准测试中获得了100%和48%的成功率，分别比目前的最先进水平提高了90%和20%。
2023-02-09 cs.CV cs.LG cs.RO
Combining Self-Supervised Learning and Imitation for Vision-Based Rope Manipulation
University of California, Berkeley（加州大学伯克利分校）
可变形物体的操纵，如绳索和布料，是机器人技术中一个重要但具有挑战性的问题。我们提出了一个基于学习的系统，机器人作为输入的一系列图像的人操纵绳子从初始到目标的配置，并输出一系列的行动，可以重现人类的示范，只使用单目图像作为输入。为了执行这项任务，机器人以自我监督的方式直接从图像中学习绳索操作的像素级逆动力学模型，使用机器人自主收集的绳索进行约60K次交互。人类演示提供了一个高级的计划，该计划是做什么和低级别的逆模型用于执行计划。我们表明，通过结合高层次和低层次的计划，机器人可以成功地操纵绳子成各种目标形状，只使用一系列的人类提供的图像的方向。
2017-03-06 cs.CV cs.LG cs.RO
What Communication Modalities Do Users Prefer in Real Time HRI?
Universitas Sumatera Utara（北苏门答腊大学）；University of Hertfordshire（赫特福德大学）
本文研究了用户在与儿童大小的人形机器人KASPAR进行模仿游戏时的交互方式偏好。该研究涉及16名成年参与者，他们通过实时人机交互（HRI）实验中的三种交互方式之一教机器人模仿童谣：语音，引导触摸和视觉演示。研究结果表明，用户似乎没有偏好方面的人力完成任务。然而，有一个显着的差异，人类的享受偏好的输入方式和边缘差异的机器人的感知能力模仿。
2016-06-13 cs.HC cs.RO
SafeMimic: Towards Safe and Autonomous Human-to-Robot Imitation for Mobile Manipulation
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
SafeMimic提出一个从单个第三人称人类视频中安全自主地学习多步移动操作技能的框架，通过解析视频、适应机器人形态并验证安全性，在七个任务上优于现有基线。
2025-06-18 cs.AI cs.RO
What Matters in Learning from Offline Human Demonstrations for Robot Manipulation
Stanford University（斯坦福大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
模仿人的演示是赋予机器人各种操作能力的一种很有前途的方法。虽然最近在模仿学习和批量（离线）强化学习方面取得了进展，但缺乏开源的人类数据集和可重复的学习方法使得评估该领域的状态变得困难。在本文中，我们进行了广泛的研究，六个离线学习算法机器人操作的五个模拟和三个真实世界的多阶段操作任务的复杂性不同，并与不同质量的数据集。我们的研究分析了从离线人类数据中学习进行操作时面临的最关键挑战。基于这项研究，我们得出了一系列的教训，包括不同的算法设计选择的敏感性，对演示质量的依赖性，以及由于训练和评估的不同目标而导致的基于停止标准的可变性。我们还强调了从人类数据集学习的机会，例如能够学习超出当前强化学习方法范围的具有挑战性的多阶段任务的熟练策略，以及能够轻松扩展到只有原始感官信号可用的自然，真实世界的操纵场景。我们已经开源了我们的数据集和所有算法实现，以促进未来的研究和从人类演示数据中学习的公平比较。代码库、数据集、训练模型以及更多信息，请访问https://arise-initiative.github.io/robomimic-web/
2021-09-25 cs.AI cs.LG cs.RO
