Improving Behavioural Cloning with Positive Unlabeled Learning
University College Dublin（都柏林大学）；University College London（伦敦大学学院）；Dublin City University（都柏林城市大学）；Insight SFI Research Centre for Data Analytics（Insight SFI 数据分析研究中心）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
本文提出一种基于正无标记学习的迭代算法，在极少正例条件下从混合质量机器人数据中识别专家轨迹，并证明对过滤后数据应用行为克隆可超越多个离线强化学习与模仿学习基线，在模拟和真实机器人任务中取得最先进性能。
2023-09-21 cs.LG cs.RO
Efficient Exploration via First-Person Behavior Cloning Assisted Rapidly-Exploring Random Trees
Georgia Institute of Technology（佐治亚理工学院）
现代计算机游戏具有极大的状态和动作空间。为了检测这些游戏模型中的错误，人类测试人员反复玩游戏以探索游戏并发现游戏中的错误。这样的游戏是详尽和耗时的。此外，由于机器人模拟器依赖于模型规范和调试的类似方法，因此在模型中发现错误的问题对机器人社区来说是感兴趣的，以确保机器人行为和交互在模拟器中是一致的。以前的方法使用了强化学习arXiv：2103.13798和基于搜索的方法（Chang，2019，（Chang，2021）arXiv：1811.06962），包括快速探索随机树（RRT）来探索游戏的状态-动作空间以找到错误。然而，这种基于搜索和探索的方法在没有预定义的启发式的情况下探索状态-动作空间时是无效的。在这项工作中，我们试图结合人类测试人员的专业知识，在解决游戏，和RRT的穷举搜索游戏的状态空间有效地与高覆盖率。本文介绍了克隆辅助RRT（CA-RRT），通过搜索测试一个游戏。我们将我们的方法与两个现有的基线进行比较：1）如arXiv：1812.03125所述的加权RRT; 2）如Chang et.我们发现CA-RRT适用于更多的游戏地图，并探索更多的游戏状态，在更少的树扩展/迭代时，与现有的基线相比。在每个测试中，CA-RRT在与加权RRT相同的迭代次数中平均达到更多的状态。在我们的测试环境中，CA-RRT达到与加权RRT相同数量的状态，平均迭代次数减少了5000多次，几乎减少了50…
2022-04-20 cs.AI cs.LG cs.RO
Graph-Reweighted Behavior Cloning with Human Interventions for Precise Robotic Manipulation
Zhejiang University（浙江大学）；The Institute of Artificial Intelligence, China Telecom (TeleAI)（中国电信人工智能研究院（TeleAI））；South China University of Technology（华南理工大学）；University of Science and Technology of China（中国科学技术大学）；ShanghaiTech University（上海科技大学）；Tsinghua University（清华大学）；Gamma Robotics（伽马机器人公司）
本文提出 GR-BC 框架，通过构建目标可达性图对动作块加权，复用失败轨迹片段，在四项精确操纵任务上使 VLA 模型经少量离线迭代后达 91% 成功率，无需额外训练。
2026-10-15 cs.RO
Fine-tuning Behavioral Cloning Policies with Preference-Based Reinforcement Learning
Department of Informatics, University of Zurich（苏黎世大学信息学院）；ETH AI Center（ETH人工智能中心）
提出两阶段框架BRIDGE，先从无奖励专家数据学习安全初始策略，再用基于偏好的人类反馈在线微调，理论分析与实验均证明其能显著降低遗憾并提升样本效率。
2025-10-13 cs.AI cs.LG
Implicit Behavioral Cloning
Robotics at Google（谷歌机器人）
我们发现，在广泛的机器人策略学习的情况下，对待监督策略学习与隐式模型一般表现得更好，平均而言，比常用的显式模型。我们提出了广泛的实验，这一发现，我们提供了直观的洞察力和理论论据区分隐式模型的属性相比，他们明确的同行，特别是在逼近复杂的，潜在的不连续和多值（集值）函数。在机器人策略学习任务，我们表明，隐式的行为克隆政策与基于能量的模型（EBM）往往优于常见的显式（均方误差，或混合密度）的行为克隆政策，包括对任务的高维动作空间和视觉图像输入。我们发现这些策略在D4RL基准测试套件中具有挑战性的人类专家任务上提供了有竞争力的结果或优于最先进的离线强化学习方法，尽管没有使用奖励信息。在现实世界中，具有隐式策略的机器人可以从人类演示中学习接触丰富任务的复杂和非常微妙的行为，包括具有高组合复杂性的任务和需要1mm精度的任务。
2021-09-01 cs.CV cs.LG cs.RO
SECANT: Self-Expert Cloning for Zero-Shot Generalization of Visual Policies
Stanford University（斯坦福大学）；NVIDIA（英伟达）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；California Institute of Technology（加州理工学院）
泛化一直是强化学习（RL）面临的一个长期挑战。特别是视觉RL，很容易被高维观察空间中的无关因素分散注意力。在这项工作中，我们考虑强大的策略学习的目标zero-shot推广到看不见的视觉环境与大的分布变化。我们提出了SECANT，一种新的自我专家克隆技术，利用图像增强在两个阶段解耦强大的表示学习从政策优化。具体来说，专家策略首先由RL从头开始训练，具有弱增强。然后，学生网络通过具有强增强的监督学习来学习模仿专家策略，使其表示与专家相比对视觉变化更鲁棒。大量的实验表明，SECANT显着进步的最先进的zero-shot概括在4个具有挑战性的领域。与之前的SOTA相比，我们的平均奖励改进包括：DeepMind控制（+26.5%）、机器人操纵（+337.8%）、基于视觉的自动驾驶（+47.7%）和室内物体导航（+15.8%）。代码发布和视频可在https://linxifan.github.io/secant-site/上获得。
2021-06-17 cs.AI cs.CV cs.LG
Leveraging Pretrained Latent Representations for Few-Shot Imitation Learning on a Dexterous Robotic Hand
ETH Zurich（苏黎世联邦理工学院）；Max Plank ETH Center for Learning Systems（马克斯·普朗克-ETH学习系统中心）
提出利用大规模任务无关数据集预训练潜在表示并结合基于transformer的行为克隆方法，解决了灵巧机器人手少样本模仿学习问题，提升了抗噪性并成功部署于真实23Dof系统。
2024-04-25 cs.RO
SAFE-GIL: SAFEty Guided Imitation Learning for Robotic Systems
University of Southern California（南加州大学）
SAFE-GIL通过在数据收集时注入对抗性扰动引导专家进入安全关键状态，从而训练出在测试期间更安全的行为克隆策略，并在多个机器人导航任务中显著减少安全失败。
2024-11-19 cs.LG cs.RO cs.SY
Behavior Transformers: Cloning $k$ modes with one stone
New York University（纽约大学）
虽然行为学习近年来取得了令人印象深刻的进展，但由于无法利用大型人类生成的数据集，它落后于计算机视觉和自然语言处理。人类的行为有很大的差异，多种模式，人类的示范通常没有奖励标签。这些属性限制了离线RL和行为克隆中当前方法从大型预收集数据集学习的适用性。在这项工作中，我们提出了行为Transformer（BeT），一种新的技术来模拟未标记的演示数据与多个模式。BeT改进了标准Transformer架构，其动作离散化与受目标检测中的偏移预测启发的多任务动作校正相结合。这使我们能够利用现代Transformers的多模态建模能力来预测多模态连续动作。我们在各种机器人操作和自动驾驶行为数据集上对BeT进行了实验评估。我们表明，BeT显着改善了解决演示任务的现有最先进的工作，同时捕获了预先收集的数据集中存在的主要模式。最后，通过广泛的消融研究，我们分析了BeT中每个关键组成部分的重要性。BeT生成的行为视频可在https://notmahi.github.io/bet上获得
2022-10-11 cs.AI cs.CV cs.LG
Chain of Thought Imitation with Procedure Cloning
Google Brain（谷歌大脑）；UC Berkeley（加州大学伯克利分校）
模仿学习旨在从专家行为的记录演示中提取高性能策略。通常将模仿学习视为一个监督学习问题，在这个问题中，人们将一个函数逼近器拟合到记录的演示所展示的输入-输出映射（输入观察到输出动作）。虽然将模仿学习作为一个有监督的输入-输出学习问题的框架允许在各种各样的设置中的适用性，但在专家演示提供对专家行为更丰富的洞察力的情况下，这也是对问题的过于简单化的看法。例如，路径导航、机器人操作和策略游戏等应用程序通过规划、搜索或其他多步算法获得专家演示，不仅揭示了要模仿的输出动作，还揭示了如何确定该动作的过程。虽然这些中间计算可能使用在推理期间代理不可用的工具（例如，环境模拟器），但它们作为一种解释专家的状态到动作的映射的方式是信息丰富的。为了适当地利用专家程序信息，而不依赖于特权工具的专家可能已经用来执行的程序，我们提出了程序克隆，它适用于监督序列预测模仿一系列的专家计算。这样，过程克隆不仅学习做什么（即，输出动作），但是如何以及为什么要这样做（即，程序）。通过对导航，模拟机器人操作和游戏环境的实证分析，我们表明，模仿专家的行为的中间计算，使程序克隆学习政策表现出显着的泛化看不见的环境配置，包括那些配置，直接运行专家的程序是不可行的。
2022-05-22 cs.AI cs.LG
Understanding Multi-Modal Perception Using Behavioral Cloning for Peg-In-a-Hole Insertion Tasks
Cornell University（康奈尔大学）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
孔中钉（PiH）插入任务中的主要挑战之一是处理目标孔位置的不确定性。为了解决这个问题，可以将来自传感器模态（例如视觉、力/扭矩感测和本体感受）的高维传感器输入组合起来，以学习对目标姿势中的这种不确定性鲁棒的控制策略。尽管深度学习在识别物体和使用高维输入做出决策方面取得了成功，但当在真实系统上直接应用试错算法时，学习过程可能会损坏机器人。与此同时，示教学习（LfD）方法已被证明可以通过利用专家提供的演示数据在真实机器人系统中实现令人信服的性能。在本文中，我们调查的优点，多传感器的形式，如视觉，力/扭矩传感器，本体感觉时，结合学习控制器的现实世界中的装配操作任务，使用LfD技术。这项研究仅限于PiH插入;我们计划在未来将这项研究扩展到更多的实验。此外，我们提出了一个多步前进的损失函数，以提高性能的行为克隆方法。一个真实的机械臂上的实验结果支持我们的研究结果，并显示所提出的损失函数的有效性。
2020-07-22 cs.LG cs.RO
Improving Generative Behavior Cloning via Self-Guidance and Adaptive Chunking
Department of Computer Science & Engineering（计算机科学与工程系）；Graduate School of Artificial Intelligence（人工智能研究生院）；POSTECH
针对生成式行为克隆中扩散策略的随机性和开环控制延迟问题，提出自引导与自适应分块技术，提升动作保真度与反应性，在模拟和真实机器人操作任务中显著改善性能。
2025-10-14 cs.LG cs.RO
Render and Diffuse: Aligning Image and Action Spaces for Diffusion-based Behaviour Cloning
Imperial College London（帝国理工学院）
本文提出渲染与扩散（R&D）方法，通过虚拟渲染统一图像与动作空间，利用扩散过程计算机器人动作，提升样本效率和空间泛化，并在仿真和真实任务中验证其优越性。
2024-05-28 cs.AI cs.CV cs.LG
Controlling Steering with Energy-Based Models
University of Tartu（塔尔图大学）
本研究在真实自动驾驶汽车转向控制中对比了基于能量模型的隐式行为克隆与显式基线方法，发现其理论优势未转化为实际驾驶性能提升，且需进一步研究以解决平滑度问题。
2023-01-28 cs.AI cs.LG cs.RO
WarmPrior: Straightening Flow-Matching Policies with Temporal Priors
KAIST（韩国科学技术院）；Microsoft Research（微软研究院）
本文提出WarmPrior，通过利用近期动作历史构建的时间先验，提升机器人操作任务的成功率，改进概率路径并提高样本效率和最终性能。
2026-05-13 cs.AI cs.LG cs.RO
Waypoint-Based Imitation Learning for Robotic Manipulation
Stanford University（斯坦福大学）
针对行为克隆中的复合误差问题，提出自动提取路径点的预处理模块AWE，通过线性插值近似轨迹以缩短决策时域，显著提升了多种BC算法在仿真和真实双臂操作任务中的成功率。
2023-07-26 cs.AI cs.LG cs.RO
Perceiver-Actor: A Multi-Task Transformer for Robotic Manipulation
University of Washington（华盛顿大学）；NVIDIA（英伟达）
Transformers凭借其在大型数据集上的扩展能力，彻底改变了视觉和自然语言处理。但在机器人操作中，数据既有限又昂贵。在正确的问题表述下，Transformers还能使操纵受益吗？我们调查这个问题与PerAct，语言条件的行为克隆代理多任务6自由度操作。PerAct使用Perceiver Transformer对语言目标和RGB-D体素观察进行编码，并通过"检测下一个最佳体素动作“输出离散化动作。与在2D图像上操作的框架不同，体素化的3D观察和动作空间为有效学习6-DoF动作提供了强大的结构先验。有了这个公式，我们训练一个单一的多任务Transformer，用于18个RLBench任务（有249个变体）和7个现实世界的任务（有18个变体），每个任务只需几个演示。我们的研究结果表明，PerAct在广泛的桌面任务中显著优于非结构化图像到动作代理和3D ConvNet基线。
2022-11-11 cs.AI cs.CL cs.CV
Learning Nonverbal Cues in Multiparty Social Interactions for Robotic Facilitators
Honda Research Institute（本田研究所）；University of Alberta（阿尔伯塔大学）
本研究通过隐式行为克隆复现非语言线索（如注视行为），在社交互动任务中优于传统均方误差行为克隆模型，为机器人引导者集成提供支持。
2025-01-18 cs.LG cs.RO
Sample-Efficient Reinforcement Learning with Symmetry-Guided Demonstrations for Robotic Manipulation
本文提出Demo-EASE框架，通过通用抽象对称性聚合示范并结合双缓冲区与行为克隆，显著提升机器人操作中强化学习的样本效率和最终性能。
2025-09-19 cs.AI cs.RO
Offline Actor-Critic Reinforcement Learning Scales to Large Models
Google Deepmind（谷歌DeepMind）
本研究证明离线演员-评论家强化学习可扩展至大型模型，遵循与监督学习相似的缩放规律，并在132个连续控制任务上超越行为克隆基线，引入Perceiver模型实现多任务策略学习。
2024-02-08 cs.AI cs.LG cs.RO
Difference-Aware Retrieval Policies for Imitation Learning
Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）；Toyota Research Institute（丰田研究所）；Google DeepMind（谷歌DeepMind）；Mila
提出DARP，一种半参数检索式模仿学习方法，通过基于k近邻的局部邻域结构重参数化，解决行为克隆的分布外泛化问题，在连续控制和机器人操作任务中性能提升15-46%。
2026-06-08 cs.AI cs.LG cs.RO
A Survey of Deep Network Solutions for Learning Control in Robotics: From Reinforcement to Imitation
University of Freiburg（弗赖堡大学）
本文综述了深度学习在机器人学习控制中的应用，探讨了深度强化学习和模仿学习两大主流方法，分析了其在导航、 manipulation 任务中的应用及现实差距挑战。
2018-04-09 cs.AI cs.LG cs.RO
When Should We Prefer Offline Reinforcement Learning Over Behavioral Cloning?
UC Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）
离线强化学习（RL）算法可以利用先前收集的经验获得有效的策略，而无需任何在线交互。人们普遍认为，离线RL即使从高度次优的数据中也能够提取出良好的策略，在这种情况下，模仿学习找到的次优解决方案并没有比生成数据集的演示器更好。然而，从业者的另一个常见用例是从类似于演示的数据中学习。在这种情况下，可以选择应用离线RL，但也可以使用行为克隆（BC）算法，该算法通过监督学习模拟数据集的子集。因此，很自然地会问：即使BC是一种自然的选择，离线RL方法何时可以在同等数量的专家数据下优于BC？为了回答这个问题，我们描述了允许离线RL方法比BC方法执行得更好的环境的特性，即使只提供专家数据。此外，我们表明，在足够多的噪声次优数据上训练的策略可以获得比具有专家数据的BC算法更好的性能，特别是在长期问题上。我们验证了我们的理论结果，通过广泛的实验诊断和高维域，包括机器人操作，迷宫导航，雅达利游戏，各种数据分布。我们观察到，在特定但常见的条件下，如稀疏奖励或嘈杂的数据源，现代离线RL方法可以显着优于BC。
2022-04-12 cs.LG
Explainable Hierarchical Imitation Learning for Robotic Drink Pouring
Imperial College London（伦敦帝国理工学院）；Tencent Robotics X（腾讯 Robotics X）；Bielefeld University（比勒费尔德大学）
准确地将饮料倒入各种容器是服务机器人的基本技能。然而，饮料倾倒是一个动态过程，难以建模。传统实现机器人自主浇注的深度模仿学习技术存在固有的黑箱效应，需要大量的演示数据进行模型训练。为了解决这些问题，本文提出了一种可解释的分层模仿学习（EHIL）方法，使机器人可以学习高层次的一般知识，并执行低层次的行动，在多个饮料倒的情况。此外，EHIL，可以构建一个逻辑图的任务执行，通过该动作生成的决策过程可以解释给用户，并可以追溯失败的原因。基于逻辑图，该框架是可操作的，以实现不同的目标，而适应性不可见的场景，可以在一个可解释的方式实现。一系列的实验已经进行了验证所提出的方法的有效性。结果表明，EHIL在成功率、适应性、可操作性和可解释性方面优于传统的行为克隆方法。
2021-05-16 cs.AI cs.RO
PerAct2: Benchmarking and Learning for Robotic Bimanual Manipulation Tasks
University of Washington（华盛顿大学）；Dyson RLL（戴森机器人学习实验室）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；NVIDIA（英伟达公司）
本文通过扩展RLBench构建双臂操作仿真基准，包含13个任务和23个变体，并提出语言条件行为克隆智能体PerAct2，实现双臂6-DoF操作任务的学习与执行。
2024-07-31 cs.AI cs.CV cs.LG
Self-Improving Embodied Foundation Models
Generalist；Google DeepMind（谷歌DeepMind）
本文提出监督微调与基于剩余步数预测的自我提升两阶段后训练方法，使机器人能够自主练习并习得超越模仿数据分布的新技能，显著提升样本效率和任务成功率。
2025-09-18 cs.LG cs.RO
From Robotics to Sepsis Treatment: Offline RL via Geometric Pessimism
Sarthak Wanjari（独立研究者）
Geo-IQL通过几何悲观性方法在离线强化学习中提高性能，减少计算开销，并在败血症治疗中实现更高的临床一致性
2026-02-16 cs.LG
Semi-supervised reward learning for offline reinforcement learning
DeepMind（深度思维）
在离线强化学习（RL）中，使用记录的数据集来训练代理。这似乎是攻击现实生活中应用程序的最自然的途径，因为在医疗保健和机器人等领域，与环境的交互要么昂贵，要么不道德。训练代理通常需要奖励功能，但不幸的是，奖励很少在实践中，他们的工程是具有挑战性和费力。为了克服这一点，我们研究奖励学习的约束下，最大限度地减少人类奖励注释。我们考虑两种类型的监督：时间步长注释和演示。我们提出了半监督学习算法，从有限的注释中学习，并将未标记的数据。在我们对模拟机器人手臂的实验中，我们大大改进了行为克隆，并接近了地面真实奖励所实现的性能。我们进一步研究了奖励模型的质量与最终策略之间的关系。例如，我们注意到，奖励模型不需要完美才能产生有用的政策。
2020-12-12 cs.AI cs.LG cs.RO
Data Efficient Behavior Cloning for Fine Manipulation via Continuity-based Corrective Labels
Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）
本文针对模仿学习中的累积误差问题，提出并实证验证了基于连续性的校正标签框架 CCIL，通过在低数据场景下生成校正标签并基于模型误差过滤，显著提升了物理机器人精细操作任务的学习性能。
2024-10-21 cs.RO
Is Behavior Cloning All You Need? Understanding Horizon in Imitation Learning
Microsoft Research（微软研究院）；MIT（麻省理工学院）
该研究从学习理论角度重新审视离线与在线模仿学习的差距，分析带对数损失的行为克隆，发现满足特定条件时离线IL可实现时间跨度无关的样本复杂度，且离线与在线IL的差距小于此前认知，实验验证了结果的实际相关性。
2024-11-30 cs.AI cs.LG math.ST
RObotic MAnipulation Network (ROMAN) -- Hybrid Hierarchical Learning for Solving Complex Sequential Tasks
School of Informatics, University of Edinburgh, UK（信息学院，爱丁堡大学）；Department of Computer Science, University College London, UK（计算机科学系，伦敦大学学院）
提出混合分层学习框架ROMAN，通过整合行为克隆、模仿学习和强化学习，协调多个专门处理子任务的神经网络，有效解决机器人长跨度复杂序列操作任务，并实现鲁棒的故障恢复与自适应行为。
2025-10-31 cs.LG cs.RO
Inference-Time Enhancement of Generative Robot Policies via Predictive World Modeling
GPC通过预测世界建模在推理时间提升机器人策略，结合生成先验与前瞻性预测，实现测试时间适应，优于行为克隆并与其他基线方法相媲美。
2026-03-11 cs.CV cs.LG cs.RO
Implicit Offline Reinforcement Learning via Supervised Learning
ServiceNow Research（ServiceNow研究院）；Mila（米拉人工智能研究所）；Université de Montréal（蒙特利尔大学）；Google Brain（谷歌大脑）；Polytechnique Montréal（蒙特利尔理工学院）
通过监督学习的离线强化学习（RL）是一种简单有效的方法，可以从不同专业水平的策略收集的数据集中学习机器人技能。它与监督学习和行为克隆（BC）一样简单，但利用了返回信息。在由类似专业知识的政策收集的数据集上，隐式BC已被证明与显式BC相匹配或优于显式BC。尽管使用隐式模型通过BC学习机器人技能的好处，但通过监督学习算法的离线RL仅限于显式模型。我们展示了隐式模型如何利用返回信息并匹配或优于显式算法，以从固定数据集获取机器人技能。此外，我们通过监督学习算法展示了我们的隐式方法和其他流行的RL之间的密切关系，以提供一个统一的框架。最后，我们证明了我们的方法对高维操作和运动任务的有效性。
2022-10-21 cs.LG cs.RO stat.ML
Actor-Critic Pretraining for Proximal Policy Optimization
Institute for Control Engineering of Machine Tools and Manufacturing Units ISW, University of Stuttgart（斯图加特大学机床与制造装置控制工程研究所ISW）；Materials Testing Institute MPA, University of Stuttgart（斯图加特大学材料测试研究所MPA）
本文提出了一种基于行为克隆的actor-critic预训练方法，用于近端策略优化，通过初始化actor和critic网络提升样本效率。
2026-02-27 cs.LG
Safe Navigation for Robotic Digestive Endoscopy via Human Intervention-based Reinforcement Learning
University of Chinese Academy of Sciences（中国科学院大学）；Chinese University of Hong Kong（香港中文大学）；Shenzhen University General Hospital（深圳大学总医院）
针对机器人消化内镜自动导航缺乏人类干预易致碰撞的问题，提出基于人类干预的近端策略优化框架HI-PPO，结合EEM、RPA和BCS机制提升复杂环境下的安全导航效率，实验证明其轨迹误差和安全得分达到人类专家水平。
2025-03-30 cs.AI cs.RO
Repairing Neural Networks for Safety in Robotic Systems using Predictive Models
Arizona State University（亚利桑那州立大学）；Toyota NA R&D（丰田北美研发中心）
本文提出一种结合行为克隆与神经网络修复的两步监督学习方法，利用预测模型修复策略以强制执行安全约束，在移动机器人导航和下肢假肢应用中验证了安全性和学习效率提升。
2024-11-07 cs.RO
Much Ado About Noising: Dispelling the Myths of Generative Robotic Control
本文通过评估生成控制策略在行为克隆基准上的表现，发现其成功主要源于迭代计算和监督训练，而非多模态捕捉或复杂映射表达。
2026-02-23 cs.LG cs.RO
Robotic Scene Cloning:Advancing Zero-Shot Robotic Scene Adaptation in Manipulation via Visual Prompt Editing
Wuhan University（武汉大学）；University of Science and Technology of China（中国科学技术大学）；Dexmal；The Hong Kong Polytechnic University（香港理工大学）
机器人场景克隆通过视觉提示编辑提升零样本机器人场景适应能力，实现跨场景的高效操作性能
2026-03-10 cs.RO
Should We Ever Prefer Decision Transformer for Offline Reinforcement Learning?
本文通过在稀疏奖励环境下的实验表明，基于MLP的Filtered Behavior Cloning (FBC) 比Decision Transformer (DT) 性能更优且计算更高效，从而质疑DT在离线强化学习中是否具有任何实际偏好价值。
2025-07-14 cs.AI cs.LG
SQUIRL: Robust and Efficient Learning from Video Demonstration of Long-Horizon Robotic Manipulation Tasks
Columbia University Robotics Group（哥伦比亚大学机器人学小组）
深度强化学习（RL）的最新进展已经证明了其学习复杂机器人操作任务的潜力。然而，RL仍然需要机器人收集大量的真实世界经验。为了解决这个问题，最近的工作已经提出了从专家演示（LfD），特别是通过逆强化学习（IRL）的学习，因为它能够实现强大的性能，只有少量的专家演示。然而，在真实机器人上部署IRL仍然具有挑战性，因为它需要大量的机器人经验。本文的目的是解决这个可扩展性的挑战，一个强大的，采样效率高，和一般的元IRL算法，SQUIRL，执行一个新的，但相关的长期任务，鲁棒地给出了只有一个视频演示。首先，该算法使用行为克隆（BC）引导任务编码器和任务条件策略的学习。然后，它收集真实的机器人经验，并通过直接从组合的机器人和专家轨迹中恢复Q函数来绕过奖励学习。然后，该算法使用Q函数重新评估机器人收集的所有累积经验，以快速改进策略。最后，该策略在新任务上比BC执行得更健壮（90%以上的成功率），同时在测试时不需要试错。最后，我们的真实机器人和模拟实验证明了我们的算法在不同的状态空间，动作空间和基于视觉的操作任务，例如，pick-pour-place和pick-carry-drop。
2020-03-10 cs.LG cs.RO
TOPReward: Token Probabilities as Hidden Zero-Shot Rewards for Robotics
University of Washington（华盛顿大学）；Allen Institute for AI（人工智能研究所）；Amazon（亚马逊）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
TOPReward通过利用预训练视频视觉-语言模型的令牌概率，提供高效的零样本奖励估计，显著提升机器人任务进度评估的性能和泛化能力。
2026-07-24 cs.AI cs.LG cs.RO
Guided Flow Policy: Learning from High-Value Actions in Offline Reinforcement Learning
Inria and DI-ENS, PSL Research University（Inria和DI-ENS，PSL研究大学）；Sorbonne Université, CNRS, ISIR, France（索邦大学，CNRS，ISIR，法国）
引导流策略通过结合多步流匹配与提炼的演员，有效区分高价值动作，从而在多个基准测试中实现卓越性能。
2026-03-05 cs.AI cs.LG
CLAMP: Contrastive Learning for 3D Multi-View Action-Conditioned Robotic Manipulation Pretraining
Google DeepMind（谷歌DeepMind）；University of Southern California（南加州大学）
CLAMP通过3D点云和机器人动作进行预训练，利用对比学习提升机器人操控精度与效率，优于现有基线方法。
2026-04-29 cs.AI cs.CV cs.LG
Spatial-Temporal Aware Visuomotor Diffusion Policy Learning
Fudan University（复旦大学）；Shanghai Innovation Institute（上海创新研究院）；Nanyang Technological University（南洋理工大学）；NeuHelium Co., Ltd（NeuHelium公司）
针对视觉模仿学习在3D空间与4D时空感知上的局限，提出4D Diffusion Policy (DP4)，利用动态高斯世界模型从单视图RGB-D观测构建并预测3D场景以优化轨迹生成，在多项模拟与真实机器人任务上显著提升了成功率。
2025-07-13 cs.RO
Overcoming Exploration in Reinforcement Learning with Demonstrations
OpenAI；University of California, Berkeley（加州大学伯克利分校）
在奖励稀疏的环境中进行探索一直是强化学习（RL）中的一个持续问题。许多任务很自然地指定稀疏的奖励，手动塑造奖励函数可能会导致次优性能。然而，随着任务范围或行动维度的增加，找到非零奖励的难度呈指数级增加。这使得许多现实世界的任务超出了RL方法的实际范围。在这项工作中，我们使用演示来克服探索问题，并成功地学习执行长视野，多步机器人任务与连续控制，如堆叠块与机器人arm.Our方法，它建立在顶部的深度确定性策略梯度和后见之明经验重放，提供了一个数量级的加速比RL的模拟机器人任务。它实现起来很简单，并且只做了一个额外的假设，即我们可以收集一小部分演示。此外，我们的方法是能够解决的任务，无论是RL或行为克隆单独解决，并最终往往优于演示政策。
2018-02-25 cs.AI cs.LG cs.NE
Dynamic Rank Adjustment in Diffusion Policies for Efficient and Flexible Training
Yale University（耶鲁大学）；University of Pennsylvania（宾夕法尼亚大学）
针对扩散策略参数量大导致在线交互式模仿学习困难的问题，提出DRIFT框架，利用奇异值分解在训练时动态调整秩，实现离线到在线阶段无缝切换，在几乎不影响性能下提升样本效率与训练速度。
2025-04-26 cs.RO
A Wearable Robotic Hand for Hand-over-Hand Imitation Learning
Tsinghua-Berkeley Shenzhen Institute, Tsinghua University（清华大学清华-伯克利深圳学院）；Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）；Shanghai AI Lab（上海人工智能实验室）；Shanghai Qi Zhi Institute（上海期智研究院）
针对数据手套难以直接映射机器人自由度且无法准确采集力反馈的问题，本文提出可穿戴灵巧手 HIRO Hand，融合专家示教数据采集与触觉反馈，并通过非学习及视觉行为克隆控制器实现抓取和手内操作。
2023-09-26 cs.RO
Behavior Cloning of MPC for 3-DOF Robotic Manipulators
University of Waterloo（多伦多大学）；Universite de Technologie de Compiègne（技术与科学大学）；Nanyang Technological University（南洋理工大学）；Polytechnique Montréal（蒙特利尔理工学院）
针对MPC实时计算负担重的问题，采用行为克隆方法近似MPC策略，通过多种神经网络架构实现三自由度机械臂的实时控制，在宽松容差下推理延迟降低3倍，成功率84.98%。
2026-05-29 cs.LG cs.RO cs.SY
LLaRA: Supercharging Robot Learning Data for Vision-Language Policy
Stony Brook University（石溪大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出LLaRA框架，通过自动化生成对话式指令微调数据并引入六个自监督辅助任务，将预训练VLM高效转化为VLA模型，在有限数据下实现了最先进的机器人控制性能并保持泛化能力。
2025-01-30 cs.AI cs.CL cs.CV
Vision-Based Multi-Task Manipulation for Inexpensive Robots Using End-To-End Learning from Demonstration
University of Central Florida（中佛罗里达大学）；University of California Berkeley（加州大学伯克利分校）
我们提出了一种多任务的示教学习技术，从演示，培训控制器的低成本的机器人手臂，以完成几个复杂的拾取和放置任务，以及非易失性操作。控制器是一个递归神经网络，使用原始图像作为输入并生成机器人手臂轨迹，其中参数在任务之间共享。该控制器还将基于VAE-GAN的重构与自回归多模态动作预测相结合。我们的研究结果表明，它是可以学习复杂的操作任务，如拿起毛巾，擦拭物体，并存放毛巾到其先前的位置，完全从原始图像与直接行为克隆。我们发现，权重共享和基于重建的正则化大大提高了泛化能力和鲁棒性，同时对多个任务进行训练可以提高所有任务的成功率。
2018-04-22 cs.AI cs.LG cs.RO
Set-Supervised Diffusion Policy: Learning Action-Chunking Diffusion through Corrections
University of California, Berkeley（加州大学伯克利分校）；ETH Zurich（苏黎世联邦理工学院）
提出集合监督扩散策略（SDP），利用人类修正中的对比动作分块数据，通过构建期望动作分块集合来训练扩散策略，有效缓解分布偏移并提升鲁棒性。
2026-06-01 cs.RO
Towards Forceful Robotic Foundation Models: a Literature Survey
University of Colorado at Boulder（科罗拉多大学博尔德分校）
本文综述机器人操作策略学习中集成力（本体感受与触觉）的方法，比较力传感、数据收集等技术，指出力在接触密集任务中的应用现状与改进机遇，助力读者理解并启发下一代触觉机器人基础模型研发。
2025-04-16 cs.RO
MEMBOT: Memory-Based Robot in Intermittent POMDP
Department of Computer Science Stanford University（计算机科学系 斯坦福大学）
针对机器人控制中的间歇性部分可观测问题，提出模块化记忆架构 MEMBOT，通过两阶段训练将信念推断与策略学习解耦，在观测丢失率较高时仍保持优异性能。
2025-09-14 cs.AI cs.RO
Deep Generative Models in Robotics: A Survey on Learning from Multimodal Demonstrations
German Research Center for AI（德国人工智能研究中心）；Nvidia（英伟达）；Massachusetts Institute of Technology（麻省理工学院）；New York University（纽约大学）；Carnegie Mellon University（卡内基梅隆大学）；Technische Universität Darmstadt（达姆施塔特工业大学）；Georgia Institute of Technology（佐治亚理工学院）
本文综述了深度生成模型在机器人多模态演示学习中的应用，涵盖模型类型、应用场景及泛化改进，并指出研究挑战与未来方向。
2024-08-21 cs.LG cs.RO
