Enhanced Behavioral Cloning with Environmental Losses for Self-Driving Vehicles
Renault group（雷诺集团）
学习路径规划器由于其能够模拟人类驾驶行为和快速推理的能力而引起了研究兴趣。最近的行为克隆工作表明，简单的模仿专家的意见是不足以处理复杂的驾驶场景。此外，预测在可驾驶区域之外的土地可能导致潜在的危险情况。本文提出了一组损失函数，即社会损失和道路损失，这占建模风险的社会互动路径规划。这些损失就像一个排斥标量场，包围着不可驾驶的区域。落在这些区域附近的预测会导致更高的训练成本，这是使用反向传播最小化。这种方法为传统的监督学习设置提供了额外的环境反馈。我们在一个大规模的城市驾驶数据集上验证了这种方法。结果表明，智能体学习模仿人类驾驶，同时表现出更好的安全指标。此外，所提出的方法具有积极的影响，推理，而不需要人为地产生不安全的驾驶例子。的可扩展性研究表明，所获得的好处是与一个更高的相关性，在代理的决定相比，经典的行为克隆的非驾驶领域。
2022-02-04 cs.AI cs.RO
SynIL: Leveraging Synergy for Offline Imitation Learning from Imperfect Demonstration Datasets
Tohoku University（东北大学）
SynIL提出基于协同性的无标签演示质量评估框架，通过量化运动协同性生成密集奖励信号，在D4RL和Robomimic基准上超越行为克隆，媲美甚至优于真实奖励训练的离线强化学习。
2026-10-01 cs.AI cs.RO
Reliable Conditioning of Behavioral Cloning for Offline Reinforcement Learning
UCLA（加州大学洛杉矶分校）；Meta AI Research（Meta人工智能研究院）
行为克隆（BC）通过监督学习模仿离线轨迹，为离线RL提供了一个简单的解决方案。最近的进展（Chen等人，2021; Janner等人，2021; Emmons等人，2021年）已经表明，通过以期望的未来回报为条件，BC可以与基于价值的同行竞争，同时享受更多的简单性和培训稳定性。虽然有希望，我们表明，这些方法可能是不可靠的，因为它们的性能可能会显着下降时，条件高，分布外（ood）的回报。这在实践中是至关重要的，因为我们通常期望通过以ood值为条件，策略的性能优于离线数据集。我们发现，这种不可靠性产生的次优的训练数据和模型架构。我们提出了ConserWeightive Behavioral Cloning（CWBC），这是一种简单有效的方法，用于提高条件BC的可靠性，其中有两个关键组成部分：轨迹加权和保守正则化。轨迹加权增加了高返回轨迹的权重，以减少BC方法的训练-测试间隙，而保守正则化器鼓励策略保持接近数据分布，以获得良好的条件。我们在RvS的背景下研究CWBC（Emmons等人，2021）和决策Transformers（Chen等人，2021年），并显示CWBC显着提高了他们在各种基准上的表现。
2023-02-03 cs.AI cs.LG
One ACT Play: Single Demonstration Behavior Cloning with Action Chunking Transformers
Carnegie Mellon University（卡内基梅隆大学）
本文提出仅用一次人类演示即可完成机器人行为克隆的方法，通过线性变换扩充演示轨迹，并改进动作分块Transformer的时间集成策略，在三个积木操作任务上取得显著性能提升。
2023-09-18 cs.AI cs.LG cs.RO
Understanding Multimodality in Generative Behavioral Cloning
NCT-Dresden（NCT-德累斯顿）
研究行为克隆在多模态情况下失败的机制，分析不同多模态参数化在动作分块策略中的不同失效方式，并提出通过调整正则化程度和改进生成策略来提升鲁棒性的方法。
2026-10-01 cs.AI cs.LG cs.RO
Fine-tuning Behavioral Cloning Policies with Preference-Based Reinforcement Learning
Department of Informatics, University of Zurich（苏黎世大学信息学院）；ETH AI Center（ETH人工智能中心）
提出两阶段框架BRIDGE，先从无奖励专家数据学习安全初始策略，再用基于偏好的人类反馈在线微调，理论分析与实验均证明其能显著降低遗憾并提升样本效率。
2025-10-13 cs.AI cs.LG
Behavioral Cloning Models Reality Check for Autonomous Driving
针对基于视觉的自动驾驶行为克隆系统缺乏真实世界验证的问题，本文用缩放研究车采集数据并在多赛道测试，证实前沿BC横向控制方法实时预测转向角误差低，具备实际应用潜力。
2024-09-11 cs.AI cs.CV cs.RO
Self-Predictive Representations for Combinatorial Generalization in Behavioral Cloning
Mila；Université de Montréal（蒙特利尔大学）；Google DeepMind（谷歌DeepMind）
本文提出BYOL-γ方法，通过自预测表示近似后继表示，提升行为克隆在组合泛化任务中的泛化能力。
2026-04-19 cs.AI cs.LG
Sample-Efficient Behavior Cloning Using General Domain Knowledge
Carnegie Mellon University（卡内基梅隆大学）
本文提出KIM方法，通过整合大语言模型的编码能力与专家领域知识，提升行为克隆的样本效率和泛化能力。
2025-01-27 cs.AI
A Systematic Study of Behavioral Cloning for Scientific Data Annotation
针对科学数据标注中人工验证校正耗时问题，提出行为克隆框架，通过9个合成任务模拟专家策略，发现模型层次化技能习得、多任务预训练高效微调、内部表示共享错误模式等关键结论。
2026-05-26 cs.AI cs.CV cs.HC
Posterior Behavioral Cloning: Pretraining BC Policies for Efficient RL Finetuning
UC Berkeley（伯克利大学）；Stanford（斯坦福大学）
本文提出后验行为克隆策略，通过建模示范者行为的后验分布来提升强化学习微调效果。
2025-12-18 cs.AI cs.LG cs.RO
Diffusion Model-Augmented Behavioral Cloning
National Taiwan University（台湾大学）
本文提出DBC框架，通过扩散模型同时建模专家分布的条件概率和联合概率，优化BC损失与扩散模型损失，在多种连续控制任务中优于基线。
2024-06-03 cs.AI cs.LG cs.RO
Multi-model approach for autonomous driving: A comprehensive study on traffic sign-, vehicle- and lane detection and behavioral cloning
本文提出多模型方法，通过预训练和定制神经网络提升自动驾驶中的交通标志、车辆和车道检测及行为克隆性能。
2026-07-28 cs.AI cs.CV
Continuous Vision-Language-Action Co-Learning with Semantic-Physical Alignment for Behavioral Cloning
本文提出CCoL框架，通过连续共学视觉、语言和动作，解决行为克隆中的语义-物理不一致问题，提升动作执行的准确性和鲁棒性。
2025-12-23 cs.AI cs.CV cs.RO
Benchmarking End-to-End Behavioural Cloning on Video Games
University of Eastern Finland（东芬兰大学）
行为克隆，即根据演示教计算机执行任务，已成功应用于各种视频游戏和机器人任务，有或没有强化学习。这也包括端到端的方法，在这种方法中，计算机像人类一样玩视频游戏：通过查看屏幕上显示的图像，并向游戏发送任务。作为玩视频游戏的一般方法，这有许多诱人的特性：不需要对游戏进行专门的修改，没有冗长的培训课程，并且能够在不同的游戏中重复使用相同的工具。然而，相关的工作包括游戏特定的工程，以实现的结果。我们采取了一种通用的方法，并研究了行为克隆的一般适用性的12个视频游戏，包括6个现代的视频游戏（2010年后出版），通过使用人类示范作为训练数据。我们的研究结果表明，这些智能体在原始性能上无法与人类相匹配，但它们确实学习了基本的动态和规则。我们还演示了数据的质量如何重要，以及记录来自人类的数据如何受到状态-动作不匹配的影响，这是由于人类的反射。
2020-05-18 cs.AI
Behavioral Cloning via Search in Video PreTraining Latent Space
University of Eastern Finland（东芬兰大学）；University of Bielefeld（比勒费尔德大学）；Indian Institute of Technology BHU（印度理工学院（BHU））
本文提出在视频预训练潜在空间中对 BASALT MineRL 专家演示进行邻近搜索的行为克隆方法，使智能体在 Minecraft 中展现类人行为。
2023-04-17 cs.AI cs.CV cs.LG
Integrating Behavior Cloning and Reinforcement Learning for Improved Performance in Dense and Sparse Reward Environments
Texas A&M University（得克萨斯农工大学）；US Army Research Laboratory（美国陆军研究实验室）；Columbia University（哥伦比亚大学）
本文研究了如何有效地转换和更新政策，最初训练与示范，使用关闭政策的演员-评论强化学习。众所周知，基于示教学习的技术，例如行为克隆，可以在给定有限数据的情况下产生熟练的策略。然而，目前还不清楚如何使用强化学习有效地更新该策略，因为这些方法本质上优化了不同的目标函数。以前的工作使用了损失函数，它将行为克隆损失与强化学习损失相结合，以实现这种更新。然而，这些损失函数的组成部分通常是以轶事的方式设置的，它们各自的贡献并没有得到很好的理解。在这项工作中，我们提出了学习周期（CoL）框架，该框架使用一个演员-评论家架构与损失函数相结合的行为克隆和一步Q学习损失与一个关闭政策的预训练步骤，从人类示范。这使得从行为克隆到强化学习的过渡不会降低性能，并在整体性能和训练时间方面提高了强化学习。此外，我们仔细研究了这些综合损失的构成及其对整体策略学习的影响。我们表明，我们的方法优于国家的最先进的技术相结合的行为克隆和强化学习的密集和稀疏的奖励情况。我们的研究结果还表明，直接包括示范数据的行为克隆损失，有助于确保稳定的学习和地面未来的政策更新。
2020-04-03 cs.AI cs.LG stat.ML
What can we Learn Even From the Weakest? Learning Sketches for Programmatic Strategies
University of Alberta（阿尔伯塔大学）
在本文中，我们表明，行为克隆可以用来学习有效的草图编程策略。我们表明，即使是草图克隆弱球员的行为可以帮助程序化策略的合成。这是因为即使是较弱的玩家也可以提供有用的信息，例如，玩家必须在游戏中选择一个动作。如果不采用行为克隆，合成器甚至需要通过玩游戏来学习最基本的信息，这在计算上是昂贵的。我们经验证明我们的草图学习方法与模拟退火和UCT合成器的优势。我们在Can't Stop和MicroRTS游戏中评估我们的合成器。基于草图的合成器能够学习比原来的合成器更强的编程策略。我们的合成器生成的策略不能停止，击败了传统的编程策略的游戏。他们还综合了击败最新MicroRTS竞赛中表现最好的方法的策略。
2022-03-22 cs.AI
Blockchain-assisted Demonstration Cloning for Multi-Agent Deep Reinforcement Learning
Concordia University（康考迪亚大学）；Khalifa University（哈利法大学）
本文提出区块链辅助的多专家演示克隆框架，利用专家演示和区块链模型共享指导多智能体强化学习，提升学习速度与抗恶意模型韧性。
2025-01-19 cs.AI cs.LG
Chain of Thought Imitation with Procedure Cloning
Google Brain（谷歌大脑）；UC Berkeley（加州大学伯克利分校）
模仿学习旨在从专家行为的记录演示中提取高性能策略。通常将模仿学习视为一个监督学习问题，在这个问题中，人们将一个函数逼近器拟合到记录的演示所展示的输入-输出映射（输入观察到输出动作）。虽然将模仿学习作为一个有监督的输入-输出学习问题的框架允许在各种各样的设置中的适用性，但在专家演示提供对专家行为更丰富的洞察力的情况下，这也是对问题的过于简单化的看法。例如，路径导航、机器人操作和策略游戏等应用程序通过规划、搜索或其他多步算法获得专家演示，不仅揭示了要模仿的输出动作，还揭示了如何确定该动作的过程。虽然这些中间计算可能使用在推理期间代理不可用的工具（例如，环境模拟器），但它们作为一种解释专家的状态到动作的映射的方式是信息丰富的。为了适当地利用专家程序信息，而不依赖于特权工具的专家可能已经用来执行的程序，我们提出了程序克隆，它适用于监督序列预测模仿一系列的专家计算。这样，过程克隆不仅学习做什么（即，输出动作），但是如何以及为什么要这样做（即，程序）。通过对导航，模拟机器人操作和游戏环境的实证分析，我们表明，模仿专家的行为的中间计算，使程序克隆学习政策表现出显着的泛化看不见的环境配置，包括那些配置，直接运行专家的程序是不可行的。
2022-05-22 cs.AI cs.LG
Behavior Cloning in OpenAI using Case Based Reasoning
Carleton University（卡尔顿大学）
从观察中学习（LfO），也称为行为克隆，是一种通过记录专家（人类或人工）的行为并使用记录的数据生成所需行为来构建软件代理的方法。jLOAF是一个使用基于案例的推理来实现LfO的平台。在本文中，我们将jLOAF与流行的OpenAI Gym环境相连接。我们的实验结果表明，我们的方法可以用来提供一个基线比较在这一领域，以及确定的优势和劣势时，处理环境的复杂性。
2020-02-23 cs.AI cs.LG
Optimally Teaching a Linear Behavior Cloning Agent
UW-Madison（威斯康星大学麦迪逊分校）；MPI-SWS（马克斯·普朗克软件系统研究所）
研究线性行为克隆学习器的最优教学问题，提出TIE算法实现实例最优教学维度，证明寻找最优教学集为NP困难，并给出近似比为$\log(|A|-1)$的近似算法。
2023-11-26 cs.AI cs.LG
On Value Discrepancy of Imitation Learning
Nanjing University（南京大学）；Polixir
模仿学习从专家示范中训练策略。模仿学习方法已经从各种原理中设计出来，例如通过监督学习的行为克隆，通过反向强化学习的学徒学习，以及通过生成对抗学习的GAIL。本文提出了一个基于差异传播分析的模仿学习方法的理论性质分析框架。在无限时域条件下，该框架导致行为克隆的值偏差为O（（1-γ）^{-2}）。我们还证明了该框架导致GAIL的值差异的顺序为O（（1-γ）^{-1}）。这意味着GAIL比行为克隆具有更少的复合误差，这也在本文中得到了实证验证。据我们所知，我们是第一个从理论上分析GAIL的性能。上述结果表明，所提出的框架是一个通用的工具来分析模仿学习的方法。我们希望我们的理论研究结果可以为今后模仿学习算法的改进提供参考。
2019-11-16 cs.AI cs.LG stat.ML
Learning a Behavioral Repertoire from Demonstrations
IT University of Copenhagen（哥本哈根信息技术大学）；Universidad Nacional de Colombia（哥伦比亚国立大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Université de Lorraine（洛林大学）
模仿学习（IL）是一种从演示数据集学习策略的机器学习方法。在应用强化学习（RL）之前，IL可以用于启动学习，但它本身也可以是有用的，例如学习模仿视频游戏中的人类玩家。然而，当前IL方法的一个主要限制是，它们仅基于可能包含许多不同类型行为的演示的数据集来学习单个“平均”策略。在本文中，我们提出了一种新的方法，称为行为库模仿学习（BRIL），而不是从一组演示通过增强状态动作对行为描述学习的行为库。这种方法的结果是一个单一的神经网络政策的行为描述，可以精确地调制。我们应用这种方法来训练一个策略，在7,777个人类回放中执行星际争霸II中的构建顺序规划。主成分分析（PCA）是应用于构建一个低维的行为空间，从高维的军队单位组成的每个示范。结果表明，学习的政策可以有效地操纵，以表达不同的行为。此外，通过应用UCB 1算法，我们能够在游戏之间调整策略的行为，以达到超越传统IL基线方法的性能。
2019-07-05 cs.AI cs.LG
Object-Aware Regularization for Addressing Causal Confusion in Imitation Learning
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Microsoft Research Asia（微软亚洲研究院）
行为克隆已被证明是有效的学习顺序决策的政策，从专家示范。然而，行为克隆经常遭受因果混淆的问题，即由于强相关性而不是我们想要的原因，政策依赖于专家行为的明显效果。本文介绍了对象感知的规则化（OREO），一个简单的技术，规范化的模仿政策，在对象感知的方式。我们的主要思想是鼓励政策，统一参加所有的语义对象，以防止利用滋扰变量与专家的行动强烈相关的政策。为此，我们引入了一个两阶段的方法：（a）我们通过利用来自矢量量化变分自编码器的离散代码从图像中提取语义对象，以及（b）我们随机丢弃共享相同离散代码的单元，即，屏蔽语义对象我们的实验表明，OREO显着提高了行为克隆的性能，在各种Atari环境和自动驾驶CARLA环境中的性能优于其他各种基于正则化和cacability-based方法。我们还表明，我们的方法甚至优于反向强化学习方法训练了大量的环境交互。
2021-10-27 cs.AI cs.LG
Human-AI Coordination via Human-Regularized Search and Learning
Meta AI；Oxford University（牛津大学）
我们考虑的问题，使人工智能智能体，以及与人类合作的部分可观察的完全合作的环境中，给定的人类行为的数据集。受piKL的启发，piKL是一种人类数据正则化的搜索方法，它改进了行为克隆策略，而不会远离它，我们开发了一个三步算法，在Hanabi基准测试中与真实人类协调时实现了强大的性能。我们首先使用正则化搜索算法和行为克隆来生成更好的人类模型，以捕获不同的技能水平。然后，我们将策略正则化思想融入强化学习中，对人体模型进行训练类人最佳反应。最后，我们在测试时将正则化搜索应用于最佳响应策略之上，以处理与人类一起玩时的分布外挑战。我们评估我们的方法在两个大规模的实验与人类。首先，我们证明了我们的方法在与一组不同的人类玩家在特设团队中玩时优于专家。第二，我们表明，我们的方法击败了香草最佳对策的行为克隆基线，专家反复发挥与两个代理。
2022-10-11 cs.AI cs.LG cs.MA
Enhancing Policy Learning with World-Action Model
Photogrammetry and Computer Vision Lab, The Ohio State University（俄亥俄州立大学摄影测量与计算机视觉实验室）
本文提出World-Action Model，通过联合推理未来视觉观测和驱动状态转移的动作，提升策略学习效果。在CALVIN基准的八项任务中，WAM通过行为克隆和基于模型的PPO优化，显著提高成功率。
2026-03-30 cs.AI
Improving Learning from Demonstrations by Learning from Experience
如何在演示相对有限的情况下使模仿学习更加通用，一直是强化学习（RL）中的一个持续问题。不好的演示会导致狭窄和有偏见的数据分布，非马尔可夫人类专家演示会使智能体难以学习，过度依赖次优轨迹会使智能体难以提高其性能。为了解决这些问题，我们提出了一种新的算法TD3fG，可以平滑地从专家学习过渡到经验学习。我们的算法在MUJOCO环境中取得了良好的性能，有限的和次优的演示。我们使用行为克隆来训练网络作为参考动作生成器，并利用它的损失函数和勘探噪声。这种创新可以帮助代理提取先验知识的演示，同时减少不良的马尔可夫性质的演示的不利影响。与BC+微调和DDPGfD方法相比，它具有更好的性能，特别是当演示相对有限时。我们将方法称为TD3fG，意思是来自生成器的TD3。
2021-11-16 cs.AI
Guided Exploration with Proximal Policy Optimization using a Single Demonstration
Universitat Pompeu Fabra（庞培法布拉大学）；ICREA（加泰罗尼亚研究与高等教育机构）
通过探索解决稀疏奖励任务是深度强化学习的主要挑战之一，特别是在三维，部分可观察的环境中。重要的是，本文提出的算法使用单个人类演示来解决难以探索的问题。我们训练一个结合示范和自己的经验来解决可变初始条件的问题的代理。我们采用这种思想，并将其与近端策略优化（PPO）。智能体能够通过重放自己过去的轨迹来提高性能，并根据获得的奖励和轨迹的最大值对它们进行优先级排序，从而解决更困难的问题。我们将该算法的不同变体与动物AI奥运会环境中的一组硬探索任务的行为克隆进行了比较。据我们所知，在三维环境中学习一项具有可比难度的任务之前，从未考虑过只使用一个人类演示。
2021-06-16 cs.AI
Controlling Steering with Energy-Based Models
University of Tartu（塔尔图大学）
本研究在真实自动驾驶汽车转向控制中对比了基于能量模型的隐式行为克隆与显式基线方法，发现其理论优势未转化为实际驾驶性能提升，且需进一步研究以解决平滑度问题。
2023-01-28 cs.AI cs.LG cs.RO
Planning with RL and episodic-memory behavioral priors
IIIT Allahabad（印度阿拉哈巴德信息技术学院）；University of Bielefeld（比勒费尔德大学）
学习代理的实际应用需要样本高效和可解释的算法。从行为先验中学习是一种很有前途的方法，可以用比随机探索策略更好的引导代理，或者防止早期学习的陷阱。现有的模仿学习解决方案需要大量的专家演示，并依赖于难以解释的学习方法，如深度Q学习。在这项工作中，我们提出了一种基于规划的方法，可以使用这些行为先验在强化学习环境中进行有效的探索和学习，我们证明了以行为先验形式的策划探索策略可以帮助代理更快地学习。
2022-07-07 cs.AI
R2BC: Multi-Agent Imitation Learning from Single-Agent Demonstrations
Kahlert School of Computing, University of Utah（犹他大学凯勒尔计算学院）；DEVCOM Army Research Laboratory（陆军研究实验室）
提出R2BC方法，通过轮换单智能体演示训练多机器人系统，无需联合动作空间演示，在模拟和实物任务中性能媲美或超越基于特权同步演示的基线方法。
2026-06-18 cs.AI cs.MA cs.RO
Whispering to a Blackbox: Bootstrapping Frozen OCR with Visual Prompts
Duke University（杜克大学）
通过视觉提示框架Whisperer，利用行为克隆方法提升冻结OCR模型的性能，减少字符错误率8%。
2026-03-05 cs.AI cs.LG
When Does Predictive Inverse Dynamics Outperform Behavior Cloning?
University of Cambridge（剑桥大学）；Universitygrow
本文通过理论分析解释了预测性逆动力学模型（PIDM）为何在行为克隆（BC）失败时表现更优，归因于偏差-方差权衡，并实验验证了PIDM在样本效率上的显著优势。
2026-07-03 cs.AI cs.LG
Behavior Transformers: Cloning $k$ modes with one stone
New York University（纽约大学）
虽然行为学习近年来取得了令人印象深刻的进展，但由于无法利用大型人类生成的数据集，它落后于计算机视觉和自然语言处理。人类的行为有很大的差异，多种模式，人类的示范通常没有奖励标签。这些属性限制了离线RL和行为克隆中当前方法从大型预收集数据集学习的适用性。在这项工作中，我们提出了行为Transformer（BeT），一种新的技术来模拟未标记的演示数据与多个模式。BeT改进了标准Transformer架构，其动作离散化与受目标检测中的偏移预测启发的多任务动作校正相结合。这使我们能够利用现代Transformers的多模态建模能力来预测多模态连续动作。我们在各种机器人操作和自动驾驶行为数据集上对BeT进行了实验评估。我们表明，BeT显着改善了解决演示任务的现有最先进的工作，同时捕获了预先收集的数据集中存在的主要模式。最后，通过广泛的消融研究，我们分析了BeT中每个关键组成部分的重要性。BeT生成的行为视频可在https://notmahi.github.io/bet上获得
2022-10-11 cs.AI cs.CV cs.LG
Learning Clinical-Trial Strategy: Offline Policy Training for Decision Agents
本研究将肿瘤学临床开发建模为离线决策问题，构建时间数据集，对比4种离线目标与4种LLM智能体，发现奖励加权行为克隆表现最优，证明结构化离线学习可用于规划临床实验。
2026-08-05 cs.AI cs.LG
Imitating Unknown Policies via Exploration
Pontifícia Universidade Católica do Rio Grande do Sul（南里奥格兰德天主教大学）
行为克隆是一种模仿学习技术，它通过专家示范来教代理如何表现。最近的方法使用状态的完全可观察的未标记快照的自我监督来将状态对解码为动作。然而，这些技术的迭代学习方案容易陷入糟糕的局部极小值。我们解决了这些限制，将两阶段模型纳入原始框架，通过探索从未标记的观察中学习，通过利用（i）采样机制来防止坏的局部极小值，（ii）采样机制来改善探索，以及（iii）自我注意模块来捕获全局特征，从而大大改善传统的行为克隆。由此产生的技术优于以前的国家的最先进的在四个不同的环境中的一个很大的保证金。
2020-08-13 cs.AI cs.LG stat.ML
Counter-Strike Deathmatch with Large-Scale Behavioural Cloning
Tsinghua University（清华大学）；University of Cambridge（剑桥大学）
本文描述了一个人工智能智能体，玩流行的第一人称射击（FPS）视频游戏“反恐精英;全球攻势”（CSGO）从像素输入。该代理是一个深度神经网络，在死亡竞赛游戏模式下与中等难度内置AI的性能相匹配，同时采用类似人类的游戏风格。与游戏中的许多先前工作不同，CSGO没有可用的API，因此算法必须实时训练和运行。这限制了可以生成的策略数据的数量，排除了许多强化学习算法。我们的解决方案使用行为克隆-在从在线服务器上的人类游戏中抓取的大型噪声数据集（400万帧，大小与ImageNet相当）和高质量专家演示的较小数据集上进行训练。这个规模比先前在FPS游戏中的模仿学习工作大一个数量级。
2021-12-09 cs.AI cs.LG stat.ML
On Pathologies in KL-Regularized Reinforcement Learning from Expert Demonstrations
University of Oxford（牛津大学）
来自专家演示的KL正则化强化学习已被证明成功地提高了深度强化学习算法的样本效率，使其能够应用于具有挑战性的物理现实任务。然而，我们发现，KL正则化强化学习与来自专家演示的行为参考策略可能会受到病态的训练动态，这可能导致缓慢，不稳定和次优的在线学习。我们的经验表明，病理发生通常选择的行为政策类，并证明其对样本效率和在线政策性能的影响。最后，我们证明了病理可以通过非参数行为参考策略来补救，这使得KL正则化强化学习在各种具有挑战性的运动和灵巧手操作任务上显着优于最先进的方法。
2022-12-28 cs.AI cs.LG stat.ME
How to Leverage Diverse Demonstrations in Offline Imitation Learning
Tsinghua University（清华大学）；Zhongguancun Laboratory（中关村实验室）；University of Houston（休斯顿大学）；University of California, Davis（加州大学戴维斯分校）
针对离线模仿学习中不完美示范的数据选择问题，提出基于结果状态识别积极行为的简单数据选择方法及轻量级行为克隆算法，在20/21个基准上显著优于现有方法。
2024-05-30 cs.AI cs.LG
Thought Cloning: Learning to Think while Acting by Imitating Human Thinking
University of British Columbia（不列颠哥伦比亚大学）；Vector Institute（向量研究所）
本文提出Thought Cloning模仿学习框架，不仅克隆人类行为还克隆其思维过程，实验表明它比行为克隆学习更快、泛化更强，并能提升AI安全性、可解释性和可调试性。
2024-01-18 cs.AI cs.LG
Offline Behavioral Data Selection
School of Computer Science The University of Sydney Sydney Australia；College of Computing \& Data Science Nanyang Technological University Singapore；School of Computer Science The University of Sydney；College of Computing \& Data Science Nanyang Technological University
本文提出SDR方法，通过分步裁剪和双排序策略，有效提升离线行为数据的选择效率。
2025-12-20 cs.AI cs.LG
Learning Behavioral Soft Constraints from Demonstrations
Tulane University（杜兰大学）；University of Brescia（布雷西亚大学）；University of West Florida（西佛罗里达大学）；IHMC（人类与机器认知研究所）；IBM Research（IBM研究院）
许多现实生活中的场景要求人类做出艰难的权衡：我们是总是遵守所有的交通规则，还是在紧急情况下违反限速？这些情景迫使我们评估集体规则和规范与我们自己的个人目标和愿望之间的权衡。为了创建有效的人工智能-人类团队，我们必须为人工智能智能体配备一个模型，说明当存在隐式和显式规则和约束时，人类如何在复杂环境中进行权衡。配备这些模型的智能体将能够反映人类行为和/或将人类注意力吸引到可以改善决策的情况。为此，我们提出了一种新的逆强化学习（IRL）方法：最大熵逆软约束IRL（MESC-IRL），学习隐式的硬和软约束的状态，动作和状态特征的演示中确定性和非确定性的环境建模为马尔可夫决策过程（MDP）。我们的方法使代理隐式学习人类的约束和愿望，而不需要明确的建模代理设计师和环境之间转移这些约束。我们的新方法推广了以前的工作，只考虑确定性的硬约束，并实现了最先进的性能。
2022-02-21 cs.AI cs.CY cs.LG
Stage Conscious Attention Network (SCAN) : A Demonstration-Conditioned Policy for Few-Shot Imitation
National Taiwan University（国立台湾大学）；National Yang Ming Chiao Tung University（国立阳明交通大学）；Mobile Drive Technology
在Few-Shot模仿学习（FSIL）中，利用行为克隆（BC）技术解决未知任务，无需专家演示，是一个热门的研究方向。以下能力在机器人应用中是必不可少的：（1）在包含多个阶段的复合任务中表现。(2)从几个长度变化和未对准演示中检索知识。(3)向不同的专家学习。以前的工作无法同时实现这些能力。在这项工作中，我们进行FSIL问题的联合上述设置，并介绍了一种新的阶段意识的注意力网络（SCAN）检索知识，同时从几个演示。SCAN使用注意力模块来识别长度变化演示中的每个阶段。此外，它是在学习专家和代理之间的关系的示范条件下设计的。实验结果表明，SCAN可以从不同的专家学习，而无需微调，并在复杂的复合任务与可解释的可视化优于基线。
2021-12-04 cs.AI cs.RO
Learning Self-Correctable Policies and Value Functions from Demonstrations with Negative Sampling
Princeton University（普林斯顿大学）；University of California, Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）
模仿学习，其次是强化学习算法，是一个有前途的范例，以解决复杂的控制任务的样本效率。然而，示教学习经常遭受协变量偏移问题，这导致学习策略的级联错误。我们引入了保守外推的价值函数的概念，这可证明导致政策的自我校正。我们设计了一个算法负采样值迭代（VINS），实际上学习这样的价值函数保守外推。我们表明，VINS可以纠正错误的行为克隆政策的模拟机器人基准任务。我们还提出了使用VINS来初始化强化学习算法的算法，该算法在样本效率方面明显优于先前的工作。
2019-10-11 cs.AI cs.LG stat.ML
Offline Actor-Critic Reinforcement Learning Scales to Large Models
Google Deepmind（谷歌DeepMind）
本研究证明离线演员-评论家强化学习可扩展至大型模型，遵循与监督学习相似的缩放规律，并在132个连续控制任务上超越行为克隆基线，引入Perceiver模型实现多任务策略学习。
2024-02-08 cs.AI cs.LG cs.RO
Robust Imitation of a Few Demonstrations with a Backwards Model
Khoury College of Computer Sciences（库里计算机学院）；Northeastern University（东北大学）
与强化学习相比，专家演示的行为克隆可以以更有效的样本方式加速学习最优策略。然而，该策略不能很好地外推到演示数据之外的看不见的状态，从而产生协变量偏移（代理偏离演示）和复合误差。在这项工作中，我们通过扩展演示周围的吸引区域来解决这个问题，以便代理可以学习如何在偏离路线时回到演示的轨迹上。我们训练一个生成向后动力学模型，并从演示中的状态生成短的想象轨迹。通过模仿演示和这些模型的展示，智能体学习演示的路径以及如何回到这些路径上。通过最优或接近最优的演示，学习到的策略将是最优的，并且对偏差具有鲁棒性，具有更宽的吸引区域。在连续控制域上，我们评估了从演示数据中看不到的不同初始状态开始时的鲁棒性。虽然我们的方法和其他模仿学习基线都可以成功地解决训练分布中初始状态的任务，但我们的方法对不同的初始状态表现出更强的鲁棒性。
2022-10-17 cs.AI cs.LG
DiffClone: Enhanced Behaviour Cloning in Robotics with Diffusion-Driven Policy Learning
IIT Kharagpur（印度理工学院卡哈拉格普尔分校）；University of Waterloo（滑铁卢大学）
针对机器人学习计算密集和硬件依赖问题，提出 DiffClone 离线算法，利用条件扩散增强行为克隆，在 TOTO 基准和真实机器人上验证，MOCO 微调的 ResNet50 表现最佳。
2024-05-23 cs.AI cs.LG cs.RO
Reinforcement Learning via Reasoning from Demonstration
St. Lawrence University（圣劳伦斯大学）
演示是一种很有吸引力的方式，人类提供援助的学习代理。这一领域的大多数方法主要将演示视为行为偏差的来源。但在稀疏奖励任务中，人类似乎更多地将演示视为因果知识的来源。本文提出了一个框架的代理人，受益于这种人类启发的方式演示。在这个框架中，智能体通过观察建立因果模型，并从这些知识中推理，以分解任务，实现有效的强化学习。实验结果表明，从演示推理（RfD）的基本实现是有效的，在一系列稀疏奖励任务。
2020-04-12 cs.AI cs.LG stat.ML
Cortex: Compact Behavior Cloning for Quake with Frozen Visual Features
研究在不添加强化学习等情况下，简单行为克隆策略在《雷神之锤》游戏中的进展。核心方法是基于冻结视觉特征的Cortex策略，在Pixels2Play语料库子集训练。主要贡献是评估了该策略表现，通过消融实验揭示影响因素，还发布了相关内容。
2026-08-05 cs.AI cs.CV cs.LG
Sample-Efficient Multi-Agent Reinforcement Learning with Demonstrations for Flocking Control
Tsinghua University（清华大学）
群集控制是多智能体系统中的一个重要问题，它可以提高智能体之间的协作性和安全性，如多智能体无人机和多智能体水下航行器等。与传统方法相比，多智能体强化学习（MARL）更灵活地解决了群集控制问题。然而，基于MARL的方法存在样本效率低下的问题，因为它们需要从代理与环境之间的交互中收集大量的经验。我们提出了一种新的方法预训练与示范MARL（PwD-MARL），它可以利用非专家的示范收集预先与传统的方法来预训练代理。在预训练过程中，智能体同时从MARL和行为克隆的示范中学习策略，并防止过度拟合示范。PwD-MARL通过非专家演示进行预训练，提高了在线MARL过程中的样本效率，具有良好的启动效果。实验表明，即使在演示不好或很少的情况下，PwD-MARL也能提高集群控制问题的样本效率和策略性能。
2022-09-17 cs.AI cs.LG cs.MA
Imitation Learning from Suboptimal Demonstrations via Meta-Learning An Action Ranker
University of Electronic Science and Technology of China（电子科技大学）；Duke Kunshan University（昆山杜克大学）；Sichuan Artificial Intelligence Research Institute（四川省人工智能研究院）
本文提出ILMAR方法，通过元学习动作排序器并利用优势函数泛函选择性整合次优演示知识，以加权行为克隆提升模仿学习性能，实验证明其显著优于现有方法。
2024-12-28 cs.AI cs.LG
Closed-Loop Evaluation of Bird's-Eye-View Maps from Cross-View Transformers as Inputs to Behavior-Cloning Policies
Federal University of Santa Catarina (UFSC)（圣卡塔琳娜联邦大学）
本研究在CARLA中评估跨视角变换器预测鸟瞰图作为行为克隆策略输入，提出六通道表示和KDE加权，发现全局IoU不能预测驾驶性能，路线通道是导航关键瓶颈。
2026-09-09 cs.AI cs.CV cs.RO
When Life Gives You BC, Make Q-functions: Extracting Q-values from Behavior Cloning for On-Robot Reinforcement Learning
Rai-Inst
提出Q2RL算法，通过从行为克隆策略中提取Q函数并利用Q门控切换策略，实现高效的离线到在线强化学习，在机器人操作任务中达到100%成功率和3.75倍提升。
2026-06-17 cs.AI cs.RO
