Reliable Conditioning of Behavioral Cloning for Offline Reinforcement Learning
UCLA（加州大学洛杉矶分校）；Meta AI Research（Meta人工智能研究院）
行为克隆（BC）通过监督学习模仿离线轨迹，为离线RL提供了一个简单的解决方案。最近的进展（Chen等人，2021; Janner等人，2021; Emmons等人，2021年）已经表明，通过以期望的未来回报为条件，BC可以与基于价值的同行竞争，同时享受更多的简单性和培训稳定性。虽然有希望，我们表明，这些方法可能是不可靠的，因为它们的性能可能会显着下降时，条件高，分布外（ood）的回报。这在实践中是至关重要的，因为我们通常期望通过以ood值为条件，策略的性能优于离线数据集。我们发现，这种不可靠性产生的次优的训练数据和模型架构。我们提出了ConserWeightive Behavioral Cloning（CWBC），这是一种简单有效的方法，用于提高条件BC的可靠性，其中有两个关键组成部分：轨迹加权和保守正则化。轨迹加权增加了高返回轨迹的权重，以减少BC方法的训练-测试间隙，而保守正则化器鼓励策略保持接近数据分布，以获得良好的条件。我们在RvS的背景下研究CWBC（Emmons等人，2021）和决策Transformers（Chen等人，2021年），并显示CWBC显着提高了他们在各种基准上的表现。
2023-02-03 cs.AI cs.LG
Understanding Multimodality in Generative Behavioral Cloning
NCT-Dresden（NCT-德累斯顿）
研究行为克隆在多模态情况下失败的机制，分析不同多模态参数化在动作分块策略中的不同失效方式，并提出通过调整正则化程度和改进生成策略来提升鲁棒性的方法。
2026-10-01 cs.AI cs.LG cs.RO
Fine-tuning Behavioral Cloning Policies with Preference-Based Reinforcement Learning
Department of Informatics, University of Zurich（苏黎世大学信息学院）；ETH AI Center（ETH人工智能中心）
提出两阶段框架BRIDGE，先从无奖励专家数据学习安全初始策略，再用基于偏好的人类反馈在线微调，理论分析与实验均证明其能显著降低遗憾并提升样本效率。
2025-10-13 cs.AI cs.LG
Behavioral Cloning Models Reality Check for Autonomous Driving
针对基于视觉的自动驾驶行为克隆系统缺乏真实世界验证的问题，本文用缩放研究车采集数据并在多赛道测试，证实前沿BC横向控制方法实时预测转向角误差低，具备实际应用潜力。
2024-09-11 cs.AI cs.CV cs.RO
Self-Predictive Representations for Combinatorial Generalization in Behavioral Cloning
Mila；Université de Montréal（蒙特利尔大学）；Google DeepMind（谷歌DeepMind）
本文提出BYOL-γ方法，通过自预测表示近似后继表示，提升行为克隆在组合泛化任务中的泛化能力。
2026-04-19 cs.AI cs.LG
A Systematic Study of Behavioral Cloning for Scientific Data Annotation
针对科学数据标注中人工验证校正耗时问题，提出行为克隆框架，通过9个合成任务模拟专家策略，发现模型层次化技能习得、多任务预训练高效微调、内部表示共享错误模式等关键结论。
2026-05-26 cs.AI cs.CV cs.HC
Posterior Behavioral Cloning: Pretraining BC Policies for Efficient RL Finetuning
UC Berkeley（伯克利大学）；Stanford（斯坦福大学）
本文提出后验行为克隆策略，通过建模示范者行为的后验分布来提升强化学习微调效果。
2025-12-18 cs.AI cs.LG cs.RO
Diffusion Model-Augmented Behavioral Cloning
National Taiwan University（台湾大学）
本文提出DBC框架，通过扩散模型同时建模专家分布的条件概率和联合概率，优化BC损失与扩散模型损失，在多种连续控制任务中优于基线。
2024-06-03 cs.AI cs.LG cs.RO
Multi-model approach for autonomous driving: A comprehensive study on traffic sign-, vehicle- and lane detection and behavioral cloning
本文提出多模型方法，通过预训练和定制神经网络提升自动驾驶中的交通标志、车辆和车道检测及行为克隆性能。
2026-07-28 cs.AI cs.CV
Continuous Vision-Language-Action Co-Learning with Semantic-Physical Alignment for Behavioral Cloning
本文提出CCoL框架，通过连续共学视觉、语言和动作，解决行为克隆中的语义-物理不一致问题，提升动作执行的准确性和鲁棒性。
2025-12-23 cs.AI cs.CV cs.RO
Behavioral Cloning via Search in Video PreTraining Latent Space
University of Eastern Finland（东芬兰大学）；University of Bielefeld（比勒费尔德大学）；Indian Institute of Technology BHU（印度理工学院（BHU））
本文提出在视频预训练潜在空间中对 BASALT MineRL 专家演示进行邻近搜索的行为克隆方法，使智能体在 Minecraft 中展现类人行为。
2023-04-17 cs.AI cs.CV cs.LG
What can we Learn Even From the Weakest? Learning Sketches for Programmatic Strategies
University of Alberta（阿尔伯塔大学）
在本文中，我们表明，行为克隆可以用来学习有效的草图编程策略。我们表明，即使是草图克隆弱球员的行为可以帮助程序化策略的合成。这是因为即使是较弱的玩家也可以提供有用的信息，例如，玩家必须在游戏中选择一个动作。如果不采用行为克隆，合成器甚至需要通过玩游戏来学习最基本的信息，这在计算上是昂贵的。我们经验证明我们的草图学习方法与模拟退火和UCT合成器的优势。我们在Can't Stop和MicroRTS游戏中评估我们的合成器。基于草图的合成器能够学习比原来的合成器更强的编程策略。我们的合成器生成的策略不能停止，击败了传统的编程策略的游戏。他们还综合了击败最新MicroRTS竞赛中表现最好的方法的策略。
2022-03-22 cs.AI
Behavior Cloning in OpenAI using Case Based Reasoning
Carleton University（卡尔顿大学）
从观察中学习（LfO），也称为行为克隆，是一种通过记录专家（人类或人工）的行为并使用记录的数据生成所需行为来构建软件代理的方法。jLOAF是一个使用基于案例的推理来实现LfO的平台。在本文中，我们将jLOAF与流行的OpenAI Gym环境相连接。我们的实验结果表明，我们的方法可以用来提供一个基线比较在这一领域，以及确定的优势和劣势时，处理环境的复杂性。
2020-02-23 cs.AI cs.LG
On Value Discrepancy of Imitation Learning
Nanjing University（南京大学）；Polixir
模仿学习从专家示范中训练策略。模仿学习方法已经从各种原理中设计出来，例如通过监督学习的行为克隆，通过反向强化学习的学徒学习，以及通过生成对抗学习的GAIL。本文提出了一个基于差异传播分析的模仿学习方法的理论性质分析框架。在无限时域条件下，该框架导致行为克隆的值偏差为O（（1-γ）^{-2}）。我们还证明了该框架导致GAIL的值差异的顺序为O（（1-γ）^{-1}）。这意味着GAIL比行为克隆具有更少的复合误差，这也在本文中得到了实证验证。据我们所知，我们是第一个从理论上分析GAIL的性能。上述结果表明，所提出的框架是一个通用的工具来分析模仿学习的方法。我们希望我们的理论研究结果可以为今后模仿学习算法的改进提供参考。
2019-11-16 cs.AI cs.LG stat.ML
Object-Aware Regularization for Addressing Causal Confusion in Imitation Learning
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Microsoft Research Asia（微软亚洲研究院）
行为克隆已被证明是有效的学习顺序决策的政策，从专家示范。然而，行为克隆经常遭受因果混淆的问题，即由于强相关性而不是我们想要的原因，政策依赖于专家行为的明显效果。本文介绍了对象感知的规则化（OREO），一个简单的技术，规范化的模仿政策，在对象感知的方式。我们的主要思想是鼓励政策，统一参加所有的语义对象，以防止利用滋扰变量与专家的行动强烈相关的政策。为此，我们引入了一个两阶段的方法：（a）我们通过利用来自矢量量化变分自编码器的离散代码从图像中提取语义对象，以及（b）我们随机丢弃共享相同离散代码的单元，即，屏蔽语义对象我们的实验表明，OREO显着提高了行为克隆的性能，在各种Atari环境和自动驾驶CARLA环境中的性能优于其他各种基于正则化和cacability-based方法。我们还表明，我们的方法甚至优于反向强化学习方法训练了大量的环境交互。
2021-10-27 cs.AI cs.LG
Human-AI Coordination via Human-Regularized Search and Learning
Meta AI；Oxford University（牛津大学）
我们考虑的问题，使人工智能智能体，以及与人类合作的部分可观察的完全合作的环境中，给定的人类行为的数据集。受piKL的启发，piKL是一种人类数据正则化的搜索方法，它改进了行为克隆策略，而不会远离它，我们开发了一个三步算法，在Hanabi基准测试中与真实人类协调时实现了强大的性能。我们首先使用正则化搜索算法和行为克隆来生成更好的人类模型，以捕获不同的技能水平。然后，我们将策略正则化思想融入强化学习中，对人体模型进行训练类人最佳反应。最后，我们在测试时将正则化搜索应用于最佳响应策略之上，以处理与人类一起玩时的分布外挑战。我们评估我们的方法在两个大规模的实验与人类。首先，我们证明了我们的方法在与一组不同的人类玩家在特设团队中玩时优于专家。第二，我们表明，我们的方法击败了香草最佳对策的行为克隆基线，专家反复发挥与两个代理。
2022-10-11 cs.AI cs.LG cs.MA
Controlling Steering with Energy-Based Models
University of Tartu（塔尔图大学）
本研究在真实自动驾驶汽车转向控制中对比了基于能量模型的隐式行为克隆与显式基线方法，发现其理论优势未转化为实际驾驶性能提升，且需进一步研究以解决平滑度问题。
2023-01-28 cs.AI cs.LG cs.RO
Whispering to a Blackbox: Bootstrapping Frozen OCR with Visual Prompts
Duke University（杜克大学）
通过视觉提示框架Whisperer，利用行为克隆方法提升冻结OCR模型的性能，减少字符错误率8%。
2026-03-05 cs.AI cs.LG
Learning Clinical-Trial Strategy: Offline Policy Training for Decision Agents
本研究将肿瘤学临床开发建模为离线决策问题，构建时间数据集，对比4种离线目标与4种LLM智能体，发现奖励加权行为克隆表现最优，证明结构化离线学习可用于规划临床实验。
2026-08-05 cs.AI cs.LG
Imitating Unknown Policies via Exploration
Pontifícia Universidade Católica do Rio Grande do Sul（南里奥格兰德天主教大学）
行为克隆是一种模仿学习技术，它通过专家示范来教代理如何表现。最近的方法使用状态的完全可观察的未标记快照的自我监督来将状态对解码为动作。然而，这些技术的迭代学习方案容易陷入糟糕的局部极小值。我们解决了这些限制，将两阶段模型纳入原始框架，通过探索从未标记的观察中学习，通过利用（i）采样机制来防止坏的局部极小值，（ii）采样机制来改善探索，以及（iii）自我注意模块来捕获全局特征，从而大大改善传统的行为克隆。由此产生的技术优于以前的国家的最先进的在四个不同的环境中的一个很大的保证金。
2020-08-13 cs.AI cs.LG stat.ML
Distilling Motion Planner Augmented Policies into Visual Control Policies for Robot Manipulation
University of Southern California（南加州大学）
在现实的，有障碍的环境中学习复杂的操作任务是一个具有挑战性的问题，由于困难的探索存在的障碍和高维视觉观察。先前的工作通过整合运动规划和强化学习来解决探索问题。然而，运动规划器增强策略需要访问状态信息，这在现实世界的设置中通常是不可用的。为此，我们建议通过以下方式将基于状态的运动规划器增强策略提取为视觉控制策略：（1）视觉行为克隆，以去除运动规划器依赖性及其抖动运动，以及（2）基于视觉的强化学习，并在行为克隆代理的平滑轨迹的指导下。我们评估我们的方法在三个操作任务在障碍环境中，并比较它与各种强化学习和模仿学习基线。结果表明，我们的框架是高度采样效率和优于国家的最先进的算法。此外，再加上域随机化，我们的政策是能够zero-shot转移到看不见的环境设置与干扰。代码和视频可在https://clvrai.com/mopa-pd上获得
2021-11-11 cs.AI cs.LG cs.RO
Multiplex Behavioral Relation Learning for Recommendation via Memory Augmented Transformer Network
South China University of Technology（华南理工大学）；JD Finance America Corporation（京东金融美国公司）；Peng Cheng Laboratory（鹏城实验室）；Boshi Qiangzhi Science and Technology Co., Ltd（博时强智科技有限公司）
捕获用户的精确偏好在各种推荐系统（例如，电子商务平台），这是如何向个人用户呈现个性化的感兴趣的产品列表的基础。尽管在考虑用户和项目之间的关系方面已经取得了重大进展，但大多数现有的推荐技术仅关注单一类型的用户-项目交互。然而，用户-项目交互行为通常以多类型（例如，页面浏览，添加到收藏夹和购买）和相互依赖的性质。由于忽略了用户之间的多重行为关系，难以识别出不同类型交互中的多模态上下文信号，限制了现有推荐方法的可行性。为了解决上述挑战，这项工作提出了一个内存增强的Transformer网络（MATN），使多路复用的行为关系信息的建议，并联合建模的类型特定的行为上下文和类型明智的行为相互依赖，在一个完全自动的方式。在我们的MATN框架中，我们首先开发了一个基于transformer的多行为关系编码器，使学习到的交互表示能够反映跨类型的行为关系。此外，记忆注意网络提出增压MATN捕获到特定类别的潜在嵌入空间的不同类型的行为的上下文信号。最后，引入跨行为聚合组件来促进类型感知交互行为表示之间的全面协作，并区分它们在辅助推荐方面的固有贡献。在两个基准数据集和一个真实的电子商务用户行为数据上的大量实验表明，MATN在基线上获得了显着的改进。代码可在https://github.com/akaxlh/MATN上获得。
2021-10-08 cs.AI cs.IR
Data augmentation for efficient learning from parametric experts
DeepMind（深度思维）
我们提出了一种简单而强大的数据增强技术，使数据有效的学习参数专家强化和模仿学习。我们专注于我们所谓的策略克隆设置，其中我们使用专家或专家策略的在线或离线查询来通知学生策略的行为。这种设置在许多问题中自然出现，例如作为行为克隆的变体，或作为其他算法（如DAGGER，策略蒸馏或KL正则化RL）的组件。我们的方法，增强的政策克隆（APC），使用合成状态，以诱导反馈敏感性在采样轨迹周围的区域，从而大大减少了成功克隆的专家所需的环境相互作用。对于高自由度的控制问题，我们实现了从专家到学生策略的高数据效率的行为转移。我们证明了我们的方法的好处，在几个现有的和广泛使用的算法，包括政策克隆作为一个组成部分的背景下。此外，我们强调了我们的方法在两个实际相关的设置中的好处：（a）专家压缩，即转移到具有较少参数的学生;（b）从特权专家转移，即专家具有与学生不同的观察空间，通常包括访问特权信息。
2022-05-23 cs.AI cs.LG
Offline Actor-Critic Reinforcement Learning Scales to Large Models
Google Deepmind（谷歌DeepMind）
本研究证明离线演员-评论家强化学习可扩展至大型模型，遵循与监督学习相似的缩放规律，并在132个连续控制任务上超越行为克隆基线，引入Perceiver模型实现多任务策略学习。
2024-02-08 cs.AI cs.LG cs.RO
AI-Augmented Behavior Analysis for Children with Developmental Disabilities: Building Towards Precision Treatment
Child and Adolescent Policy and Research Institute (CAPRI)（儿童与青少年政策研究所）；Secure AI Laboratory for Autonomy (AILA)（自主安全人工智能实验室）
自闭症谱系障碍是一种发育障碍，其特征是显著的社会，沟通和行为挑战。被诊断患有自闭症，智力和发育障碍（AUIDD）的人通常需要长期护理和有针对性的治疗和教学。AUIDD的有效治疗依赖于训练有素的应用行为分析师（ABA）进行的有效和仔细的行为观察。然而，这一过程要求临床医生收集和分析数据，识别问题行为，进行模式分析以分类和预测分类结果，假设对治疗的反应性，并检测治疗计划的效果，从而使ABA负担过重。将数字技术成功整合到临床决策流程中，以及使用人工智能（AI）算法在自动决策方面的进步，凸显了使用新型算法和高保真传感器增强教学和治疗的重要性。在本文中，我们提出了一个AI增强学习和应用行为分析（AI-ABA）平台，为AUIDD个体提供个性化的治疗和学习计划。通过定义系统实验以及自动化数据汇集和分析，AI-ABA可以使用基于增强或虚拟现实和其他移动平台来促进自我调节行为。因此，AI-ABA可以帮助临床医生专注于做出精确的数据驱动决策，并提高AUIDD患者个性化干预的质量。
2021-06-28 cs.AI cs.CY
Instruction Tuning with and without Context: Behavioral Shifts and Downstream Impact
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Adobe Research（Adobe研究）；KAIST AI（韩国科学技术院人工智能实验室）；Mila – Quebec AI Institute（魁北克人工智能研究所）；NAVER Cloud AI（NAVER云人工智能）
本文研究了指令微调中带上下文与不带上下文对模型行为和下游性能的影响，发现上下文增强训练能提升模型基础性并减少幻觉，同时提出在实际部署中分离上下文模型以获得更稳健的性能。
2026-01-08 cs.AI cs.CL
Extrinsicaly Rewarded Soft Q Imitation Learning with Discriminator
Kanazawa University（金泽大学）
针对少量数据下模仿学习的分布偏移与交互成本问题，提出结合对抗逆强化学习奖励的DSQIL算法，在SQIL基础上提升鲁棒性与效率，并在MuJoCo环境完成评估。
2024-01-30 cs.AI cs.LG
ReCollab: Retrieval-Augmented LLMs for Cooperative Ad-hoc Teammate Modeling
Department of Electrical and Computer Engineering, University of Texas at San Antonio（电子与计算机工程系，德克萨斯大学圣安东尼奥分校）
ReCollab通过检索增强生成技术提升即兴团队合作中队友行为建模的适应性与准确性。
2025-12-05 cs.AI cs.LG cs.MA
Guided Exploration with Proximal Policy Optimization using a Single Demonstration
Universitat Pompeu Fabra（庞培法布拉大学）；ICREA（加泰罗尼亚研究与高等教育机构）
通过探索解决稀疏奖励任务是深度强化学习的主要挑战之一，特别是在三维，部分可观察的环境中。重要的是，本文提出的算法使用单个人类演示来解决难以探索的问题。我们训练一个结合示范和自己的经验来解决可变初始条件的问题的代理。我们采用这种思想，并将其与近端策略优化（PPO）。智能体能够通过重放自己过去的轨迹来提高性能，并根据获得的奖励和轨迹的最大值对它们进行优先级排序，从而解决更困难的问题。我们将该算法的不同变体与动物AI奥运会环境中的一组硬探索任务的行为克隆进行了比较。据我们所知，在三维环境中学习一项具有可比难度的任务之前，从未考虑过只使用一个人类演示。
2021-06-16 cs.AI
Data-Driven Simulation of Ride-Hailing Services using Imitation and Reinforcement Learning
University of Moratuwa（莫拉图瓦大学）
网约车平台的快速增长创造了一个竞争激烈的市场，企业难以盈利，需要更好的运营策略。然而，对于这些平台来说，现实世界的实验是有风险和昂贵的，因为它们每天都要处理数百万用户。因此，需要一个模拟的环境，他们可以预测用户的反应，在平台特定的参数，如旅行费用和奖励的变化。构建这样的模拟是具有挑战性的，因为这些平台存在于动态环境中，成千上万的用户经常相互交互。本文提出了一个框架来模拟和预测用户，特别是司机，在乘车服务的行为。为此，我们使用了数据驱动的混合强化学习和模仿学习方法。首先，该代理利用行为克隆来模仿驾驶员的行为，使用真实世界的数据集。接下来，强化学习应用于模拟环境中预先训练的代理之上，以使它们能够适应平台中的变化。我们的框架为网约车平台提供了一个理想的平台，可以实验平台特定的参数来预测驾驶员的行为模式。
2021-04-06 cs.AI cs.LG
Decision Making for Autonomous Driving via Augmented Adversarial Inverse Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）；Zenseact（森赛克特）；Chalmers University of Technology（查尔姆斯理工大学）；Peking University（北京大学）；Google Research（谷歌研究院）
对于自主智能体来说，在复杂的驾驶环境中做出决策是一项具有挑战性的任务。模仿学习方法在实现这一目标方面具有巨大的潜力。对抗性逆强化学习（AIRL）是一种最先进的模仿学习方法，它可以同时学习行为策略和奖励函数，但它只在没有引入交互的简单静态环境中演示。在本文中，我们通过在学习框架中增加语义奖励来提高和稳定AIRL的性能。此外，我们还将增强的AIRL适应于自动驾驶高度互动环境中更实用和更具挑战性的决策任务。所提出的方法与四个基线进行比较，并通过四个性能指标进行评估。仿真结果表明，增强的AIRL优于所有的基线方法，其性能与专家的四个指标。
2021-03-26 cs.AI cs.LG
SPADE: Sketch-guided Path Planning Augmented with Diffusion Experts
IDEALworks GmbH；IMT Atlantique；IDEALworks GmbH & Saint Joseph University of Beirut（IDEALworks GmbH及贝鲁特圣约瑟夫大学）
提出一种结合扩散增强的框架，通过改进的标注工具和训练策略，在保持实时性的同时提升路径规划的泛化能力和鲁棒性，显著降低姿态误差和FID。
2026-06-02 cs.AI cs.RO
Model-based Offline Imitation Learning with Non-expert Data
UCLA（加州大学洛杉矶分校）
尽管行为克隆（BC）在理论上存在复合错误，但其可扩展性和简单性仍然使其成为一种有吸引力的模仿学习算法。相比之下，对抗性训练的模仿方法通常没有相同的问题，但需要与环境进行交互。同时，大多数模仿学习方法只利用最佳数据集，这可能比其次优对应物更昂贵。出现的一个问题是，我们能否以原则性的方式利用次优数据集，否则这些数据集将是空闲的？我们提出了一个可扩展的基于模型的离线模仿学习算法框架，该框架利用次优和最优策略收集的数据集，并表明其最坏情况下的次优性在时间范围内与专家样本成线性关系。我们的实验验证了我们的理论结果，并表明，所提出的方法\textit{always}优于BC在低数据制度的模拟连续控制域
2022-06-11 cs.AI cs.LG
Combating the effects of speed and delays in end-to-end self-driving
University of Tartu（塔尔图大学）
该研究针对端到端自动驾驶中速度差异与执行延迟影响模型性能的问题，证明高低速驾驶是不同任务，提出通过修改目标标签抵消延迟影响，并在1:10微型车实验验证，思路可推广至更广泛自动驾驶场景。
2023-12-06 cs.AI cs.CV cs.RO
Conditional Kernel Imitation Learning for Continuous State Environments
University of Southern California（南加州大学）；University at Albany, SUNY（纽约州立大学奥尔巴尼分校）
针对连续状态空间下无环境交互、无奖励与动力学信息的模仿学习难题，提出基于条件核密度估计与马尔可夫平衡方程的框架，证明其渐近一致性，实验显示性能优于多种主流IL算法。
2023-08-24 cs.AI cs.LG
PersonaDrive: Human-Style Retrieval-Augmented VLA Agents for Closed-Loop Driving Simulation
University of California, Irvine（加利福尼亚大学尔湾分校）
提出PersonaDrive流水线，通过检索风格指令下的人类驾驶演示来调节视觉-语言-动作（VLA）驾驶智能体，实现闭环模拟中多样化的非自车智能体行为，无需针对每种风格重新训练。
2026-11-10 cs.AI cs.CL
Backplay: "Man muss immer umkehren"
NYU（纽约大学）；FAIR（Facebook人工智能研究院）
无模型强化学习（RL）需要大量的试验来学习一个好的策略，特别是在奖励稀疏的环境中。我们探索一种方法，以提高样本效率时，我们有机会示范。我们的方法，Backplay，使用一个单一的演示来构建一个给定任务的课程。我们不是在环境的固定初始状态下开始每个训练片段，而是在演示结束时启动智能体，并在训练过程中向后移动起点，直到我们到达初始状态。我们的贡献是，我们分析了Backplay可以提高训练速度的环境类型，证明了Backplay在大型网格世界和复杂的四人零和游戏（Pommerman）中的有效性，并表明Backplay与其他已知的提高样本效率的竞争方法相比是有利的。这包括奖励塑造、行为克隆和反向课程生成。
2022-04-21 cs.AI cs.LG stat.ML
Imitation Learning from MPC for Quadrupedal Multi-Gait Control
ETH Zürich（苏黎世联邦理工学院）
我们提出了一个学习算法训练一个单一的政策，模仿步行机器人的多个步态。为了实现这一目标，我们使用并扩展了MPC-Net，这是一种由模型预测控制（MPC）指导的模仿学习方法。MPC网络的策略不同于许多其他方法，因为它的目标是最小化控制哈密顿量，这是从最优性原理推导出来的。为了表示的政策，我们采用了混合专家网络（MEN），并观察到，如果MEN的每个专家专门控制一个模式的混合动力系统，如步行机器人的政策的性能提高。我们引入新的损失函数的单步态和多步态的政策，以实现这种专家选择行为。此外，我们基准测试我们的算法对行为克隆和原始MPC实现在各种粗糙的地形场景。我们验证了我们的方法在硬件上，并表明，一个单一的学习策略可以取代它的老师来控制多个步态。
2021-03-26 cs.AI cs.RO cs.SY
