Tiny Reinforcement Learning for Quadruped Locomotion using Decision Transformers
Harvard University（哈佛大学）
本文提出用决策变换器结合专家演示与自定义奖励进行模仿学习，并通过量化和剪枝压缩模型，使四足机器人Bittle在资源受限平台上实现自然步态且模型体积减少约30%。
2024-02-20 cs.AI cs.LG cs.RO
Towards Learning to Imitate from a Single Video Demonstration
Université de Montréal（蒙特利尔大学）；Mila Quebec AI Institute（米拉魁北克人工智能研究所）；Polytechnique Montréal（蒙特利尔理工学院）；ServiceNow Research（ServiceNow研究院）
针对仅凭视频观察且无状态动作信息的模仿学习问题，提出基于 Siamese 循环网络的对比奖励学习方法，并用多任务数据和图像编码损失提升效果，在多种二维、三维模拟运动体上超过现有方法。
2023-07-12 cs.LG cs.RO stat.ML
Domain Adaptive Imitation Learning
Stanford University（斯坦福大学）；Tsinghua University（清华大学）
我们研究的问题是如何模仿任务跨域的差异，如体现，观点和动态不匹配。许多以前的工作需要成对的，对齐的演示和一个额外的RL步骤，需要环境交互。然而，成对的，对齐的演示很少获得，RL程序是昂贵的。我们形式化的域自适应模仿学习（DAIL）问题，这是一个统一的框架，模仿学习的观点，实施例，和动态失配的存在。非正式地说，DAIL是学习如何最佳地执行任务的过程，在不同的领域中演示任务。我们提出了一个两步的方法DAIL：调整后的适应。在对齐步骤中，我们执行一种新的无监督MDP对齐算法，生成对抗MDP对齐（GAMA），从\emph{unpaired, unaligned}演示中学习状态和动作对应关系。在自适应步骤中，我们利用对应关系来跨域zero-shot模仿任务。为了描述DAIL通过对齐和自适应的可行性，我们引入了MDP可扩展性理论。我们的实验评估GAMA对基线的实施例，观点和动态不匹配的情况下，对齐的演示不存在，并显示我们的方法的有效性。
2020-07-18 cs.AI cs.LG stat.ML
Cross-Domain Transfer via Semantic Skill Imitation
University of Southern California（南加州大学）；Meta AI；KAIST（韩国科学技术院）；Georgia Tech（佐治亚理工学院）
我们提出了一种语义模仿的方法，该方法使用来自源域的演示，例如人类视频，以加速不同目标域中的强化学习（RL），例如模拟厨房中的机器人机械手。我们的方法不是模仿关节速度等低级别动作，而是模仿“打开微波炉”或“打开炉子”等语义技能的序列。这使我们能够跨环境（例如从真实世界到模拟厨房）和代理实施例（例如从双手人类演示到机器人手臂）转移演示。我们评估了三个具有挑战性的跨域学习问题，并匹配了需要域内演示的演示加速RL方法的性能。在模拟的厨房环境中，我们的方法学习长视野机器人操作任务，使用不到3分钟的人类视频演示，从现实世界的厨房。这使得能够通过重复使用演示来缩放机器人学习，例如，作为人类视频收集，以用于在任何数量的目标域中学习。
2022-12-14 cs.LG cs.RO
Imitate then Transcend: Multi-Agent Optimal Execution with Dual-Window Denoise PPO
University of California Berkeley（加州大学伯克利分校）；University of Waterloo（滑铁卢大学）；University of Toronto（多伦多大学）；Columbia University（哥伦比亚大学）
提出了一种基于模仿的强化学习（RL）求解最优执行和布局问题的新框架。从建议的框架中训练的RL代理在执行成本方面始终优于行业基准时间加权平均价格（TWAP）策略，并且在样本外的交易日期和报价机上表现出很大的泛化能力。令人印象深刻的表现来自三个方面。首先，我们的RL网络架构称为双窗口去噪PPO，能够在嘈杂的市场环境中实现有效的学习。其次，设计了一个具有模仿学习的奖励方案，并研究了一组全面的市场特征。第三，我们灵活的动作公式允许RL代理共同解决最佳执行和放置，从而比单独解决单个问题带来更好的性能。RL代理的性能进行了评估，在我们的多代理现实的历史限价委托书模拟器中，价格的影响进行了准确的评估。此外，还进行了消融研究，证实了我们框架的优越性。
2022-06-21 cs.AI cs.LG q-fin.CP
Imitator Learning: Achieve Out-of-the-Box Imitation Ability in Variable Environments
Nanjing University（南京大学）；National University of Defense Technology（国防科技大学）；Nanjing University of Science and Technology（南京理工大学）
针对可变环境下少量演示即可完成多任务模仿的需求，提出模仿者学习新课题与DAAC算法，结合强化学习正则化与演示注意力架构，仅用单条演示即可生成适配未见任务与环境变化的策略，性能显著优于现有方法。
2023-10-09 cs.LG
Metric-Based Imitation Learning Between Two Dissimilar Anthropomorphic Robotic Arms
Ben-Gurion University of the Negev（内盖夫本-古里安大学）；Technical University Darmstadt（达姆施塔特工业大学）
自主机器人系统的发展，可以从人类的示范学习模仿所需的行为-而不是手动编程-具有巨大的技术潜力。模仿学习中的一个主要挑战是对应问题：当主体的具体化（形态、动力学、自由度等）不同时，如何在专家和学习者之间建立对应的状态和动作。现有的许多模仿学习方法，如动觉教学或遥操作，都是在机器人上进行的。在这项工作中，我们明确地解决对应问题，通过引入不同的实施例之间的距离测量。然后，该度量被用作静态姿势模仿的损失函数，并在无模型深度强化学习框架内用作反馈信号，用于仿真中两个拟人机器人手臂之间的动态运动模仿。我们发现，该措施是非常适合于描述实施例之间的相似性和学习模仿政策的距离最小化。
2020-02-25 cs.LG cs.RO stat.ML
In-between Motion Generation Based Multi-Style Quadruped Robot Locomotion
Adaptive Robotic Controls Lab (Arclab), Department of Mechanical Engineering, The University of Hong Kong（适应性机器人控制实验室（Arclab）、机械工程系、香港大学）
针对四足机器人参考运动数据多样性受限的问题，提出基于中间运动生成的多风格运动框架，利用CVAE生成器合成满足物理约束的多步态运动序列，并基于生成数据训练模仿策略，在真实机器人上验证了速度跟踪与部署稳定性的显著提升。
2025-08-10 cs.RO
Multi-Agent Generative Adversarial Imitation Learning
Stanford University（斯坦福大学）
模仿学习算法可用于从专家演示中学习策略，而无需访问奖励信号。然而，大多数现有的方法是不适用于多智能体设置由于存在多个（纳什）均衡和非平稳环境。我们提出了一个新的框架，多智能体模仿学习一般马尔可夫游戏，在那里我们建立在广义逆强化学习的概念。我们进一步介绍了一个实用的多代理actor-critic算法具有良好的经验性能。我们的方法可以用来模仿复杂的行为在高维环境中的多个合作或竞争代理。
2018-07-26 cs.AI cs.LG cs.MA
Generative Adversarial Self-Imitation Learning
University of Michigan（密歇根大学）；Google Brain（谷歌大脑）
本文通过提出生成对抗自模仿学习（GASIL）来探索一种简单的强化学习正则化器，该正则化器通过生成对抗模仿学习框架来鼓励智能体模仿过去的良好轨迹。GASIL不是直接最大化奖励，而是专注于再现过去的良好轨迹，这可能会在奖励稀疏和延迟时使长期信用分配更容易。GASIL可以很容易地与任何策略梯度目标相结合，通过使用GASIL作为一个学习成形的奖励函数。我们的实验结果表明，GASIL提高了近端策略优化的性能在2D点质量和MuJoCo环境延迟奖励和随机动态。
2018-12-03 cs.AI cs.LG stat.ML
MAAIP: Multi-Agent Adversarial Interaction Priors for imitation from fighting demonstrations for physics-based characters
Inria（法国国家信息与自动化研究所）；IRISA（法国信息与自动化研究实验室）；University of Rennes（雷恩大学）；University Rennes 2（雷恩第二大学）；M2S（运动、运动学与健康实验室）
针对多角色交互模仿难题，提出基于多智能体生成对抗模仿学习的MAAIP方法，利用单角色与少量交互数据集训练策略，实现保留风格的多角色格斗交互模仿，在两种格斗风格上验证了有效性。
2023-11-04 cs.AI cs.CV cs.GR
AcL: Action Learner for Fault-Tolerant Quadruped Locomotion Control
National University of Singapore（新加坡国立大学）
本文提出AcL，一种基于教师-学生强化学习的框架，通过风格奖励和策略蒸馏，使四足机器人在多关节故障下自主调整步态，实现稳定行走和容错控制。
2025-03-28 cs.LG cs.RO cs.SY
Action Advising with Advice Imitation in Deep Reinforcement Learning
Queen Mary University of London（伦敦玛丽女王大学）
行动建议是一种基于师生范式的对等知识交换技术，用于缓解深度强化学习中的样本效率低下问题。最近提出的学生发起的方法已经取得了可喜的成果。但是，由于处于发展的早期阶段，这些也有一些实质性的缺点。在当前方法中缺乏的能力之一是通过重用进一步利用建议，这在考虑对等网络中的预算和成本约束的实际环境中尤其重要。在这项研究中，我们提出了一种方法，使学生代理模仿以前获得的意见，直接在其探索政策，没有任何干预的学习机制本身重用。特别是，我们采用了一个行为克隆模块来模仿教师的政策，并使用辍学正规化有一个概念的认识不确定性，以跟踪哪些国家的建议对实际收集。正如我们在三款Atari游戏中进行的实验结果所示，通过泛化进行建议重用确实是深度RL中的一个可行选择，我们的方法可以成功实现这一点，同时显着提高学习性能，即使与简单的早期建议启发式配对。
2021-04-17 cs.AI cs.LG
Learning Representative Trajectories of Dynamical Systems via Domain-Adaptive Imitation
German Aerospace Center (DLR)（德国航空航天中心（DLR））
本文提出深度强化学习智能体 DATI，利用循环一致生成对抗方法实现领域自适应轨迹模仿，并在合成轨迹与海上交通异常检测中验证其优势与泛化性。
2023-04-19 cs.AI cs.LG cs.RO
Do Not Imitate, Reinforce: Iterative Classification via Belief Refinement
本文提出RIC方法，通过强化学习替代传统模仿目标，实现迭代分类，提升预测校准性和计算分配能力。
2026-04-23 cs.LG
SQIL: Imitation Learning via Reinforcement Learning with Sparse Rewards
Department of Electrical Engineering and Computer Science（电气工程与计算机科学系）；University of California, Berkeley（加州大学伯克利分校）
从演示中学习模仿专家行为可能具有挑战性，特别是在高维、连续观测和未知动态的环境中。基于行为克隆（BC）的监督学习方法遭受分布偏移：由于代理大量模仿演示的动作，它可能由于误差积累而偏离演示的状态。最近的基于强化学习（RL）的方法，如逆RL和生成对抗模仿学习（GAIL），通过训练RL代理来在长时间内匹配演示来克服这个问题。由于任务的真实奖励函数是未知的，这些方法从演示中学习奖励函数，通常使用复杂而脆弱的近似技术，包括对抗训练。我们提出了一个简单的替代方案，仍然使用RL，但不需要学习奖励函数。关键的想法是提供一个激励，以配合演示在一个较长的地平线上，通过鼓励它返回演示状态后，遇到新的，分布外的国家。我们通过给智能体一个恒定的奖励r=+1来匹配演示状态中的演示动作，并为所有其他行为提供一个恒定的奖励r=0来实现这一点。我们的方法，我们称之为软Q模仿学习（SQIL），可以通过对任何标准Q学习或非策略行为者-批评者算法进行少量修改来实现。从理论上讲，我们表明，SQIL可以被解释为一个正则化的BC的变体，使用稀疏性之前，鼓励长期的模仿。从经验上讲，我们表明，SQIL优于BC和GAIL相比，在Box 2D，Atari和MuJoCo的各种基于图像和低维的任务，取得了有竞争力的结果。
2019-09-25 cs.LG stat.ML
Active-GRPO: Adaptive Imitation and Self-Improving Reasoning for Molecular Optimization
School of Medicine, Stanford University（斯坦福大学医学院）；Data Science Institute, University of Chicago（芝加哥大学数据科学研究所）；Pritzker School of Molecular Engineering, University of Chicago（芝加哥大学普利兹克分子工程学院）；Department of Computer Science, University of Chicago（芝加哥大学计算机科学系）；Argonne National Laboratory（阿贡国家实验室）
提出Active-GRPO方法，通过主动模仿-强化和主动参考机制，在分子优化中自适应平衡模仿与自我改进，显著提升性能。
2026-07-02 cs.AI cs.LG q-bio.BM
Learning Agile Skills via Adversarial Imitation of Rough Partial Demonstrations
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；ETH Zurich（苏黎世联邦理工学院）
学习敏捷技能是机器人技术的主要挑战之一。为此，强化学习方法已经取得了令人印象深刻的结果。这些方法需要明确的任务信息的奖励函数或专家，可以在模拟中查询，以提供一个目标控制输出，这限制了它们的适用性。在这项工作中，我们提出了一种生成对抗方法，用于从部分和潜在的物理不兼容的演示中推断奖励函数，以获得成功的技能，其中参考或专家演示不容易获得。此外，我们表明，通过使用Wasserstein GAN制定和过渡的示范与粗糙和部分信息作为输入，我们能够提取的政策，是强大的，能够模仿演示的行为。最后，所获得的技能，如后空翻进行了测试，一个敏捷的四足机器人称为独奏8和目前的忠实复制的手持人类示范。
2022-11-21 cs.AI cs.LG cs.RO
Imitation by Predicting Observations
DeepMind（深度思维）
模仿学习使智能体能够重用和适应他人来之不易的专业知识，为学习行为中的几个关键挑战提供了解决方案。虽然在现实世界中很容易观察到行为，但底层操作可能无法访问。我们提出了一种新的方法，模仿完全从观察，实现具有挑战性的连续控制任务的专家相当的性能，同时也表现出鲁棒性的存在下，观察无关的任务。我们的方法，我们称之为FORM（“未来观察奖励模型“）是从反向RL目标中推导出来的，并使用通过专家观察的生成模型学习的专家行为模型进行模仿，而不需要地面实况操作。我们表明，FORM在DeepMind Control Suite基准测试中的表现优于强基线IRL方法（GAIL），同时在存在与任务无关的功能时优于GAIL。
2021-07-08 cs.AI cs.LG
CARL: Controllable Agent with Reinforcement Learning for Quadruped Locomotion
Inventec Corp.（英业达公司）；Skywatch Innovation Inc.（天观创新公司）
动态环境中的运动合成一直是角色动画的一个长期问题。使用运动捕捉数据的方法往往在复杂的环境中伸缩性差，因为他们更大的捕捉和标记的要求。基于物理的控制器在这方面是有效的，尽管可控性较低。在本文中，我们提出了CARL，一个四足动物代理，可以控制与高层次的指令和自然反应的动态环境。从一个可以模仿单个动画片段的代理开始，我们使用生成对抗网络来适应高级控制，如速度和航向，以对应于原始动画的动作分布。通过深度强化学习的进一步微调，使智能体能够从看不见的外部扰动中恢复，同时产生平滑的过渡。然后，通过在整个过程中添加导航模块，在动态环境中创建自主智能体变得简单明了。我们评估我们的方法，通过测量代理的能力，遵循用户的控制，并提供一个可视化的分析所产生的运动，以显示其有效性。
2021-01-05 cs.GR cs.LG stat.ML
Sample Efficient Imitation Learning via Reward Function Trained in Advance
Soochow University（苏州大学）；Jilin University（吉林大学）
模仿学习（IL）是一种从演示中学习模仿专家行为的框架。最近，IL在高维和控制任务上显示出很好的结果。然而，IL通常遭受样本效率低的环境相互作用，这严重限制了他们的应用程序模拟域。在工业应用中，学习者通常具有较高的交互成本，与环境交互越多，对环境和学习者自身造成的损害就越大。在这篇文章中，我们努力提高样本效率，通过引入一种新的计划，逆强化学习。我们的方法，我们称之为\textit{Model Reward Function Based Imitation Learning}（MRFIL），使用一个集成的动态模型作为奖励函数，什么是训练与专家演示。关键的想法是提供一个激励代理匹配的演示在一个较长的地平线上，通过提供一个积极的奖励遇到符合专家演示分布的状态。此外，我们证明了新的目标函数的收敛保证。实验结果表明，我们的算法达到了竞争的性能，并显着减少环境的相互作用相比IL方法。
2021-11-23 cs.LG
Regularized Soft Actor-Critic for Behavior Transfer Learning
Ubisoft（育碧）
现有的模仿学习方法主要集中在使智能体有效地模仿被演示的行为，但没有解决行为风格与任务目标之间的潜在矛盾。目前普遍缺乏有效的方法，允许代理在不同程度上部分模仿演示的行为，同时完成任务的主要目标。在本文中，我们提出了一种方法称为正则化软Actor-Critic的约束马尔可夫决策过程框架（CMDP）下制定的主要任务和模仿任务。主任务被定义为最大熵的目标中使用的软演员批评（SAC）和模仿任务被定义为一个约束。我们评估我们的方法对视频游戏应用程序相关的连续控制任务。
2022-09-27 cs.LG
Efficient Offline Reinforcement Learning: First Imitate, then Improve
University of Edinburgh（爱丁堡大学）；Microsoft Research Cambridge（微软研究院剑桥分部）
本文提出了一种结合监督学习和离策略强化学习的方法，通过预训练提升离策略算法的效率和稳定性。
2025-12-28 cs.LG
Explosive Jumping with Rigid and Articulated Soft Quadrupeds via Example Guided Reinforcement Learning
Cognitive Robotics, Delft University of Technology（德鲁夫特理工大学认知机器人实验室）；Department of Computer Science, University of Manchester（曼彻斯特大学计算机科学系）；Department of Industrial Engineering, University of Trento（特伦托大学工业工程系）；Institute of Robotics and Mechatronics, German Aerospace Center (DLR)（德国航空航天中心机器人与机电一体化研究所）
本文提出基于示例引导的深度强化学习方法，通过模仿轨迹优化示例并渐进训练，使刚性与并联弹性四足机器人实现多方向、可变距离的鲁棒跳跃，显著降低着陆误差、能耗和峰值扭矩。
2025-08-26 cs.RO
SeMAIL: Eliminating Distractors in Visual Imitation via Separated Models
Nanjing University（南京大学）
针对视觉模仿学习中移动干扰物导致性能下降的问题，提出SeMAIL算法，将环境动态按任务相关性解耦并分别训练，在复杂及背景差异大的视觉控制任务上达到接近专家水平。
2023-06-19 cs.AI cs.CV cs.LG
Discriminator-Actor-Critic: Addressing Sample Inefficiency and Reward Bias in Adversarial Imitation Learning
Courant Institute of Mathematical Sciences, New York University（纽约大学柯朗数学科学研究所）；Google Brain（谷歌大脑）
我们确定了两个问题的基础上的对抗性模仿学习框架的算法的家庭。第一个问题是这些算法中使用的奖励函数中存在的隐式偏差。虽然这些偏见可能在某些环境中工作得很好，但它们也可能导致其他环境中的次优行为。其次，即使这些算法可以从一些专家演示中学习，它们也需要与环境进行大量的交互，以便在许多现实世界的应用中模仿专家。为了解决这些问题，我们提出了一种名为Discriminator-Actor-Critic的新算法，该算法使用非策略强化学习将策略-环境交互样本复杂度降低了10倍。此外，由于我们的奖励函数被设计为无偏的，我们可以将我们的算法应用于许多问题，而无需进行任何特定于任务的调整。
2018-10-15 cs.LG stat.ML
Residual Force Control for Agile Human Behavior Imitation and Extended Motion Synthesis
Robotics Institute（机器人学院）；Carnegie Mellon University（卡内基梅隆大学）
强化学习通过从运动捕捉数据中学习类人控制策略，在合成逼真的人类行为方面表现出很大的潜力。然而，要重现像芭蕾舞这样复杂的人类技能，或者稳定地模仿具有复杂过渡的长期人类行为，仍然非常具有挑战性。主要困难在于类人模型和真实人之间的动力学失配。也就是说，真实人类的运动对于类人模型在物理上可能是不可能的。为了克服动态失配，我们提出了一种新的方法，剩余力控制（RFC），增加了一个人形控制策略，通过添加外部剩余力到动作空间。在训练过程中，基于RFC的策略学习向人形机器人施加残余力，以补偿动力学失配并更好地模仿参考运动。广泛的动态运动的实验表明，我们的方法优于国家的最先进的方法在收敛速度和学习运动的质量。值得注意的是，我们展示了一个由RFC授权的基于物理的虚拟角色，可以执行高度敏捷的芭蕾舞动作，如旋转，阿拉伯式和jeté。此外，我们提出了一个双策略控制框架，其中运动学策略和基于RFC的策略协同工作，在没有任何任务指导或用户输入的情况下合成多模态无限时域人体运动。我们的方法是第一个成功地从大规模人体运动数据集（Human3.6M）中学习并生成各种长期运动的人形控制方法。代码和视频可在https://www.ye-yuan.com/rfc上获得。
2020-10-22 cs.CV cs.GR cs.LG
Distilled Thompson Sampling: Practical and Efficient Thompson Sampling via Imitation Learning
Columbia Business School（哥伦比亚大学商学院）；Meta
提出基于模仿学习的蒸馏汤普森采样算法，将TS策略蒸馏为显式策略，实现低延迟决策并成功部署于Meta视频系统，显著提升视频质量与观看时间。
2024-07-22 cs.AI cs.LG
Co-Imitation Learning without Expert Demonstration
针对专家示范难以获取的问题，本文提出 CoIL 框架，让两个智能体交替探索并依据价值函数预期增益筛选同伴经验进行选择性模仿，实验表明其无需外部监督即可显著提升性能。
2023-07-23 cs.AI cs.LG
Learning Neural Parsers with Deterministic Differentiable Imitation Learning
Carnegie Mellon University（卡内基梅隆大学）
我们探讨的问题，学习空间任务分解成几个部分，例如一个绘画机器人覆盖一个大的对象的问题。受经典决策树算法构造其输入空间的结构化分区的能力的启发，我们将对象分解为段的问题制定为解析方法。我们认为，将对象分解为段的解析树的推导非常类似于由ID 3构造的决策树，这可以在地面实况可用时完成。我们学习模仿专家解析神谕，这样我们的神经解析器就可以概括为在没有地面事实的情况下解析自然图像。我们引入了一种新的确定性策略梯度更新，DRAG（即，以AggreVaTeD的确定性actor-critic变体的形式，来训练我们的神经解析器。从另一个角度来看，我们的方法是一个适合模仿学习设置的确定性策略梯度的变体。通过使用DRAG训练我们的神经解析器所提供的确定性策略表示使其能够超越最先进的模仿和强化学习方法。
2018-09-19 cs.AI cs.CV cs.LG
Uncertainty-Based Smooth Policy Regularisation for Reinforcement Learning with Few Demonstrations
Department of Statistics（统计系）；Warwick Manufacturing Group University of Warwick（沃里克大学沃里克制造集团）
提出SPReD框架，通过集成方法量化不确定性，在少示范强化学习中实现连续且与不确定性成正比的模仿正则化，显著降低梯度方差并在复杂机器人任务中取得最高14倍的性能提升。
2025-10-31 cs.AI cs.LG cs.RO
Imitation Learning via Focused Satisficing
Department of Computer Science, University of Illinois Chicago（伊利诺伊大学芝加哥分校计算机科学系）；Department of Computer Science, Cornell University（康奈尔大学计算机科学系）
针对模仿学习假设示范接近最优的局限，提出聚焦满意化方法，利用基于间隔的目标引导深度强化学习，使策略超越示范者期望水平，实验证明其能更好模仿高质量示范并提高可接受性。
2025-05-25 cs.AI cs.LG
Cross-domain Imitation from Observations
University of California, Riverside（加州大学河滨分校）；Google Research（谷歌研究院）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
模仿学习试图通过利用专家行为来规避为训练代理设计适当的奖励函数的困难。随着环境建模为马尔可夫决策过程（MDP），大多数现有的模仿算法是视情况而定的专家演示在同一MDP中的一个，其中一个新的模仿政策是要学习的。本文研究了当专家和Agent MDP之间存在差异时，如何进行任务模拟的问题。这些领域之间的差异可能包括不同的动态，观点，或形态，我们提出了一个新的框架来学习这些领域之间的对应关系。重要的是，与以前的工作相比，我们使用不成对和不对齐的轨迹只包含在专家领域的状态，学习这种对应关系。我们利用状态空间和域不可知的潜在空间的周期一致性约束来做到这一点。此外，我们通过一个归一化的位置估计函数，执行一致性的状态的时间位置，在两个域的轨迹对齐。一旦找到这种对应关系，我们就可以直接将一个域上的演示转移到另一个域上，并将其用于模仿。在各种具有挑战性的领域的实验证明了我们的方法的有效性。
2021-05-20 cs.AI cs.LG
Imitating Past Successes can be Very Suboptimal
Carnegie Mellon University（卡内基梅隆大学）；UC Berkeley（加州大学伯克利分校）
先前的工作提出了一种简单的强化学习（RL）策略：用该经验中获得的结果标记经验，然后模仿重新标记的经验。这些基于结果的模仿学习方法因其简单、性能强以及与监督学习的紧密联系而备受关注。然而，目前还不清楚这些方法如何与标准RL目标，奖励最大化。在本文中，我们正式与结果条件模仿学习奖励最大化，绘制一个精确的学习政策和Q值之间的关系，并解释这些方法和以前的EM为基础的政策搜索方法之间的密切联系。该分析表明，现有的以结果为条件的模仿学习方法不一定改善策略，但是在某些假设下，简单的修改导致确实保证策略改善的方法。
2023-02-17 cs.AI cs.LG
Extrinsicaly Rewarded Soft Q Imitation Learning with Discriminator
Kanazawa University（金泽大学）
针对少量数据下模仿学习的分布偏移与交互成本问题，提出结合对抗逆强化学习奖励的DSQIL算法，在SQIL基础上提升鲁棒性与效率，并在MuJoCo环境完成评估。
2024-01-30 cs.AI cs.LG
MetaLoco: Universal Quadrupedal Locomotion with Meta-Reinforcement Learning and Motion Imitation
ETH Zürich（苏黎世联邦理工学院）
本文提出基于元强化学习与运动模仿的通用四足运动控制方法，通过记忆单元实现跨平台零样本泛化，无需微调，实验验证其有效性与适应性。
2024-11-04 cs.RO
Recruitment-imitation Mechanism for Evolutionary Reinforcement Learning
Jilin University（吉林大学）
强化学习、进化算法和模仿学习是处理连续控制任务的三种主要方法。强化学习样本效率高，但对超参数设置敏感，需要有效探索;进化算法稳定，但样本效率低;模仿学习样本效率高，但需要专家数据指导。在本文中，我们提出了招募模仿机制（RIM）的进化强化学习，一个可扩展的框架，结合了上述三种方法的优点。该框架的核心是一个双行动者和单批评强化学习代理。该代理可以从进化算法的群体中招募高适应度的演员，这指示自己从经验重放缓冲区中学习。同时，进化种群中的低适应度行为体可以模仿强化学习Agent的行为模式，提高其自适应能力。该框架中的强化学习器和模仿学习器可以用任何非策略的行动者-批评者强化学习器或数据驱动的模仿学习器来代替。我们在Mujoco中对RIM进行了一系列连续控制任务的基准测试。实验结果表明，RIM优于以前的进化或强化学习方法。RIM组件的性能明显优于以前的进化强化学习算法的组件，使用软更新的招聘使强化学习代理学习速度比使用硬更新。
2019-12-13 cs.AI cs.LG cs.NE
DEALIO: Data-Efficient Adversarial Learning for Imitation from Observation
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Army Research Laboratory（陆军研究实验室）；Sony AI（索尼AI）
在从观察IfO的模仿学习中，学习代理试图仅使用对演示行为的观察来模仿演示代理，而不访问由演示者生成的控制信号。基于对抗性模仿学习的最新方法在IfO问题上具有最先进的性能，但由于依赖于数据效率低下的无模型强化学习算法，它们通常具有高样本复杂度。这个问题使得它们在现实环境中部署不切实际，在现实环境中，收集样本可能会在时间，能源和风险方面产生高成本。在这项工作中，我们假设我们可以将基于模型的强化学习的思想与IfO的对抗方法相结合，以便在不牺牲性能的情况下提高这些方法的数据效率。具体来说，我们考虑时变线性高斯政策，并提出了一种方法，集成了线性二次调节器与路径积分政策改进到现有的对抗IfO框架。其结果是一个更有效的数据IfO算法具有更好的性能，我们在四个模拟领域的经验表明：使用少得多的与环境的相互作用，所提出的方法表现出类似或更好的性能比现有技术。
2021-03-31 cs.AI cs.LG
Offline Imitation of Badminton Player Behavior via Experiential Contexts and Brownian Motion
National Yang Ming Chiao Tung University（国立阳明交通大学）
本文提出 RallyNet，一种基于上下文马尔可夫决策过程与几何布朗运动的分层离线模仿学习模型，用于从离线羽毛球单打数据中按回合模仿运动员决策行为，并在真实数据集上验证其性能优于现有方法至少16%。
2024-08-03 cs.AI cs.LG
Adversarial Soft Advantage Fitting: Imitation Learning without Policy Optimization
Québec AI institute (Mila)（魁北克人工智能研究所（Mila））；McGill University（麦吉尔大学）；Polytechnique Montréal（蒙特利尔理工学院）；Facebook AI Research（Facebook人工智能研究院）；Element AI；Ubisoft Montreal’s La Forge R&D laboratory（育碧蒙特利尔La Forge研发实验室）
对抗性模仿学习在学习一个模型（区分专家的演示和生成的演示）和一个生成器的策略之间交替进行，以生成可以欺骗这个模型的轨迹。这种交替优化在实践中是微妙的，因为它将不稳定的对抗训练与脆弱和样本效率低下的强化学习结合在一起。我们建议通过利用一种新的策略优化公式来消除政策优化步骤的负担。具体地说，我们的迭代策略明确地以两个策略为条件：来自前一个生成器的迭代的策略和可学习的策略。当优化时，该学习器直接学习最优生成器的策略。因此，我们的更新免费解决了生成器的优化问题：学习模仿专家的策略不需要额外的优化循环。这种公式通过完全去除强化学习阶段，有效地将对抗模仿学习算法的实现和计算负担减少了一半。我们在各种任务上表明，我们更简单的方法与流行的模仿学习方法相比具有竞争力。
2021-04-16 cs.AI cs.LG stat.ML
OPT-Mimic: Imitation of Optimized Trajectories for Dynamic Quadruped Behaviors
The University of British Columbia（不列颠哥伦比亚大学）；Stanford University（斯坦福大学）
强化学习（RL）在四足机器人控制中取得了许多成功。参考运动的模仿提供了一个简单而强大的先验，用于引导解决方案朝向期望的解决方案，而不需要细致的奖励设计。虽然许多工作使用运动捕捉数据或手工制作的轨迹作为参考运动，但相对较少的工作探索了来自基于模型的轨迹优化的参考运动的使用。在这项工作中，我们调查了几个设计考虑，出现这样一个框架，通过四个动态的行为：小跑，前跳，180后空翻，和跨足。这些都是在模拟训练，并转移到物理Solo 8四足机器人没有进一步的适应。特别是，我们探索了轨迹优化器提供的前馈设计空间，以了解其对RL学习效率和仿真到现实迁移的影响。这些研究结果有助于生产机器人控制器的长期目标，结合了基于模型的优化的可解释性和精度与鲁棒性，无模型RL为基础的控制器提供。
2023-03-23 cs.RO
Multi-Modal Imitation Learning from Unstructured Demonstrations using Generative Adversarial Nets
University of Southern California（南加州大学）；Max-Planck-Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
传统上，模仿学习被应用于从单个任务的演示中学习单个任务。结构化和孤立的演示的要求限制了模仿学习方法的可扩展性，因为它们难以应用于现实世界的场景，其中机器人必须能够执行大量任务。在本文中，我们提出了一个多模态的模仿学习框架，能够分割和模仿技能，从无标记和非结构化的示范学习技能分割和模仿学习联合。大量的仿真结果表明，我们的方法可以有效地分离到个人技能的演示，并学习模仿他们使用一个单一的多模态政策。我们实验的视频可以在http://sites.google.com/view/nips17intentiongan上获得
2017-11-23 cs.LG cs.RO
Mirror Mode in Fire Emblem: Beating Players at their own Game with Imitation and Reinforcement Learning
LIACS, Leiden University（莱顿大学 LIACS）
本研究通过模仿与强化学习实现镜像模式，使敌方AI模仿玩家策略以提升玩家体验。
2025-12-10 cs.AI cs.GT cs.LG
Learning a Single Policy for Diverse Behaviors on a Quadrupedal Robot using Scalable Motion Imitation
Georgia Institute of Technology（佐治亚理工学院）；Meta Platforms, Inc.（Meta平台公司）
四足机器人学习各种运动技能是一个具有挑战性的问题，需要仔细设计特定任务的数学模型或奖励描述。在这项工作中，我们提出使用深度强化学习通过模仿大量的参考运动来学习单个有能力的策略，包括行走，转弯，踱步，跳跃，坐着和躺着。在现有的运动模仿框架之上，我们首先仔细设计了观察空间，动作空间和奖励函数，以提高学习的可扩展性以及最终策略的鲁棒性。此外，我们采用了一种新的自适应运动采样（AMS）方法，它保持了成功和不成功的行为之间的平衡。这种技术允许学习算法专注于具有挑战性的运动技能，并避免灾难性遗忘。我们证明了学习的策略可以通过成功跟踪训练数据集和分布轨迹来在模拟中表现出不同的行为。我们还通过实验验证了所提出的学习公式和自适应运动采样方案的重要性。
2023-03-27 cs.RO
KiRAS: Keyframe Guided Self-Imitation for Robust and Adaptive Skill Learning in Quadruped Robots
College of Intelligent Robotics and Advanced Manufacturing, Fudan University, China（复旦大学智能机器人与先进制造学院）
KiRAS通过关键帧引导的自我模仿学习，在复杂地形上实现多样技能的获取与过渡，无需专家数据集，提升机器人在无结构环境中的鲁棒性和适应性。
2026-03-16 cs.RO
Phase-Amplitude Reduction-Based Imitation Learning
ATR Computational Neuroscience Laboratories（ATR计算神经科学实验室）；Graduate School of Informatics, Kyoto University（京都大学信息学研究科）
本研究提出基于相位-幅度缩减的模仿学习框架，不仅可模仿极限环轨迹，还能准确复现从初始或受扰状态到极限环的瞬态运动，提供更安全的类人机器人运动生成方法。
2025-03-02 cs.LG cs.RO
Demonstrate Once, Imitate Immediately (DOME): Learning Visual Servoing for One-Shot Imitation Learning
Imperial College London（伦敦帝国理工学院）
我们提出了DOME，一种用于一次性模仿学习的新方法，其中可以从单个演示中学习任务，然后立即部署，而无需任何进一步的数据汇集或训练。DOME不需要先前的任务或对象知识，并且可以在新颖的对象配置和干扰物中执行任务。在其核心，DOME使用一个图像调节的对象分割网络，其次是一个学习的视觉伺服网络，移动机器人的末端执行器到相同的相对姿势的对象在演示过程中，之后，可以通过重放演示的末端执行器的速度来完成任务。我们表明，DOME在7个现实世界的日常任务中实现了接近100%的成功率，我们进行了几项研究，以彻底了解DOME的每个组成部分。视频和补充材料可在https://www.robot-learning.uk/dome上获得。
2022-07-27 cs.AI cs.CV cs.RO
Human Motion Control of Quadrupedal Robots using Deep Reinforcement Learning
Seoul National University（首尔国立大学）；Georgia Institute of Technology（佐治亚理工学院）
基于运动的控制界面通过将用户的直觉与机器人的运动能力相结合，保证了机器人在危险环境中的灵活操作。然而，为非人形机器人（如四足或六足机器人）设计运动接口并不简单，因为不同的动力学和控制策略支配着它们的运动。我们提出了一种新的运动控制系统，允许人类用户无缝地操作四足机器人上的各种电机任务。我们首先使用监督学习和后处理技术将捕获的人体运动重定向到具有适当语义的相应机器人运动。然后，我们将动作模仿学习与课程学习相结合，开发了一种能够跟踪给定重定向参考的控制策略。我们通过训练一组专家来进一步提高运动重定向和运动模仿的性能。正如我们所展示的，用户可以使用我们的系统执行各种运动任务，包括站立，坐着，倾斜，操纵，行走和转动，模拟和真实的四足动物。我们还进行了一组研究，以分析每个组件引起的性能增益。
2022-04-28 cs.RO
Teaching a Robot Dog New Tricks: Diverse Quadruped Skills via Combined Reinforcement and Imitation Learning with Adversarial Task Selection
University of California at Santa Cruz（加州大学圣克鲁兹分校）
本文提出结合强化学习、模仿学习与对抗性任务选择的三阶段方法，训练单一策略完成22项四足任务，在Unitree B1机器人上验证了优于基线的性能与现实鲁棒性。
2026-10-09 cs.RO
Continuous Control of Diverse Skills in Quadruped Robots Without Complete Expert Datasets
Academy for Engineering and Technology, Fudan University（复旦大学工程与技术学院）；Beijing Jingcheng Zhitong Robotics Technology Co.（北京京城智通机器人科技有限公司）；Engineering Research Center of AI and Robotics（AI与机器人工程研究中心）
提出PASIST方法，利用GASIL框架和技能选择模块，无需完整专家数据集即可让四足机器人学习多样技能并实现平滑过渡，在仿真和Solo 8机器人上验证有效。
2025-03-05 cs.RO
Zero-Shot Visual Imitation
UC Berkeley（加州大学伯克利分校）
当前模仿学习的主导范式依赖于对专家行为的强有力的监督，以学习模仿“什么”和“如何"。我们追求一种替代范式，其中代理人首先探索世界没有任何专家的监督，然后将其经验提炼成一个目标条件的技能政策与一个新的向前一致性损失。在我们的框架中，专家的作用只是传达目标（即，在推理过程中模仿什么）。然后采用所学习的策略来模仿专家（即，如何模仿）在看到一系列演示所需任务的图像后。我们的方法是“zero-shot”，在这个意义上，代理从来没有访问专家的行动在训练过程中或在推理的任务演示。我们评估我们的zero-shot模仿者在两个现实世界中的设置：复杂的绳索操作与巴克斯特机器人和导航在以前看不见的办公环境与TurtleBot。通过在VizDoom模拟中的进一步实验，我们提供了证据表明，更好的探索机制可以学习到更有能力的策略，从而提高最终任务的性能。视频、模型和更多详细信息，请访问https://pathak22.github.io/zeroshot-imitation/
2018-04-23 cs.AI cs.CV cs.LG
Generating Shared Latent Variables for Robots to Imitate Human Movements and Understand their Physical Limitations
IMT Atlantique（大西洋高等电信学院）
辅助机器人技术，特别是机器人教练可能对康复医疗非常有帮助。在这种情况下，我们提出了一种基于高斯过程潜变量模型（GP-LVM）的方法来转移物理治疗师，机器人教练和病人之间的知识。我们的模型能够将视觉人体特征映射到机器人数据，以便于机器人学习和模仿。此外，我们建议扩展该模型，以适应机器人的理解，病人的身体限制在评估康复锻炼。实验结果表明，机器人模仿和模型适应根据病人的局限性有希望的结果。
2021-11-03 cs.AI cs.CV cs.HC
Social Engagement of Children with Autism during Interaction with a Robot
ENSTA-ParisTech（巴黎高等先进技术学院）
模仿在发展中起着重要作用，是社会认知的前身之一。尽管有些自闭症儿童会自发地模仿，而其他自闭症儿童也能学会模仿，但在绝大多数情况下，模仿的动力会受到影响。现有的文献研究表明，机器人可以用来教自闭症儿童基本的互动技能，如模仿。基于这些发现，在这项研究中，我们调查了自闭症儿童在与模仿机器人（图1）互动时，与运动模仿任务中的人类伙伴相比，是否表现出更多的社会参与。
2020-02-27 cs.HC cs.RO
SENSOR: Imitate Third-Person Expert's Behaviors via Active Sensoring
National Key Laboratory for Novel Software Technology（计算机软件新技术国家重点实验室）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）
针对视觉模仿学习中智能体与第三人称专家视角错位的问题，本文提出基于模型的SENSOR框架，通过联合学习世界模型、传感器策略和运动策略实现主动视角调整，并在视觉运动任务中优于多数基线。
2024-04-04 cs.AI cs.LG cs.RO
