Domain Adaptive Imitation Learning
Stanford University（斯坦福大学）；Tsinghua University（清华大学）
我们研究的问题是如何模仿任务跨域的差异，如体现，观点和动态不匹配。许多以前的工作需要成对的，对齐的演示和一个额外的RL步骤，需要环境交互。然而，成对的，对齐的演示很少获得，RL程序是昂贵的。我们形式化的域自适应模仿学习（DAIL）问题，这是一个统一的框架，模仿学习的观点，实施例，和动态失配的存在。非正式地说，DAIL是学习如何最佳地执行任务的过程，在不同的领域中演示任务。我们提出了一个两步的方法DAIL：调整后的适应。在对齐步骤中，我们执行一种新的无监督MDP对齐算法，生成对抗MDP对齐（GAMA），从\emph{unpaired, unaligned}演示中学习状态和动作对应关系。在自适应步骤中，我们利用对应关系来跨域zero-shot模仿任务。为了描述DAIL通过对齐和自适应的可行性，我们引入了MDP可扩展性理论。我们的实验评估GAMA对基线的实施例，观点和动态不匹配的情况下，对齐的演示不存在，并显示我们的方法的有效性。
2020-07-18 cs.AI cs.LG stat.ML
Imitation Learning for Fashion Style Based on Hierarchical Multimodal Representation
JD.com American Technologies（京东美国科技）
时尚是一种复杂的社会现象。人们从专家或时尚偶像的示范中追随时尚风格。然而，对于机器智能体来说，学习模仿时装专家的示范可能是具有挑战性的，特别是对于具有高维多模态观察的环境中的复杂风格。现有的研究大多是利用监督学习的方法来模仿时尚图标的行为。这些方法受到分布偏移的影响：由于智能体大量模仿一些给定的服装演示，它可以从一种风格漂移到另一种风格，给出细微的差异。在这项工作中，我们提出了一个对抗性的逆强化学习制定恢复奖励功能的基础上，分层多模态表示（HM-AIRL）在模仿过程中。层次联合表示能更全面地对专家组合服装演示进行建模，以恢复奖励函数。我们证明了所提出的HM-AIRL模型能够恢复对多模态观测变化具有鲁棒性的奖励函数，使我们能够在不同风格之间的显著变化下学习策略。
2020-04-13 cs.CV cs.LG
One-Shot Learning of Multi-Step Tasks from Observation via Activity Localization in Auxiliary Video
University of Texas at Austin（德克萨斯大学奥斯汀分校）
由于繁重的数据要求，从演示中示教学习往往达不到其承诺，允许用户快速和自然地编程机器人。演示本身是模糊和不完整的，如果没有在不同条件下的大量演示，就很难正确概括看不见的情况。相比之下，人类通常能够通过利用一生中学习的上下文，从单个演示（通常是没有动作标签的观察）中学习复杂的任务。受此能力的启发，我们的目标是使机器人能够通过利用辅助视频数据作为上下文，从观察中执行多步任务的一次性学习。我们的主要贡献是一个新的系统，通过以下方式实现这一目标：（1）使用单个用户分段的演示来定义包括任务的原始动作，（2）经由基于元学习的方法在未分段的辅助视频中定位这些动作的附加示例，（3）使用这些附加示例来学习每个动作的奖励函数，以及（4）在所推断的奖励函数之上执行强化学习，以学习可以被组合以完成任务的动作策略。我们的经验表明，机器人可以更有效地学习多步任务时，提供辅助视频，和性能大大提高时，本地化的个人行动，从未分割的视频学习相比。
2019-04-26 cs.LG cs.RO stat.ML
Reinforcement Learning Upside Down: Don't Predict Rewards -- Just Map Them to Actions
The Swiss AI Lab, IDSIA（瑞士人工智能实验室（IDSIA））；USI（意大利语区大学）；SUPSI（瑞士南部应用科学与艺术大学）；NNAISENSE
我们将强化学习（RL）转化为监督学习（SL）的一种形式，将传统的RL颠倒过来，称为倒置RL（UDRL）。标准RL预测奖励，而UDRL则使用奖励作为任务定义输入，以及时间范围和历史和期望未来数据的其他可计算函数的表示。UDRL学习将这些输入观察解释为命令，通过SL将它们映射到过去（可能是偶然的）经验上的动作（或动作概率）。UDRL通过输入命令来实现高奖励或其他目标，例如：在最多这么多时间内获得大量奖励！关于UDRL首次实验的另一篇论文[63]表明，即使是UDRL的试点版本也可以在某些具有挑战性的RL问题上优于传统的基线算法。我们还在概念上简化了一种教机器人模仿人类的方法[60]。首先拍摄人类模仿机器人当前行为的视频，然后让机器人通过SL学习将视频（作为输入命令）映射到这些行为，然后让它概括并模仿人类执行先前未知行为的视频。这个模仿者-模仿者的概念也许可以解释为什么生物进化会导致父母模仿婴儿的牙牙学语。
2020-06-23 cs.AI cs.LG
Demonstration-Guided Reinforcement Learning with Learned Skills
University of Southern California（南加州大学）
演示引导的强化学习（RL）是一种利用奖励反馈和一组目标任务演示来学习复杂行为的有前途的方法。先前的演示引导强化学习方法将每个新任务视为独立的学习问题，并试图一步一步地遵循所提供的演示，类似于人类试图通过跟随演示者的精确肌肉运动来模仿完全看不见的行为。当然，这种学习会很慢，但通常新行为并不是完全看不见的：它们与我们以前学到的行为共享子任务。在这项工作中，我们的目标是利用这种共享的子任务结构，以提高效率的演示引导RL。我们首先从在许多任务中收集的先前经验的大型离线数据集中学习一组可重用的技能。然后，我们提出了基于技能的学习与演示（SkiLD），演示引导RL的算法，有效地利用提供的演示，通过以下演示的技能，而不是原始的动作，从而大大提高性能比以前的演示引导RL方法。我们验证了我们的方法的有效性长地平线迷宫导航和复杂的机器人操作任务。
2021-07-21 cs.AI cs.LG cs.RO
Cross-Domain Transfer via Semantic Skill Imitation
University of Southern California（南加州大学）；Meta AI；KAIST（韩国科学技术院）；Georgia Tech（佐治亚理工学院）
我们提出了一种语义模仿的方法，该方法使用来自源域的演示，例如人类视频，以加速不同目标域中的强化学习（RL），例如模拟厨房中的机器人机械手。我们的方法不是模仿关节速度等低级别动作，而是模仿“打开微波炉”或“打开炉子”等语义技能的序列。这使我们能够跨环境（例如从真实世界到模拟厨房）和代理实施例（例如从双手人类演示到机器人手臂）转移演示。我们评估了三个具有挑战性的跨域学习问题，并匹配了需要域内演示的演示加速RL方法的性能。在模拟的厨房环境中，我们的方法学习长视野机器人操作任务，使用不到3分钟的人类视频演示，从现实世界的厨房。这使得能够通过重复使用演示来缩放机器人学习，例如，作为人类视频收集，以用于在任何数量的目标域中学习。
2022-12-14 cs.LG cs.RO
SQIL: Imitation Learning via Reinforcement Learning with Sparse Rewards
Department of Electrical Engineering and Computer Science（电气工程与计算机科学系）；University of California, Berkeley（加州大学伯克利分校）
从演示中学习模仿专家行为可能具有挑战性，特别是在高维、连续观测和未知动态的环境中。基于行为克隆（BC）的监督学习方法遭受分布偏移：由于代理大量模仿演示的动作，它可能由于误差积累而偏离演示的状态。最近的基于强化学习（RL）的方法，如逆RL和生成对抗模仿学习（GAIL），通过训练RL代理来在长时间内匹配演示来克服这个问题。由于任务的真实奖励函数是未知的，这些方法从演示中学习奖励函数，通常使用复杂而脆弱的近似技术，包括对抗训练。我们提出了一个简单的替代方案，仍然使用RL，但不需要学习奖励函数。关键的想法是提供一个激励，以配合演示在一个较长的地平线上，通过鼓励它返回演示状态后，遇到新的，分布外的国家。我们通过给智能体一个恒定的奖励r=+1来匹配演示状态中的演示动作，并为所有其他行为提供一个恒定的奖励r=0来实现这一点。我们的方法，我们称之为软Q模仿学习（SQIL），可以通过对任何标准Q学习或非策略行为者-批评者算法进行少量修改来实现。从理论上讲，我们表明，SQIL可以被解释为一个正则化的BC的变体，使用稀疏性之前，鼓励长期的模仿。从经验上讲，我们表明，SQIL优于BC和GAIL相比，在Box 2D，Atari和MuJoCo的各种基于图像和低维的任务，取得了有竞争力的结果。
2019-09-25 cs.LG stat.ML
Imitator Learning: Achieve Out-of-the-Box Imitation Ability in Variable Environments
Nanjing University（南京大学）；National University of Defense Technology（国防科技大学）；Nanjing University of Science and Technology（南京理工大学）
针对可变环境下少量演示即可完成多任务模仿的需求，提出模仿者学习新课题与DAAC算法，结合强化学习正则化与演示注意力架构，仅用单条演示即可生成适配未见任务与环境变化的策略，性能显著优于现有方法。
2023-10-09 cs.LG
SQUIRL: Robust and Efficient Learning from Video Demonstration of Long-Horizon Robotic Manipulation Tasks
Columbia University Robotics Group（哥伦比亚大学机器人学小组）
深度强化学习（RL）的最新进展已经证明了其学习复杂机器人操作任务的潜力。然而，RL仍然需要机器人收集大量的真实世界经验。为了解决这个问题，最近的工作已经提出了从专家演示（LfD），特别是通过逆强化学习（IRL）的学习，因为它能够实现强大的性能，只有少量的专家演示。然而，在真实机器人上部署IRL仍然具有挑战性，因为它需要大量的机器人经验。本文的目的是解决这个可扩展性的挑战，一个强大的，采样效率高，和一般的元IRL算法，SQUIRL，执行一个新的，但相关的长期任务，鲁棒地给出了只有一个视频演示。首先，该算法使用行为克隆（BC）引导任务编码器和任务条件策略的学习。然后，它收集真实的机器人经验，并通过直接从组合的机器人和专家轨迹中恢复Q函数来绕过奖励学习。然后，该算法使用Q函数重新评估机器人收集的所有累积经验，以快速改进策略。最后，该策略在新任务上比BC执行得更健壮（90%以上的成功率），同时在测试时不需要试错。最后，我们的真实机器人和模拟实验证明了我们的算法在不同的状态空间，动作空间和基于视觉的操作任务，例如，pick-pour-place和pick-carry-drop。
2020-03-10 cs.LG cs.RO
DexMV: Imitation Learning for Dexterous Manipulation from Human Videos
University of California San Diego（加州大学圣地亚哥分校）
虽然计算机视觉在理解手-物交互方面取得了重大进展，但机器人执行复杂灵巧操作仍然非常具有挑战性。在本文中，我们提出了一个新的平台和流水线DexMV（灵巧操作视频）的模仿学习。我们设计了一个平台：（i）用于具有多指机器人手的复杂灵巧操纵任务的模拟系统，以及（ii）用于记录执行相同任务的人手的大规模演示的计算机视觉系统。在我们的新管道中，我们从视频中提取3D手部和物体姿态，并提出了一种新的演示翻译方法，将人体运动转换为机器人演示。然后，我们应用和基准多个模仿学习算法的演示。我们表明，演示确实可以大大提高机器人学习，并解决强化学习无法单独解决的复杂任务。更多细节可以在项目页面中找到：https://yzqin.github.io/dexmv
2022-07-06 cs.CV cs.LG cs.RO
MAAIP: Multi-Agent Adversarial Interaction Priors for imitation from fighting demonstrations for physics-based characters
Inria（法国国家信息与自动化研究所）；IRISA（法国信息与自动化研究实验室）；University of Rennes（雷恩大学）；University Rennes 2（雷恩第二大学）；M2S（运动、运动学与健康实验室）
针对多角色交互模仿难题，提出基于多智能体生成对抗模仿学习的MAAIP方法，利用单角色与少量交互数据集训练策略，实现保留风格的多角色格斗交互模仿，在两种格斗风格上验证了有效性。
2023-11-04 cs.AI cs.CV cs.GR
Policy Gradient from Demonstration and Curiosity
Tencent（腾讯）；Pengcheng Laboratory（鹏城实验室）
通过强化学习，智能体可以从任务的高级抽象中学习复杂的行为。然而，探索和奖励塑造对于现有方法仍然具有挑战性，特别是在外部反馈稀疏的情况下。专家演示已被调查，以解决这些困难，但大量的高质量的演示通常需要。在这项工作中，提出了一个集成的策略梯度算法，以促进探索和促进内在奖励学习，只有有限的演示。我们实现了这一点，重新制定了原来的奖励函数与两个额外的条款，其中第一项测量当前政策和专家之间的詹森-香农分歧，第二项估计代理的不确定性环境。在一系列具有稀疏外部奖励信号的模拟任务上对所提出的算法进行了评估，其中每个任务只提供一个演示轨迹，在所有任务中均表现出优越的探索效率和高的平均回报。此外，研究发现，代理人可以模仿专家的行为，同时维持高回报。
2020-06-09 cs.AI cs.LG
Co-Imitation Learning without Expert Demonstration
针对专家示范难以获取的问题，本文提出 CoIL 框架，让两个智能体交替探索并依据价值函数预期增益筛选同伴经验进行选择性模仿，实验表明其无需外部监督即可显著提升性能。
2023-07-23 cs.AI cs.LG
UNIQ: Offline Inverse Q-learning for Avoiding Undesirable Demonstrations
Singapore Management Univerisity（新加坡管理大学）
针对离线学习中避免不良示范的问题，提出基于逆Q学习框架的UNIQ算法，通过最大化学习策略与不良策略间的统计距离实现非对抗性训练，并在基准环境中优于现有基线。
2024-10-10 cs.AI cs.LG
Playing hard exploration games by watching YouTube
DeepMind（深度思维）
深度强化学习方法传统上难以处理环境奖励特别稀疏的任务。在这些领域引导探索的一种成功方法是模仿人类演示者提供的轨迹。然而，这些演示通常是在人工条件下收集的，即可以访问代理的确切环境设置以及演示者的动作和奖励轨迹。在这里，我们提出了一个两阶段的方法，克服了这些限制，依靠嘈杂的，不对齐的镜头，而无需访问这些数据。首先，我们学习使用在时间和模态（即视觉和声音）上构建的自监督目标将来自多个源的未对齐视频映射到一个共同的表示。其次，我们在这个表示中嵌入一个YouTube视频，以构建一个奖励函数，鼓励代理模仿人类游戏。这种一次性模仿的方法使我们的智能体在臭名昭著的硬探索游戏Montezuma's Revenge，Pitfall上令人信服地超过人类水平的表现！和私家侦探第一次，即使代理没有任何环境奖励。
2018-11-30 cs.AI cs.CV cs.LG
Inverse reinforcement learning for video games
UC Berkeley（加州大学伯克利分校）
深度强化学习在一系列视频游戏环境中实现了超人的性能，但需要设计师手动指定奖励函数。提供目标行为的演示通常比设计描述该行为的奖励函数更容易。逆强化学习（IRL）算法可以从低维连续控制环境中的演示中推断出奖励，但将IRL应用于高维视频游戏的工作很少。在我们的CNN-AIRL基线中，我们修改了最先进的对抗IRL（AIRL）算法，将CNN用于生成器和迭代器。为了稳定训练，我们将奖励标准化，并增加训练数据集的大小。我们还学习了一个低维的状态表示使用一种新的自动编码器架构调整为视频游戏环境。这种嵌入被用作奖励网络的输入，提高了专家演示的样本效率。我们的方法在简单的Catcher视频游戏上实现了高水平的性能，大大优于CNN-AIRL基线。我们还在Enduro Atari赛车游戏上得分，但与专家性能不匹配，突出了进一步工作的必要性。
2018-10-24 cs.AI cs.LG stat.ML
Learning to Run with Potential-Based Reward Shaping and Demonstrations from Video Data
JetBrains Research（JetBrains研究院）；National Research University Higher School of Economics（国家研究型高等经济大学）；University of York（约克大学）
从头开始学习为人形机器人产生有效的运动行为是一个难题，正如NIPS 2017年的“学习跑步”比赛所说明的那样。这项比赛的目标是训练一个两条腿的人形身体模型，在模拟的跑道上以最快的速度奔跑。所有提交的材料都采用了一种白板方法来进行强化学习（RL），并且能够产生相对较快但不是最佳的运行行为。在本文中，我们演示了如何使用来自人类跑步视频（例如从YouTube上获取）的数据来塑造人形学习代理的奖励，以加快学习并产生更好的结果。具体来说，我们使用身体关键部位在固定时间间隔的位置来定义基于潜力的奖励塑造（PBRS）的潜力函数。由于PBRS不会改变最优策略，因此这种方法允许RL代理克服视频中显示的人体运动中的次优性。我们目前的实验中，我们结合了选定的技术，从NIPS竞争的十大方法与进一步优化，以创建一个高性能的代理作为基线。然后，我们展示了基于视频的奖励塑造如何进一步提高性能，从而使RL代理在12小时的训练中运行速度是基线的两倍。我们还表明，我们的方法可以克服视频中的次优运行行为，学习到的策略显着优于视频中运行代理的策略。
2020-12-16 cs.CV cs.LG cs.RO
Sample Efficient Imitation Learning via Reward Function Trained in Advance
Soochow University（苏州大学）；Jilin University（吉林大学）
模仿学习（IL）是一种从演示中学习模仿专家行为的框架。最近，IL在高维和控制任务上显示出很好的结果。然而，IL通常遭受样本效率低的环境相互作用，这严重限制了他们的应用程序模拟域。在工业应用中，学习者通常具有较高的交互成本，与环境交互越多，对环境和学习者自身造成的损害就越大。在这篇文章中，我们努力提高样本效率，通过引入一种新的计划，逆强化学习。我们的方法，我们称之为\textit{Model Reward Function Based Imitation Learning}（MRFIL），使用一个集成的动态模型作为奖励函数，什么是训练与专家演示。关键的想法是提供一个激励代理匹配的演示在一个较长的地平线上，通过提供一个积极的奖励遇到符合专家演示分布的状态。此外，我们证明了新的目标函数的收敛保证。实验结果表明，我们的算法达到了竞争的性能，并显着减少环境的相互作用相比IL方法。
2021-11-23 cs.LG
Learning to Reach Goals via Iterated Supervised Learning
UC Berkeley（加州大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）
当前的强化学习（RL）算法可能很脆弱且难以使用，特别是在从稀疏奖励中学习达到目标的行为时。尽管监督模仿学习提供了一种简单而稳定的替代方案，但它需要获得来自人类监督者的演示。在本文中，我们研究RL算法，使用模仿学习从头开始获得目标达到政策，而不需要专家演示或价值函数。代替演示，我们利用任何轨迹都是在同一轨迹中达到最终状态的成功演示的属性。我们提出了一个简单的算法，在该算法中，代理不断重新标记和模仿它生成的轨迹，以逐步从头开始学习达到目标的行为。每次迭代，代理使用最新的策略收集新的轨迹，并在实际达到的目标下最大化沿着这些轨迹的动作的可能性，从而改进策略。我们正式表明，这种迭代的监督学习过程优化了约束的RL目标，获得性能界限的学习政策，并实证证明改进的目标达成性能和鲁棒性在几个基准任务的RL算法。
2020-10-02 cs.AI cs.LG stat.ML
Beyond Imitation: Recovering Dense Rewards from Demonstrations
Department of Data Science and AI, Monash University（数据科学与人工智能系，墨尔本大学）
本研究证明监督微调（SFT）与逆强化学习等价，可从SFT模型中恢复token级密集奖励，提出的Dense-Path REINFORCE方法能利用该奖励优化策略，在指令跟随基准上表现优于原始SFT模型，重新定义了SFT的价值。
2025-10-02 cs.CL cs.LG
Leveraging Human Guidance for Deep Reinforcement Learning Tasks
University of Texas at Austin（德克萨斯大学奥斯汀分校）
强化学习智能体可以通过与环境交互来学习解决顺序决策任务。人类如何解决这些任务的知识可以使用模仿学习来整合，其中代理学习模仿人类演示的决策。然而，人类的指导并不局限于演示。其他类型的指导可能更适合某些任务，需要更少的人力。这项调查提供了一个高层次的概述五个最近的学习框架，主要依赖于人类的指导，而不是传统的，一步一步的行动示范。我们回顾了每个框架的动机，假设和实施。然后，我们讨论了未来可能的研究方向。
2019-09-21 cs.AI cs.LG
Generative Personas That Behave and Experience Like Humans
Institute of Digital Games（数字游戏研究所）
使用人工智能（AI）来自动测试游戏仍然是开发更丰富、更复杂的游戏世界以及人工智能发展的关键挑战。实现这一长期目标的最有希望的方法之一是使用生成式人工智能代理，即程序化人物角色，试图模仿特定的游戏行为，这些行为表现为规则，奖励或人类演示。然而，所有构建这些生成代理的研究工作都只集中在游戏行为上，这可以说是对玩家在游戏中实际行为的狭隘理解。出于现有技术水平中的这一差距的动机，在本文中，我们扩展了行为程序角色的概念以满足玩家体验，从而研究了能够像人类一样行为和体验游戏的生成代理。为此，我们采用了去探索强化学习范式来训练类人程序人物角色，我们测试我们的方法的行为和经验演示的100多名球员的赛车游戏。我们的研究结果表明，生成的代理人表现出独特的游戏风格和经验的人类角色，他们被设计模仿的反应。重要的是，与游戏行为相关的经验似乎也可以成为更好的行为探索的高度信息驱动力。
2022-08-26 cs.AI cs.HC cs.LG
Graph Inverse Reinforcement Learning from Diverse Videos
UC San Diego（加州大学圣迭戈分校）
来自第三人称视频的逆强化学习（IRL）研究在消除机器人任务的手动奖励设计方面取得了令人鼓舞的结果。然而，大多数先前的工作仍然受到来自相对受限的视频域的训练的限制。在本文中，我们认为第三人称IRL的真正潜力在于增加视频的多样性，以实现更好的缩放。为了从不同的视频中学习奖励函数，我们建议对视频进行图抽象，然后在图空间中进行时间匹配来衡量任务进度。我们的见解是，任务可以通过形成图的实体交互来描述，这种图抽象可以帮助删除不相关的信息，如纹理，从而产生更强大的奖励函数。我们评估了我们的方法，GraphIRL，在X-MAGICAL中的跨具体学习和从真实机器人操作的人类演示中学习。我们表现出显着的改进，在鲁棒性不同的视频演示比以前的方法，甚至实现了更好的结果比手动奖励设计一个真正的机器人推任务。视频可在https://sateeshkumar21.github.io/GraphIRL上获得。
2022-08-01 cs.CV cs.LG cs.RO
Signs of Language: Embodied Sign Language Fingerspelling Acquisition from Demonstrations for Human-Robot Interaction
Centre for Robotics and AI, University of Manchester（曼彻斯特大学机器人与人工智能中心）；Department of Computer Science, University of Manchester（曼彻斯特大学计算机科学系）
本文提出一种无需额外信息从视频示例中学习灵巧运动模仿的方法，构建机械手URDF模型，利用深度视觉模型提取3D姿态，并采用近端策略优化和软演员-评论家算法训练策略，在六个指拼字母任务上验证了其泛化能力。
2023-06-05 cs.CL cs.CV cs.LG
Multi-Modal Imitation Learning from Unstructured Demonstrations using Generative Adversarial Nets
University of Southern California（南加州大学）；Max-Planck-Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
传统上，模仿学习被应用于从单个任务的演示中学习单个任务。结构化和孤立的演示的要求限制了模仿学习方法的可扩展性，因为它们难以应用于现实世界的场景，其中机器人必须能够执行大量任务。在本文中，我们提出了一个多模态的模仿学习框架，能够分割和模仿技能，从无标记和非结构化的示范学习技能分割和模仿学习联合。大量的仿真结果表明，我们的方法可以有效地分离到个人技能的演示，并学习模仿他们使用一个单一的多模态政策。我们实验的视频可以在http://sites.google.com/view/nips17intentiongan上获得
2017-11-23 cs.LG cs.RO
Multi-Agent Generative Adversarial Imitation Learning
Stanford University（斯坦福大学）
模仿学习算法可用于从专家演示中学习策略，而无需访问奖励信号。然而，大多数现有的方法是不适用于多智能体设置由于存在多个（纳什）均衡和非平稳环境。我们提出了一个新的框架，多智能体模仿学习一般马尔可夫游戏，在那里我们建立在广义逆强化学习的概念。我们进一步介绍了一个实用的多代理actor-critic算法具有良好的经验性能。我们的方法可以用来模仿复杂的行为在高维环境中的多个合作或竞争代理。
2018-07-26 cs.AI cs.LG cs.MA
Off-Dynamics Inverse Reinforcement Learning from Hetero-Domain
Westlake University（西湖大学）；Tsinghua University（清华大学）
我们提出了一种异域逆强化学习的方法，该方法在模拟器中学习奖励函数，并借鉴了现实世界中的演示。该方法背后的直觉是，奖励函数不仅应该以模仿专家为导向，而且应该鼓励根据模拟器与现实世界之间的动态差异进行调整的行为。为了实现这一目标，采用了广泛使用的GAN启发的IRL方法，并通过量化动态差异来修改其识别策略生成轨迹的算法。训练过程中的训练过程中，可以产生可转移的奖励函数适合模拟器的动力学，这可以通过推导来保证。实际上，我们的方法为不利用两个域之间的差异的演示轨迹分配了更高的奖励。通过对连续控制任务的大量实验，我们的方法显示了其有效性，并证明了其可扩展性的高维任务。
2021-10-21 cs.LG
Imitation Learning via Focused Satisficing
Department of Computer Science, University of Illinois Chicago（伊利诺伊大学芝加哥分校计算机科学系）；Department of Computer Science, Cornell University（康奈尔大学计算机科学系）
针对模仿学习假设示范接近最优的局限，提出聚焦满意化方法，利用基于间隔的目标引导深度强化学习，使策略超越示范者期望水平，实验证明其能更好模仿高质量示范并提高可接受性。
2025-05-25 cs.AI cs.LG
SPRINQL: Sub-optimal Demonstrations driven Offline Imitation Learning
Singapore Management Univerisity（新加坡管理大学）
本文提出基于逆向soft-Q学习的离线模仿学习方法SPRINQL，通过赋予专家演示更高权重、次优演示较低权重，将问题转化为Q函数空间上的凸优化，有效利用次优演示并避免过拟合，在离线IL基准上达到SOTA性能。
2024-10-10 cs.AI cs.LG
Learning from Observations Using a Single Video Demonstration and Human Feedback
University of Maryland Baltimore County（马里兰大学巴尔的摩县分校）；US Army Research Laboratory（美国陆军研究实验室）
在本文中，我们提出了一种方法，从视频演示中学习，通过使用人的反馈，构建一个标准的代理表示和演示的视觉表示之间的映射。通过这种方式，我们利用了这两种表示的优点，即，我们使用标准状态表示来学习策略，但是能够使用视频演示来指定预期的行为。我们训练一个自主智能体使用一个单一的视频演示，并使用人的反馈（使用数值相似性评级）映射的标准表示与神经网络的视觉表示。我们展示了我们的方法的有效性，通过教一个料斗代理在MuJoCo执行后空翻使用一个单一的视频演示生成的MuJoCo以及从一个真实世界的YouTube视频的人执行后空翻。此外，我们表明，我们的方法可以转移到新的任务，如跳跃，很少有人的反馈。
2019-09-29 cs.LG stat.ML
To Follow or not to Follow: Selective Imitation Learning from Observations
University of Southern California（南加州大学）
示教学习是将技能从一个智能体转移到另一个智能体的有用方法。虽然大多数模仿学习方法旨在通过一步一步地跟随演示来模仿专家技能，但当学习者及其环境与演示不同时，模仿演示中的每一步往往变得不可行。在本文中，我们提出了一种方法，可以模仿演示组成的观察，这可能是不可重现的当前代理。我们的方法，被称为选择性模仿学习从观察（SILO），选择可达到的状态，在演示和学习如何达到选定的状态。我们在模拟和真实机器人环境中的实验表明，我们的方法可靠地执行一个新的任务，通过以下演示。视频和代码可在https://clvrai.com/silo上获得。
2019-12-16 cs.AI cs.LG cs.RO
Neural Task Graphs: Generalizing to Unseen Tasks from a Single Video Demonstration
Stanford University（斯坦福大学）
我们的目标是生成一个策略来完成一个看不见的任务，只需要一个视频演示的任务在一个给定的域。我们假设，要成功地推广到看不见的复杂任务，从一个单一的视频演示，有必要明确地将任务的组成结构到模型。为此，我们提出了神经任务图（NTG）网络，它使用共轭任务图作为中间表示模块化的视频演示和派生的政策。我们的经验表明，NTG在两个复杂的任务上实现了任务间的泛化：BulletPhysics中的块堆叠和AI 2-THOR中的对象收集。NTG通过视觉输入提高了数据效率，并在不需要密集分层监督的情况下实现了强大的泛化能力。我们进一步表明，类似的性能趋势时，适用于现实世界的数据。我们表明，NTG可以有效地预测JIGSAWS手术数据集上的任务结构，并推广到看不见的任务。
2019-03-06 cs.AI cs.CV cs.LG
SeeTraceAct: Visibility-Aware Latent Planning from Cross-Embodiment Demonstration Videos
Georgia Institute of Technology（佐治亚理工学院）；Allen Institute for AI（Allen人工智能研究所）；Johns Hopkins University（约翰霍普金斯大学）；University of Washington（华盛顿大学）
提出SeeTraceAct框架，通过可见性感知的未来末端执行器轨迹预测增强空间定位，实现基于单次跨具身演示视频的机器人策略泛化，在模拟和真实场景中取得最优成功率。
2026-10-14 cs.LG cs.RO
Learning from Demonstration in the Wild
Latent Logic（潜在逻辑公司）；University of Oxford（牛津大学）；Delft University of Technology（代尔夫特理工大学）
示教学习（LfD）在手工编码行为或奖励功能不切实际的设置中是有用的。它已经成功地解决了各种问题，但通常依赖于手动生成的演示或专门部署的传感器，并且通常无法利用野外可用的丰富演示：那些使用已经部署用于其他目的的传感器捕获无论如何都会发生的行为，例如，交通摄像机镜头捕捉车辆，骑自行车的人和行人的自然行为的演示。我们提出了视频行为（ViBe），一种新的方法来学习模型的行为从未标记的原始视频数据的交通场景收集从一个单一的，单目的，最初未校准的摄像头与普通的分辨率。我们的方法校准相机，检测相关对象，通过时间跟踪它们，并使用由此产生的轨迹来执行LfD，产生自然行为的模型。我们将ViBe应用于交通路口的原始视频，并表明它可以纯粹从视频中学习，而无需额外的专业知识。
2019-03-26 cs.LG stat.ML
Giving Robots a Hand: Learning Generalizable Manipulation with Eye-in-Hand Human Video Demonstrations
Stanford University（斯坦福大学）
本文提出用未标注的眼在手上人类视频扩充机器人模仿数据，并借助部分可观测性与固定图像掩码缩小域差距，在8项真实任务上平均绝对提升成功率58%。
2023-07-12 cs.AI cs.LG cs.RO
CRAFT: Video Diffusion for Bimanual Robot Data Generation
University of Southern California（南加州大学）
CRAFT通过视频扩散生成双臂机器人演示数据，利用边缘结构线索提升生成多样性与鲁棒性，提升多视角任务的泛化能力。
2026-04-04 cs.AI cs.CV cs.LG
Flow-Enabled Generalization to Human Demonstrations in Few-Shot Imitation Learning
The Australian National University（澳大利亚国立大学）
本文提出SFCrP方法，通过场景流预测和流条件策略实现人类演示在少样本模仿学习中的泛化，提升机器人在现实任务中的表现和泛化能力。
2026-02-27 cs.LG cs.RO
SketchQL Demonstration: Zero-shot Video Moment Querying with Sketches
Georgia Institute of Technology（佐治亚理工学院）；Cisco（思科公司）
本文演示了视频数据库管理系统 SketchQL，它通过草图轨迹查询界面和预训练相似性模型实现零样本视频时刻检索。
2024-07-01 cs.CV cs.DB cs.LG
Teach a Robot to FISH: Versatile Imitation from One Minute of Demonstrations
New York University（纽约大学）
虽然模仿学习为我们提供了一个有效的工具包来训练机器人，学习技能，是强大的环境变化仍然是一个重大的挑战。当前的方法通过依赖于跨越环境变化的大量演示或需要状态估计的手工制作的奖励函数来解决这一挑战。这两个方向都无法快速模仿。在这项工作中，我们提出了快速模仿人类技能（FISH），一种新的模仿学习方法，可以在不到一分钟的人类演示中学习强大的视觉技能。给定通过离线模仿演示训练的弱基本策略，FISH计算与机器人行为和演示之间的“匹配”相对应的奖励。然后，这些奖励用于自适应地更新添加到基本策略的剩余策略。在所有任务中，FISH最多需要20分钟的交互式学习来模仿演示中未看到的对象配置演示。重要的是，FISH被构造为通用的，这允许它在机器人形态（例如xArm，Allegro，Stretch）和相机配置（例如第三人称，手眼）中使用。我们对9个不同任务的实验评估表明，FISH的平均成功率为93%，比现有的最先进的方法高出约3.8倍。
2023-03-02 cs.AI cs.CV cs.LG
Entropy Regularization: A Free Correction to Cross-Entropy for Verified Demonstrations
University of Michigan（密歇根大学）
本文发现交叉熵最小化在验证任务中可能与验证器风险不一致，提出熵正则化交叉熵（ER-CE）作为修正，通过在数学推理和代码生成基准上实验证明其能提高验证器准确性。
2026-09-28 cs.LG stat.ML
Program Generation from Diverse Video Demonstrations
The University of Adelaide（阿德莱德大学）；Apollo Labs（阿波罗实验室）
使用归纳推理从多个观察中提取一般规则的能力是智能的重要指标。作为人类，我们不仅利用这种能力来解释我们周围的世界，而且还预测我们所经历的各种互动的结果。对多个观察结果进行概括是一项历史上机器难以掌握的任务，特别是在需要计算机视觉时。在本文中，我们提出了一个模型，可以提取一般规则的视频演示，同时进行总结和翻译。我们的方法不同于以往的作品，框架的问题作为一个多序列到序列的任务，其中总结是由模型学习。这使得我们的模型能够利用边缘情况，否则这些情况将被传统的摘要技术抑制或丢弃。此外，我们表明，我们的方法可以处理嘈杂的规格，而不需要额外的过滤方法。我们通过在Vizdoom环境中从视频演示中合成程序来评估我们的模型，实现了最先进的结果，相对于先前的作品，程序准确性增加了11.75%
2023-02-01 cs.CL cs.CV cs.LG
Learning Video-Conditioned Policies for Unseen Manipulation Tasks
Inria（法国国家信息与自动化研究所）；École normale supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）
提出ViP方法，利用预训练视频嵌入将人类演示映射为机器人操作策略，实现零样本控制未见任务，并在多任务环境中超越现有技术水平。
2023-05-10 cs.CV cs.LG cs.RO
Imitation Learning from Video by Leveraging Proprioception
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Army Research Laboratory（陆军研究实验室）
传统上，模仿学习算法已经被开发用于理想化的情况，例如，这些示范通常需要在完全相同的环境中收集，并且通常包括示范者的行动。然而，最近，研究界已经开始通过提供算法解决方案来解决这些缺点中的一些，该算法解决方案使得能够从观察（IfO）进行模仿学习，例如，从视觉演示中学习执行任务，这些演示可能处于不同的环境中，并且不包括动作。由于代理通常也可以访问自己的内部状态（即，本体感受），我们提出并研究了IfO算法，利用这些信息在策略学习过程。所提出的架构学习本体感受状态表示的政策，并比较所产生的轨迹可视化的演示数据。我们实验测试所提出的技术在几个MuJoCo域，并表明它优于其他模仿观察算法的大幅度提高。
2019-06-19 cs.LG stat.ML
One-Shot Hierarchical Imitation Learning of Compound Visuomotor Tasks
UC Berkeley（加州大学伯克利分校）
我们考虑的问题，学习多阶段的视觉为基础的任务在一个真正的机器人从一个单一的视频的人执行的任务，同时利用演示数据的子任务与其他对象。这一问题提出了若干重大挑战。没有遥操作的视频演示很容易为人类提供，但不提供任何直接的监督。从原始像素学习策略可以实现完全的通用性，但需要学习具有许多参数的大型函数逼近器。最后，复合任务可能需要不切实际的演示数据量，当被视为一个整体的技能。为了解决这些挑战，我们提出了一种方法，学习如何学习原始的行为，从视频演示和如何动态地组成这些行为来执行多阶段的任务，通过“看”一个人的演示。我们的研究结果模拟Sawyer机器人和真正的PR2机器人说明了我们的方法学习各种订单履行和厨房服务任务与新的对象和原始像素输入。
2018-10-25 cs.AI cs.CV cs.LG
CUA-Suite: Massive Human-annotated Video Demonstrations for Computer-Use Agents
ServiceNow；University of Waterloo（多伦多大学）；Mila；Université de Montréal（蒙特利尔大学）；McGill University（麦吉尔大学）；University of Oxford（牛津大学）；National University of Singapore（新加坡国立大学）
CUA-Suite通过提供连续高质量视频演示和密集标注，解决计算机使用代理训练中视频数据不足的问题，包含约55小时的专家视频和600万帧数据，支持多模态研究。
2026-03-25 cs.AI cs.CV cs.LG
Vision-based Manipulation from Single Human Video with Open-World Object Graphs
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Sony AI（索尼人工智能）
本研究提出ORION算法，从单个人类视频中提取以对象为中心的操控计划并生成策略，实现开放世界下机器人对新物体的视觉操控学习，平均成功率达74.4%。
2025-09-04 cs.CV cs.LG cs.RO
Injective State-Image Mapping facilitates Visual Adversarial Imitation Learning
IBM Research AI（IBM研究院人工智能部门）
在游戏和娱乐等应用中，虚拟自主智能体的使用越来越多，需要更好的控制策略来实现自然的运动和动作。与传统的硬编码运动例程的方法不同，我们提出了一种深度学习方法，通过直接模仿原始视频演示来获得控制策略。该领域的先前方法依赖于从专家视频中提取低维特征，然后是单独的手工制作的奖励估计步骤。我们提出了一个模仿学习框架，通过使用生成对抗网络（GANs）联合学习特征提取和奖励估计步骤，减少了对手工设计的奖励函数的依赖。我们在本文中的主要贡献是表明，在低级联合状态（角度和速度）轨迹和相应的原始视频流之间的内射映射下，对视频演示进行对抗性模仿学习相当于从状态轨迹中学习。实验结果表明，所提出的对抗性学习方法从原始视频产生类似的性能，以国家的最先进的模仿学习技术，同时经常优于现有的手工制作的视频模仿方法。此外，我们表明，我们的方法可以通过模仿YouTube上的视频演示来学习动作策略，其性能与来自真实奖励信号的学习代理相似。请在https://ibm.biz/BdzzNA上查看补充视频提交。
2019-10-25 cs.CV cs.LG stat.ML
Subtask-Aware Visual Reward Learning from Segmented Demonstrations
KAIST（韩国科学技术院）；University of Michigan（密歇根大学）；LG AI Research（LG人工智能研究院）
本文提出REDS框架，利用分段视频演示和最小监督学习密集奖励函数，通过对比学习对齐子任务，在复杂操作任务中显著优于基线并支持泛化。
2025-02-28 cs.AI cs.CV cs.LG
Dexterous Point Policy: Learning Point-based Dexterous Hand Policies from Human Demonstrations
KAIST（韩国科学技术院）
提出Dexterous Point Policy框架，通过统一3D关键点表示从人类视频学习灵巧操作策略，无需机器人演示，在真实任务中达到75%成功率。
2026-06-09 cs.CV cs.LG cs.RO
One-Shot Imitation under Mismatched Execution
Cornell University（康奈尔大学）
针对人机演示执行不匹配问题，提出RHyME框架，利用序列级最优传输自动配对轨迹并合成语义等价视频，无需配对数据，任务成功率提升超50%。
2025-03-28 cs.AI cs.LG cs.RO
A Demonstration of Smart Doorbell Design Using Federated Deep Learning
Pandit Deendayal Petroleum University（潘迪特·丁代亚尔石油大学）；NUI Galway（爱尔兰国立高威大学）
智能门铃在保护我们的现代家居方面发挥着重要作用。将视频流发送到集中式服务器（或云）以进行视频分析的现有方法一直面临许多挑战，诸如延迟、带宽成本以及更重要的用户隐私问题。为了应对这些挑战，本文展示了基于联合深度学习的智能智能门铃的能力，它可以跨边缘和云资源部署和管理视频分析应用程序，例如智能门铃。该平台可以扩展，与多个设备一起工作，无缝管理应用程序组件的在线编排。所提出的框架是使用最先进的技术实现的。我们使用Flask框架实现Federated Server，使用Nginx和Gunicorn进行容器化，部署在AWS EC2和AWS Serverless架构上。
2020-10-19 cs.AI cs.DC cs.LG
Imitation Learning from a Single Temporally Misaligned Video
Cornell University（康奈尔大学）
针对单个视觉演示时间未对齐导致帧级匹配失效的问题，提出序列级匹配方法ORCA，通过衡量智能体按正确顺序覆盖演示帧的概率作为奖励，在Meta-world和Humanoid-v4任务上显著优于现有算法。
2025-07-14 cs.LG
Behavioral Cloning via Search in Video PreTraining Latent Space
University of Eastern Finland（东芬兰大学）；University of Bielefeld（比勒费尔德大学）；Indian Institute of Technology BHU（印度理工学院（BHU））
本文提出在视频预训练潜在空间中对 BASALT MineRL 专家演示进行邻近搜索的行为克隆方法，使智能体在 Minecraft 中展现类人行为。
2023-04-17 cs.AI cs.CV cs.LG
