Action Inference by Maximising Evidence: Zero-Shot Imitation from Observation with World Models
Volkswagen Group(大众汽车集团);Technical University of Munich(慕尼黑工业大学);Eötvös Loránd University Budapest(布达佩斯厄特沃什·罗兰大学)
本文提出 AIME 方法,通过世界模型最大化演示证据实现零样本观察模仿,无需额外训练或在线交互,在 DeepMind Control Suite 上优于现有基线。
2023-12-04 cs.AI cs.LG
Learning One-Shot Imitation from Humans without Humans
Imperial College London(帝国理工学院)
人类可以通过观察其他个体执行一次新任务来自然地学习执行该任务,然后以各种配置复制它。赋予机器人这种从第三人称模仿人类的能力是教授新任务的一种非常直接和自然的方式。直到最近,通过元学习,已经有成功的尝试一次性模仿学习;然而,这些方法需要大量的人力资源来收集现实世界中的数据来训练机器人。但是,有没有一种方法可以消除在培训过程中对真实世界人类演示的需求?我们表明,与任务嵌入式控制网络,我们可以推断控制策略,通过嵌入人的示范,可以条件的控制策略,实现一次性的模仿学习。重要的是,我们在训练期间不使用真实的人类手臂来提供演示,而是在以前从未见过的应用中利用域随机化:人类的仿真到现实迁移。在评估我们在模拟和现实世界中推送和放置任务的方法时,我们表明,与在真实世界数据上训练的系统相比,我们能够通过仅利用模拟数据来实现类似的结果。
2019-11-04 cs.AI cs.CV cs.LG
Few-Shot In-Context Imitation Learning via Implicit Graph Alignment
Imperial College London(帝国理工学院)
本文将模仿学习形式化为物体图表示间的条件对齐问题,使机器人能在无先验知识和额外训练下,仅凭少量演示即可对新物体执行任务,并在真实日常任务中优于基线。
2023-10-18 cs.AI cs.LG cs.RO
One-Shot Imitation from Observing Humans via Domain-Adaptive Meta-Learning
University of California, Berkeley(加利福尼亚大学伯克利分校)
人类和动物能够通过观察别人只执行一次技能来学习新的行为。我们考虑的问题,让机器人做同样的-学习从一个原始的视频像素的人,即使有实质性的域转移的角度来看,环境和机器人和观察到的人类之间的实施例。以前的方法,这个问题已经手指定人类和机器人的动作如何对应,往往依赖于明确的人类姿态检测系统。在这项工作中,我们提出了一种方法,从一个人的视频一次性学习,使用人类和机器人演示数据,从各种以前的任务,建立先验知识,通过元学习。然后,结合这些先验知识和来自人类的单个视频演示,机器人可以执行人类演示的任务。我们在PR 2手臂和Sawyer手臂上进行了实验,证明了在元学习之后,机器人可以学习放置,推动和拾取放置新对象,只需使用一个人类执行操作的视频。
2018-02-05 cs.AI cs.CV cs.LG
From Imitation to Interaction: Mastering Game of Schnapsen with Shallow Reinforcement Learning
Vrije Universiteit Amsterdam(弗里兹大学阿姆斯特丹)
本文研究浅层神经网络代理是否能掌握纸牌游戏斯纳普森,并挑战使用蒙特卡洛采样和前瞻搜索的强搜索基线RdeepBot。通过逐步更复杂的实验设计,首先评估了基于回放数据训练的监督学习代理(MLPBot)以及通过异步蒙特卡洛更新和经验回放训练的强化学习代理(RLBot)。结果表明,监督模仿不足以击败强RdeepBot对手,而强化学习产生了更强的代理。在聚焦RdeepBot深度参数的设置中,最佳性能是在学习的价值函数与游戏过程中更深层次的前瞻搜索结合时实现的,使RLBot在最强的RdeepBot基线下实现了统计显著更高的胜率。在基于样本的设置中,收益更具条件性:最强性能出现在相对较低的训练num_samples参数下,而不是随着更强采样均匀增加。
2026-05-16 cs.AI cs.LG
Task-Embedded Control Networks for Few-Shot Imitation Learning
Dyson Robotics Lab(戴森机器人实验室);Imperial College London(伦敦帝国理工学院)
与人类一样,机器人应该有能力利用以前学习的任务中的知识,以便在新的和不熟悉的环境中快速学习新任务。尽管如此,大多数机器人学习方法都集中在从头开始学习单个任务,具有有限的泛化概念,并且无法利用知识更有效地学习其他任务。一种可能的解决方案是元学习,但许多相关方法在扩展到大量任务以及学习更多任务而不忘记先前学习的任务的能力方面受到限制。考虑到这一点,我们引入了任务嵌入式控制网络,它采用了度量学习的思想,以创建一个任务嵌入,机器人可以使用它从一个或多个演示中学习新任务。在该地区的视觉引导的操纵,我们提出了模拟结果,我们超越了一个国家的最先进的方法时,只使用视觉信息,从每个演示的性能。此外,我们证明了我们的方法也可以与域随机化结合使用,以训练我们在模拟中的少样本学习能力,然后在现实世界中部署,而无需任何额外的训练。一旦部署,机器人可以从一个真实世界的演示中学习新的任务。
2018-10-08 cs.AI cs.CV cs.LG
Tracking the Race Between Deep Reinforcement Learning and Imitation Learning -- Extended Version
Saarland University(萨尔兰大学)
近年来,基于学习的方法来解决大型序列决策问题已成为流行。由此产生的代理执行不同,他们的特点取决于那些底层的学习方法。在这里,我们考虑一个基准规划问题,从强化学习域,赛道,调查来自不同的深度(强化)学习方法的代理的属性。我们比较了深度监督学习的性能,特别是模仿学习,以及赛道模型的强化学习。我们发现,模仿学习产生的代理人遵循更危险的路径。相比之下,深度强化学习的决策更具预见性,即,避免出现更有可能做出致命决定的状态。我们的评估表明,对于这个顺序决策问题,深度强化学习在许多方面表现最好,即使对于模仿学习考虑最优决策。
2020-08-03 cs.AI cs.LG
One-Shot Imitation Learning
Berkeley AI Research Lab(伯克利人工智能研究实验室);OpenAI
模仿学习通常被应用于孤立地解决不同的任务。这通常需要仔细的特征工程或大量的样本。这与我们的期望相去甚远:理想情况下,机器人应该能够从任何给定任务的很少演示中学习,并立即推广到相同任务的新情况,而不需要特定于任务的工程。在本文中,我们提出了一个元学习框架来实现这种能力,我们称之为一次性模仿学习。具体来说,我们考虑的设置中有一个非常大的任务集,每个任务有许多实例。例如,一个任务可以是将桌子上的所有块堆叠成单个塔,另一个任务可以是将桌子上的所有块放置成两个块塔,等等。在训练时,我们的算法提出了对所有任务的子集的演示。训练一个神经网络,将一个演示和当前状态(最初是该对演示中另一个演示的初始状态)作为输入,并输出一个动作,目标是所得到的状态和动作序列尽可能与第二个演示匹配。在测试时,演示了一个新任务的单个实例,预计神经网络将在这个新任务的新实例上表现良好。软注意力的使用允许模型推广到训练数据中看不到的条件和任务。我们预计,通过在更广泛的任务和设置上训练这个模型,我们将获得一个通用的系统,可以将任何演示转化为强大的策略,可以完成各种各样的任务。视频可在https://bit.ly/nips2017-oneshot获得。
2017-12-04 cs.AI cs.LG cs.NE
Imitating, Fast and Slow: Robust learning from demonstrations via decision-time planning
Carnegie Mellon University(卡内基梅隆大学);University of California Berkeley(加州大学伯克利分校);Facebook AI Research(脸书人工智能研究院)
模仿学习的目标是通过演示模仿专家的行为,而不需要获得明确的奖励信号。一种流行的方法通过逆强化学习(IRL)推断(未知)奖励函数,然后通过强化学习(RL)最大化该奖励函数。然而,通过这些方法学习的策略在实践中非常脆弱,即使由于复合误差引起的小的测试时间扰动也会迅速恶化。我们提出了模仿与规划在测试时(植入),一个新的元算法模仿学习,利用决策时规划,以纠正任何基础模仿政策的复合错误。与现有方法相比,我们在决策时保留了模仿策略和奖励模型,从而受益于这两个组件的学习信号。从经验上讲,我们证明了植入显着优于基准模仿学习方法的标准控制环境和擅长zero-shot泛化时,受到挑战性的扰动测试时间动态。
2022-04-18 cs.AI cs.LG
Replicating Complex Dialogue Policy of Humans via Offline Imitation Learning with Supervised Regularization
Zhejiang Lab(之江实验室);Zhejiang University(浙江大学)
针对任务型对话中模仿人类策略的难题,提出一种无需用户模拟器、利用状态转移信息并引入正则化技巧的离线模仿学习模型,在四个公开数据集的动作预测任务上取得更优性能。
2023-05-06 cs.AI cs.CL
On Value Discrepancy of Imitation Learning
Nanjing University(南京大学);Polixir
模仿学习从专家示范中训练策略。模仿学习方法已经从各种原理中设计出来,例如通过监督学习的行为克隆,通过反向强化学习的学徒学习,以及通过生成对抗学习的GAIL。本文提出了一个基于差异传播分析的模仿学习方法的理论性质分析框架。在无限时域条件下,该框架导致行为克隆的值偏差为O((1-γ)^{-2})。我们还证明了该框架导致GAIL的值差异的顺序为O((1-γ)^{-1})。这意味着GAIL比行为克隆具有更少的复合误差,这也在本文中得到了实证验证。据我们所知,我们是第一个从理论上分析GAIL的性能。上述结果表明,所提出的框架是一个通用的工具来分析模仿学习的方法。我们希望我们的理论研究结果可以为今后模仿学习算法的改进提供参考。
2019-11-16 cs.AI cs.LG stat.ML
Extrinsicaly Rewarded Soft Q Imitation Learning with Discriminator
Kanazawa University(金泽大学)
针对少量数据下模仿学习的分布偏移与交互成本问题,提出结合对抗逆强化学习奖励的DSQIL算法,在SQIL基础上提升鲁棒性与效率,并在MuJoCo环境完成评估。
2024-01-30 cs.AI cs.LG
Reinforcement and Imitation Learning for Diverse Visuomotor Skills
Stanford University(斯坦福大学);DeepMind(深度思维)
我们提出了一种无模型的深度强化学习方法,该方法利用少量的演示数据来辅助强化学习代理。我们将这种方法应用于机器人操作任务和训练端到端的可视化策略,直接从RGB相机输入映射到关节速度。我们证明,我们的方法可以解决各种各样的可视化任务,工程脚本控制器将是费力的。在实验中,我们的强化和模仿代理取得了显着更好的性能比代理与强化学习或模仿学习单独训练。我们还说明了这些政策,训练与大的视觉和动态变化,可以取得初步的成功,在zero-shot sim2real传输。这项工作的简要视觉描述可以在https://youtu.be/EDl8SQUNjj0上查看
2018-05-27 cs.AI cs.LG cs.RO
Adversarial Exploitation of Policy Imitation
Kansas State University(堪萨斯州立大学)
本文研究了针对深度强化学习(DRL)策略中安全性的机密性方面的一类攻击。最近的研究已经建立了监督机器学习模型的脆弱性(例如,分类器)到模型窃取攻击。这种攻击利用攻击者迭代查询模型的标签的松散限制的能力,从而允许伪造可用于训练原始模型的副本的标记数据集。在这项工作中,我们证明了利用模仿学习技术在DRL代理上发起模型窃取攻击的可行性。此外,我们开发了概念验证攻击,利用这种技术对DRL策略的完整性进行黑盒攻击。我们还提出了一个潜在的解决方案的概念,缓解技术的讨论。
2019-06-03 cs.AI cs.CR cs.LG
Domain Adaptive Imitation Learning
Stanford University(斯坦福大学);Tsinghua University(清华大学)
我们研究的问题是如何模仿任务跨域的差异,如体现,观点和动态不匹配。许多以前的工作需要成对的,对齐的演示和一个额外的RL步骤,需要环境交互。然而,成对的,对齐的演示很少获得,RL程序是昂贵的。我们形式化的域自适应模仿学习(DAIL)问题,这是一个统一的框架,模仿学习的观点,实施例,和动态失配的存在。非正式地说,DAIL是学习如何最佳地执行任务的过程,在不同的领域中演示任务。我们提出了一个两步的方法DAIL:调整后的适应。在对齐步骤中,我们执行一种新的无监督MDP对齐算法,生成对抗MDP对齐(GAMA),从\emph{unpaired, unaligned}演示中学习状态和动作对应关系。在自适应步骤中,我们利用对应关系来跨域zero-shot模仿任务。为了描述DAIL通过对齐和自适应的可行性,我们引入了MDP可扩展性理论。我们的实验评估GAMA对基线的实施例,观点和动态不匹配的情况下,对齐的演示不存在,并显示我们的方法的有效性。
2020-07-18 cs.AI cs.LG stat.ML
Learning to Reach Goals via Iterated Supervised Learning
UC Berkeley(加州大学伯克利分校);Carnegie Mellon University(卡内基梅隆大学)
当前的强化学习(RL)算法可能很脆弱且难以使用,特别是在从稀疏奖励中学习达到目标的行为时。尽管监督模仿学习提供了一种简单而稳定的替代方案,但它需要获得来自人类监督者的演示。在本文中,我们研究RL算法,使用模仿学习从头开始获得目标达到政策,而不需要专家演示或价值函数。代替演示,我们利用任何轨迹都是在同一轨迹中达到最终状态的成功演示的属性。我们提出了一个简单的算法,在该算法中,代理不断重新标记和模仿它生成的轨迹,以逐步从头开始学习达到目标的行为。每次迭代,代理使用最新的策略收集新的轨迹,并在实际达到的目标下最大化沿着这些轨迹的动作的可能性,从而改进策略。我们正式表明,这种迭代的监督学习过程优化了约束的RL目标,获得性能界限的学习政策,并实证证明改进的目标达成性能和鲁棒性在几个基准任务的RL算法。
2020-10-02 cs.AI cs.LG stat.ML
Imitating Language via Scalable Inverse Reinforcement Learning
Google DeepMind(谷歌DeepMind);Cohere(科here)
该研究从逆强化学习视角出发研究语言模仿,将逆软Q学习重构为带时间差分正则化的MLE扩展,验证了其在监督微调中兼顾性能与多样性的优势,为大模型后训练提供更鲁棒的奖励方案。
2024-12-09 cs.AI cs.CL cs.LG
Imitation from Observation: Learning to Imitate Behaviors from Raw Video via Context Translation
UC Berkeley(加州大学伯克利分校);OpenAI
模仿学习是一种有效的方法,自治系统获得控制策略时,显式的奖励功能是不可用的,使用监督提供的示范,从专家,通常是人类操作员。然而,标准的模仿学习方法假设代理接收可以提供给例如监督学习算法的观察-动作元组的示例。这与人类和动物的模仿方式形成鲜明对比:我们观察另一个人执行某种行为,然后找出哪些行为会实现该行为,补偿视角,环境,对象位置和类型以及其他因素的变化。我们将这种模仿学习称为“从观察中模仿”,并提出了一种基于上下文翻译和深度强化学习的视频预测的模仿学习方法。这提升了模仿学习中的假设,即演示应该包括在相同环境配置中的观察,并实现了各种有趣的应用,包括简单地通过观察人类工具使用的视频来学习涉及工具使用的机器人技能。我们的实验结果表明,我们的方法在学习广泛的现实世界中的机器人任务建模后,从视频的人类演示,包括扫地,舀杏仁,推物体以及一些任务的模拟。
2018-06-18 cs.AI cs.CV cs.LG
Understanding Cross-Domain Few-Shot Learning Based on Domain Similarity and Few-Shot Difficulty
KAIST(韩国科学技术院);NAVER AI Lab(NAVER人工智能实验室);SNU AIIS(首尔大学人工智能研究所)
跨域少样本学习(CD-FSL)在处理源域和目标域之间的巨大差异方面引起了越来越多的关注-这是现实世界场景中的一个重要问题。为了克服这些巨大的差异,最近的工作已经考虑在预训练阶段利用来自目标域的小规模未标记数据。除了在源域上进行有监督的预训练之外,这些数据还可以在目标域上进行自我监督的预训练。在本文中,我们经验性地研究了基于领域相似性和目标领域的Few-Shot难度的预训练。我们发现,当目标域与源域不相似或目标域本身具有低Few-Shot难度时,自监督预训练的性能增益比监督预训练大。我们进一步设计了两个预训练方案,混合监督和两阶段学习,提高性能。在这种情况下,我们提出了六个研究结果的CD-FSL,这是支持广泛的实验和分析的三个源和八个目标基准数据集不同程度的域相似性和Few-Shot的难度。我们的代码可在https://github.com/sungnyun/understanding-cdfsl上获得。
2022-10-12 cs.LG
HyperTransformer: Model Generation for Supervised and Semi-Supervised Few-Shot Learning
Google Research(谷歌研究院)
在这项工作中,我们提出了一个HyperTransformer,一个基于Transformer的监督和半监督少样本学习,直接从支持样本中生成卷积神经网络(CNN)的权重。由于小生成的CNN模型对特定任务的依赖性是由高容量的Transformer模型编码的,因此我们有效地将大任务空间的复杂性与单个任务的复杂性解耦。我们的方法对于小目标CNN架构特别有效,其中学习固定的通用任务无关嵌入不是最佳的,并且当有关任务的信息可以调制所有模型参数时,可以获得更好的性能。对于更大的模型,我们发现单独生成最后一层可以让我们产生比最先进的方法更有竞争力或更好的结果,同时是端到端可微的。
2022-07-14 cs.CV cs.LG
Improving Few-Shot Learning with Auxiliary Self-Supervised Pretext Tasks
University of Montreal(蒙特利尔大学);Mila – Quebec Artificial Intelligence Institute(米拉——魁北克人工智能研究所)
最近的工作少样本学习\cite{tian2020rethinking}表明,学习表示的质量起着重要的作用,在Few-Shot分类性能。另一方面,自监督学习的目标是在不使用类别标签的情况下恢复数据的有用语义信息。在这项工作中,我们利用这两种模式的互补性,通过多任务框架,我们利用最近的自我监督的方法作为辅助任务。我们发现,将多个任务结合起来通常是有益的,同时解决它们可以有效地完成。我们的研究结果表明,自我监督的辅助任务是有效的数据依赖的正则化表示学习。我们的代码可在:\url{https://github.com/nathanielsimard/improving-fs-ssl} .
2021-01-24 cs.CV cs.LG
Semi-Supervised and Active Few-Shot Learning with Prototypical Networks
The Curious AI Company(好奇人工智能公司)
我们考虑半监督的Few-Shot分类问题,其中分类器需要使用几个标记的示例和(可能是许多)未标记的示例来适应新的任务。我们提出了一个聚类的方法来解决这个问题。使用原型网络提取的特征使用$K$ -均值进行聚类,并使用少数标记示例指导聚类过程。我们注意到,在许多实际应用中,通过用户反馈请求少量标签,可以显著提高自适应性能。我们展示了良好的性能,使用图像数据的主动适应策略。
2018-04-25 cs.LG stat.ML
On the Efficiency of Integrating Self-supervised Learning and Meta-learning for User-defined Few-shot Keyword Spotting
National Taiwan University(台湾大学);intelliGo Technology inc.(intelliGo科技公司)
用户定义的关键字识别是一项检测用户定义的新口语术语的任务。这可以被看作是一个少样本学习问题,因为用户通过提供许多示例来定义他们想要的关键字是不合理的。为了解决这个问题,以前的作品试图纳入自监督学习模型或应用元学习算法。但目前尚不清楚自监督学习和元学习是否是互补的,以及这两种方法的哪种组合对于Few-Shot关键字发现最有效。在这项工作中,我们系统地研究这些问题,利用各种自监督学习模型,并将它们与各种各样的元学习算法相结合。实验结果表明,HuBERT与匹配网络相结合的方法效果最好,对Few-Shot样本的变化具有较强的鲁棒性。
2022-10-05 cs.LG eess.AS
Self-Supervised Prototypical Transfer Learning for Few-Shot Classification
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
少样本学习中的大多数方法依赖于(预)训练期间与目标任务域相关的昂贵的注释数据。最近,无监督元学习方法已经将注释要求交换为Few-Shot分类性能的降低。同时,在具有现实域转移的设置中,常见的迁移学习已被证明优于有监督的元学习。基于这些见解和自监督学习的进展,我们提出了一种迁移学习方法,该方法构建了一个度量嵌入,将未标记的原型样本及其增强紧密地聚集在一起。这种预训练的嵌入是通过总结类聚类和微调来进行Few-Shot分类的起点。我们证明了我们的自监督原型迁移学习方法ProtoTransfer在mini-ImageNet数据集的Few-Shot任务上优于最先进的无监督元学习方法。在域偏移的Few-Shot实验中,我们的方法甚至具有与监督方法相当的性能,但需要数量级更少的标签。
2020-06-19 cs.CV cs.LG stat.ML
Unsupervised Few-shot Learning via Self-supervised Training
Beijing Normal University(北京师范大学);Peking University(北京大学)
从有限样本中学习(少样本学习)是一个基本的、未解决的问题,在机器学习社区中一直在努力探索。然而,目前的Few-Shot学习器大多是有监督的,并且严重依赖于大量的标记示例。无监督学习是认知哺乳动物更自然的过程,并在许多机器学习任务中产生了有希望的结果。在目前的研究中,我们开发了一种方法来学习一个无监督的Few-Shot学习者通过自我监督训练(UFLST),它可以有效地推广到新的,但相关的类。该模型由两个交替的过程,渐进聚类和情节训练。前者生成用于构建情景任务的伪标记训练样本;后者使用生成的情景任务训练Few-Shot学习器,进一步优化数据的特征表示。这两个过程相互促进,并最终产生一个高质量的Few-Shot学习器。使用基准数据集Omniglot和Mini-ImageNet,我们证明了我们的模型优于其他无监督的少样本学习方法。使用基准数据集Market 1501,我们进一步证明了我们的模型的可行性,在现实世界中的应用程序的人重新识别。
2019-12-20 cs.CV cs.LG
TransMatch: A Transfer-Learning Scheme for Semi-Supervised Few-Shot Learning
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Futurewei Technologies;University of Rochester(罗切斯特大学)
深度学习在许多视觉识别任务中的成功应用在很大程度上依赖于大量标记数据的可用性,而这些数据的获取通常是昂贵的。少样本学习问题是一个基于少量标记样本建立鲁棒模型的问题,已引起研究者的广泛关注。大多数现有的作品在元学习框架下解决这个问题,通过模仿少样本学习任务的情景训练策略。在本文中,我们提出了一个新的迁移学习框架的半监督少样本学习,充分利用辅助信息标记的基本类数据和未标记的新类数据。该框架由三个部分组成:1)在基本类数据上预训练特征提取器; 2)使用特征提取器初始化新类的分类器权重;以及3)使用半监督学习方法进一步更新模型。在所提出的框架下,我们开发了一种新的半监督少样本学习方法,称为TransMatch通过实例化的三个组件与印记和MixMatch。在两个流行的少样本学习基准数据集CUB-200-2011和miniImageNet上的实验表明,该方法可以有效地利用标记的基类数据和未标记的新类数据中的辅助信息,显著提高少样本学习任务的准确性。
2020-03-09 cs.CV cs.LG stat.ML
Continuous Relaxation of Symbolic Planner for One-Shot Imitation Learning
Stanford University(斯坦福大学);Nvidia(英伟达)
我们解决一次性模仿学习,其目标是执行一个以前看不见的任务的基础上一个单一的演示。虽然在这个方向上已经取得了令人兴奋的进展,但大多数方法仍然需要几百个任务进行元训练,这限制了方法的可扩展性。我们的主要贡献是制定一杆模仿学习作为一个象征性的规划问题,随着符号接地问题。该公式将策略执行从任务间泛化中解脱出来,从而提高了数据效率。关键的技术挑战是符号基础在有限的训练数据下容易出错,并导致随后的符号规划失败。我们解决这个挑战,提出了一个连续放松的离散符号规划,直接计划的概率输出的符号接地模型。我们对规划器的连续放松仍然可以利用概率符号基础中包含的信息,并且在不使用大的训练数据的情况下,显著地改善了一次性模仿学习任务的基线规划器。
2019-11-05 cs.AI cs.LG cs.RO
Towards More Generalizable One-shot Visual Imitation Learning
University of California, Berkeley(加州大学伯克利分校)
通用机器人应该能够掌握广泛的任务,并通过利用过去的经验快速学习新的任务。单次模仿学习(OSIL)通过用(成对的)专家演示来训练智能体来实现这一目标,这样在测试时,它可以直接从一个演示中执行新任务。然而,到目前为止,这个框架仅限于对一个任务的许多变体进行训练,并对同一任务的其他看不见但相似的变体进行测试。在这项工作中,我们通过研究更雄心勃勃的多任务设置来推动更高水平的泛化能力。我们介绍了一套不同的基于视觉的机器人操作任务,包括7个任务,共61个变化,并在每个变化的实例连续。出于一致性和比较的目的,我们首先训练和评估单任务代理(如在先前的Few-Shot模仿工作中所做的那样)。然后,我们研究了多任务设置,其中多任务训练之后是(i)对训练任务中的变化进行一次性模仿,(ii)对新任务进行一次性模仿,以及(iii)对新任务进行微调。现有技术虽然在一些单一任务中表现良好,但在这些更难的多任务设置中表现不佳。为了解决这些限制,我们提出了MOSAIC(多任务单次模仿与自我注意和对比学习),它集成了自我注意模型架构和时间对比模块,以实现更好的任务消歧和更强大的表示学习。我们的实验表明,MOSAIC优于现有的最先进的学习效率,最终的性能,并学习多任务的政策,通过微调新的任务有前途的泛化能力。
2022-02-08 cs.AI cs.LG cs.RO
Learning Representations in Video Game Agents with Supervised Contrastive Imitation Learning
Sony Interactive Entertainment Europe(索尼互动娱乐欧洲)
本文将监督对比学习应用于模仿学习,提出结合连续输出空间的方法以学习更有效的状态表示,在多款游戏中提升了表示质量、收敛速度和泛化能力。
2025-09-15 cs.AI cs.LG
Zero-Shot Offline Imitation Learning via Optimal Transport
ETH, Zürich, Switzerland(苏黎世联邦理工学院)
针对现有零样本模仿学习框架的短视行为问题,提出基于最优传输的方法,通过优化占用匹配目标、用世界模型近似占用度量,实现从离线次优数据学习的非短视零样本模仿,在连续基准测试中验证有效。
2025-06-12 cs.LG
Semi-Supervised Imitation Learning of Team Policies from Suboptimal Demonstrations
Rice University(莱斯大学)
我们提出了贝叶斯团队模仿学习器(BTIL),一个模仿学习算法来模拟在马尔可夫域中执行顺序任务的团队行为。与现有的多智能体模仿学习技术相比,BTIL明确建模和推断团队成员随时间变化的心理状态,从而使分散的团队政策的学习从次优团队合作的示范。此外,为了允许从小数据集进行样本和标签有效的策略学习,BTIL采用贝叶斯观点,并且能够从半监督演示中学习。我们展示和基准的合成多智能体任务的性能,以及一个新的数据集的人类代理团队合作的BTIL。我们的实验表明,尽管团队成员的心理状态(随时间变化和潜在的不一致)对他们的行为的影响,BTIL可以成功地学习团队政策的演示。
2022-09-20 cs.AI cs.LG cs.MA
LASIL: Learner-Aware Supervised Imitation Learning For Long-term Microscopic Traffic Simulation
Alibaba Group(阿里巴巴集团);The University of Hong Kong(香港大学);Centre for Transformative Garment Production(变革性服装生产中心);University of Tennessee, Knoxville(田纳西大学诺克斯维尔分校)
本文提出学习者感知监督式模仿学习(LASIL),利用变分自编码器建模专家与学习者状态分布以解决协变量偏移,在pNEUMA数据集上实现更真实的短期微观与长期宏观交通仿真。
2024-05-23 cs.AI cs.LG
Meta-Controller: Few-Shot Imitation of Unseen Embodiments and Tasks in Continuous Control
School of Computing KAIST(韩国科学技术院计算机学院)
提出元控制器框架,利用关节级表示和结构-运动编码器,通过少量无奖励演示实现跨未见具身和任务的少样本模仿学习,优于现有方法。
2024-12-10 cs.AI cs.LG cs.RO
Versatile Skill Control via Self-supervised Adversarial Imitation of Unlabeled Mixed Motions
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);ETH Zurich(苏黎世联邦理工学院)
学习不同的技能是机器人技术的主要挑战之一。为此,模仿学习方法已经取得了令人印象深刻的结果。这些方法需要明确标记的数据集或假设一致的技能执行,以实现对个体行为的学习和主动控制,这限制了它们的适用性。在这项工作中,我们提出了一种合作对抗方法,通过最大限度地提高其可辨别性,从包含不同状态转换模式的未标记数据集中获得具有可控技能集的单一通用策略。此外,我们表明,通过利用生成对抗模仿学习框架中的无监督技能发现,新的和有用的技能出现与成功的任务完成。最后,所获得的多功能的政策进行了测试,一个敏捷的四足机器人称为独奏8,并提出忠实的复制编码在演示中的各种技能。
2023-02-11 cs.AI cs.LG cs.RO
Sample-efficient Adversarial Imitation Learning
Seoul National University(首尔大学)
针对对抗模仿学习依赖大量专家示范的问题,提出基于自监督状态与动作表征的方法,在100个专家状态-动作对设置下于MuJoCo取得39%相对提升。
2024-01-23 cs.AI cs.LG
Consistent Zero-Shot Imitation with Contrastive Goal Inference
Department of Computer Science, Princeton University, Princeton, NJ, USA(普林斯顿大学计算机科学系)
提出对比逆强化学习(CIRL),通过将多任务逆RL转化为目标推理问题,利用对比RL、自动目标提议和变分推断实现零样本模仿,理论证明其能一致恢复演示者意图,实验优于现有方法。
2026-06-25 cs.LG
One-Shot Imitation Learning: A Pose Estimation Perspective
Imperial College London(帝国理工学院)
本文研究在仅有单次演示且无先验知识约束下的模仿学习,将其转化为轨迹迁移与未见物体位姿估计的结合,并深入评估了位姿估计器在十个真实任务中的表现及多种因素对成功率的影响。
2023-10-18 cs.CV cs.LG cs.RO
Self-Supervised Adversarial Imitation Learning
Pontifícia Universidade Católica do RS(南里奥格兰德天主教大学);King’s College London(伦敦国王学院);University of Aberdeen(阿伯丁大学)
针对自监督行为克隆易陷局部极小且目标验证依赖人工的问题,本文在框架中引入判别器,利用专家状态转移引导学习并消除人工干预,同时解决策略持续输出“无动作”的缺陷。
2023-04-21 cs.AI cs.LG
EmbodiSwap for Zero-Shot Robot Imitation Learning
department of Computer Science, University of Maryland, College Park, MD, 20742(计算机科学系,马里兰大学, College Park, MD)
本研究提出EmbodiSwap方法生成合成机器人叠加视频,创新性将V-JEPA作为视觉骨干用于零样本机器人模仿学习,真实测试成功率达82%,并开源相关代码、数据集与模型权重。
2025-10-04 cs.AI cs.CV cs.LG
One-shot Imitation Learning via Interaction Warping
Northeastern University(东北大学);Brown University(布朗大学);Microsoft Research(微软研究院);Google DeepMind(谷歌DeepMind);University of Amsterdam(阿姆斯特丹大学)
针对少样本机器人模仿学习需求,提出Interaction Warping方法,通过形状扭曲推断物体3D网格并将动作表示为可随形状扭曲的关键点,实现单次演示下的SE(3)操作策略学习,在多类重排任务及真实场景预测中有效。
2023-11-04 cs.LG cs.RO
SCIZOR: A Self-Supervised Approach to Data Curation for Large-Scale Imitation Learning
The University of Texas at Austin(德克萨斯大学奥斯汀分校);NVIDIA Research(NVIDIA研究)
SCIZOR是一种自监督数据整理框架,通过过滤低质量状态-动作对提升模仿学习性能,在多个基准上平均提升15.4%。
2025-09-09 cs.AI cs.LG cs.RO
Zero-Shot Visual Imitation
UC Berkeley(加州大学伯克利分校)
当前模仿学习的主导范式依赖于对专家行为的强有力的监督,以学习模仿“什么”和“如何"。我们追求一种替代范式,其中代理人首先探索世界没有任何专家的监督,然后将其经验提炼成一个目标条件的技能政策与一个新的向前一致性损失。在我们的框架中,专家的作用只是传达目标(即,在推理过程中模仿什么)。然后采用所学习的策略来模仿专家(即,如何模仿)在看到一系列演示所需任务的图像后。我们的方法是“zero-shot”,在这个意义上,代理从来没有访问专家的行动在训练过程中或在推理的任务演示。我们评估我们的zero-shot模仿者在两个现实世界中的设置:复杂的绳索操作与巴克斯特机器人和导航在以前看不见的办公环境与TurtleBot。通过在VizDoom模拟中的进一步实验,我们提供了证据表明,更好的探索机制可以学习到更有能力的策略,从而提高最终任务的性能。视频、模型和更多详细信息,请访问https://pathak22.github.io/zeroshot-imitation/
2018-04-23 cs.AI cs.CV cs.LG
The Label Imitation Game: Turing Test Network for Zero-Shot Pseudo-Label Pruning
提出图灵测试网络(TTN)作为任务无关的“裁判”,通过对抗性交互在数据集上下文中评估伪标签,无需监督或重训练即可提升标签准确性,并实现零样本任务迁移。
2026-07-01 cs.AI cs.CV cs.LG
Beyond imitation: Zero-shot task transfer on robots by learning concepts as cognitive programs
Vicarious AI(Vicarious人工智能公司)
人类可以从图像对中推断出概念,并将其应用于物理世界中完全不同的环境中,从而实现像宜家组装这样的任务。如果机器人能够表达和推断高级概念,将大大提高它们理解我们的意图和在不同环境之间转移任务的能力。为此,我们引入了一个计算框架,复制人类概念学习的各个方面。概念被表示为一种新的计算机体系结构上的程序,该结构由视觉感知系统、工作记忆和动作控制器组成。这台“认知计算机”的指令集包含解析视觉场景、引导注视和注意力、想象新物体、操纵视觉工作记忆的内容以及控制手臂运动的命令。推断一个概念对应于诱导一个可以将输入转换为输出的程序。有些概念需要运用想象力和递归。先前学习的概念简化了后续更精细概念的学习,并创建了抽象层次。我们演示了机器人如何使用这些抽象来解释作为示意图呈现给它的新概念,然后将这些概念应用于截然不同的情况。通过将认知科学关于心理意象、感知符号、具身认知和指示机制的思想引入机器学习领域,我们的工作使我们更接近于构建具有可解释表示和常识的机器人的目标。
2018-12-06 cs.AI cs.LG
Zero-Shot Transfer in Imitation Learning
ETH(苏黎世联邦理工学院)
提出一种结合AnnealedVAE和单Q函数的模仿学习算法,实现无需重新训练的零样本跨领域迁移,并在3个环境中验证有效性。
2023-10-10 cs.LG
Improving Sequential Recommendation Consistency with Self-Supervised Imitation
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
大多数顺序推荐模型捕捉用户-项目交互历史中连续项目的特征。虽然有效,但它们的表示表达能力仍然受到稀疏学习信号的阻碍。因此,顺序推荐器容易做出不一致的预测。在本文中,我们提出了一个模型,SSI,以提高自我监督模仿的顺序推荐一致性。准确地说,我们提取的一致性知识,利用三个自我监督的预训练任务,其中时间一致性和人物角色一致性捕捉用户交互动态的时间顺序和人物角色的敏感性,分别。此外,为了提供具有全局视角的模型,通过最大化全局和局部交互序列之间的互信息来引入全局会话一致性。最后,为了综合利用一致性增强知识的所有三个独立方面,我们建立了一个集成的模仿学习框架。一致性知识被有效地内化,并通过模仿传统的预测logit以及一致性增强的项目表示转移到学生模型。此外,灵活的自我监督模仿框架也可以使其他学生学习者受益。四个真实世界的数据集上的实验表明,SSI有效地优于国家的最先进的顺序推荐方法。
2021-06-29 cs.IR cs.LG
BC-Z: Zero-Shot Task Generalization with Robotic Imitation Learning
Everyday Robots;Robotics at Google(Google机器人学);UC Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学)
在本文中,我们研究的问题,使基于视觉的机器人操作系统推广到新的任务,长期以来在机器人学习的挑战。我们从模仿学习的角度来处理这一挑战,旨在研究如何扩展和扩大收集的数据可以促进这种泛化。为此,我们开发了一个交互式和灵活的模仿学习系统,可以从演示和干预中学习,并且可以以传达任务的不同形式的信息为条件,包括预先训练的自然语言嵌入或人类执行任务的视频。当将真实机器人上的数据汇集扩展到100多个不同的任务时,我们发现该系统可以执行24个看不见的操作任务,平均成功率为44%,而无需任何机器人演示这些任务。
2022-02-04 cs.LG cs.RO
Chain of Thought Imitation with Procedure Cloning
Google Brain(谷歌大脑);UC Berkeley(加州大学伯克利分校)
模仿学习旨在从专家行为的记录演示中提取高性能策略。通常将模仿学习视为一个监督学习问题,在这个问题中,人们将一个函数逼近器拟合到记录的演示所展示的输入-输出映射(输入观察到输出动作)。虽然将模仿学习作为一个有监督的输入-输出学习问题的框架允许在各种各样的设置中的适用性,但在专家演示提供对专家行为更丰富的洞察力的情况下,这也是对问题的过于简单化的看法。例如,路径导航、机器人操作和策略游戏等应用程序通过规划、搜索或其他多步算法获得专家演示,不仅揭示了要模仿的输出动作,还揭示了如何确定该动作的过程。虽然这些中间计算可能使用在推理期间代理不可用的工具(例如,环境模拟器),但它们作为一种解释专家的状态到动作的映射的方式是信息丰富的。为了适当地利用专家程序信息,而不依赖于特权工具的专家可能已经用来执行的程序,我们提出了程序克隆,它适用于监督序列预测模仿一系列的专家计算。这样,过程克隆不仅学习做什么(即,输出动作),但是如何以及为什么要这样做(即,程序)。通过对导航,模拟机器人操作和游戏环境的实证分析,我们表明,模仿专家的行为的中间计算,使程序克隆学习政策表现出显着的泛化看不见的环境配置,包括那些配置,直接运行专家的程序是不可行的。
2022-05-22 cs.AI cs.LG
One-Shot Imitation under Mismatched Execution
Cornell University(康奈尔大学)
针对人机演示执行不匹配问题,提出RHyME框架,利用序列级最优传输自动配对轨迹并合成语义等价视频,无需配对数据,任务成功率提升超50%。
2025-03-28 cs.AI cs.LG cs.RO
Creating Multimodal Interactive Agents with Imitation and Self-Supervised Learning
DeepMind(深度思维)
科幻小说中的一个共同愿景是,有一天机器人将居住在我们的物理空间,像我们一样感知世界,帮助我们的体力劳动,并通过自然语言与我们交流。在这里,我们研究如何设计人工代理,可以自然地与人类使用虚拟环境的简化。我们表明,模仿学习的人与人之间的互动在模拟世界中,结合自监督学习,足以产生一个多模态的互动代理,我们称之为MIA,成功地与非敌对的人类互动的75%的时间。我们进一步确定架构和算法技术,提高性能,如分层动作选择。总之,我们的研究结果表明,模仿多模态,实时的人类行为可以提供一个简单的和令人惊讶的有效手段,灌输代理与丰富的行为之前,代理可能会被微调为特定的目的,从而奠定了基础,培训有能力的代理交互式机器人或数字助理。MIA行为的视频可以在https://youtu.be/ZFgRhviF7mY上找到
2022-02-02 cs.LG
Zero-Shot Scalable Resilience in UAV Swarms: A Decentralized Imitation Learning Framework with Physics-Informed Graph Interactions
Institute of Image Communication and Network Engineering, School of Integrated Circuits, Shanghai Jiao Tong University(图像通信与网络工程研究所,集成电路学院,上海交通大学)
本文提出了一种去中心化模仿学习框架,通过物理信息图神经网络编码局部交互,实现无人机群在大规模故障和碎片化拓扑下的鲁棒恢复。
2026-05-18 cs.LG
One-shot Visual Imitation via Attributed Waypoints and Demonstration Augmentation
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
在本文中,我们分析了现有技术的行为,并设计了新的解决方案,一次性的视觉模仿的问题。在这种情况下,智能体必须解决一个新任务的一个新实例,只需一个视觉演示。我们的分析表明,目前的方法由于三个错误而达不到要求:纯离线训练产生的Dagger问题,与对象交互的最后一厘米误差,以及与任务上下文而不是实际任务的不匹配。这激发了我们的模块化方法的设计,在该方法中,我们a)将任务推理(做什么)与任务执行(如何做)分开,b)开发数据增强和生成技术以减轻失配。前者允许我们利用手工制作的运动原语来执行任务,从而避免了Dagger问题和最后的厘米误差,而后者则使模型专注于任务而不是任务上下文。我们的模型在最近的两个基准测试中获得了100%和48%的成功率,分别比目前的最先进水平提高了90%和20%。
2023-02-09 cs.CV cs.LG cs.RO
FlowRetrieval: Flow-Guided Data Retrieval for Few-Shot Imitation Learning
Stanford University(斯坦福大学)
针对少样本模仿学习中现有数据检索方法的局限,提出 FlowRetrieval,利用光流表示提取跨任务相似运动并引导策略学习,显著提升了模拟与真实环境下的成功率。
2024-10-11 cs.LG cs.RO
Robust Imitation of Diverse Behaviors
DeepMind
深度生成模型最近在运动控制的模仿学习中显示出巨大的前景。如果有足够的数据,即使是有监督的方法也可以进行一次性的模仿学习;然而,当代理轨迹偏离演示时,它们很容易发生级联故障。与纯监督方法相比,生成对抗模仿学习(GAIL)可以从更少的演示中学习更鲁棒的控制器,但本质上是模式搜索,更难以训练。在本文中,我们将展示如何结合这两种方法的有利方面。我们的模型的基础是一种新型的变分自编码器的演示轨迹,学习语义策略嵌入。我们表明,这些嵌入可以在9自由度的雅科机器人手臂上学习,达到任务,然后平滑插值与由此产生的平滑插值达到的行为。利用这些策略表示,我们开发了一个新版本的GAIL,(1)比纯监督控制器更强大,特别是很少的演示,(2)避免了模式坍塌,捕获许多不同的行为时,GAIL本身没有。我们展示了我们的方法,学习不同的步态从演示的2D机器人和62自由度的3D人形在MuJoCo物理环境。
2017-07-14 cs.LG