Memory-based gaze prediction in deep imitation learning for robot manipulation
The University of Tokyo(东京大学)
深度模仿学习是一种很有前途的方法,在自主机器人操作中不需要硬编码的控制规则。目前深度模仿学习在机器人操作中的应用仅限于基于当前时间步状态的反应式控制。然而,未来的机器人也将被要求利用它们在复杂环境中的经验获得的记忆来解决任务(例如,当要求机器人在架子上找到先前使用过的物体时)。在这种情况下,简单的深度模仿学习可能会因为复杂环境造成的分心而失败。我们建议,从顺序的视觉输入的凝视预测,使机器人能够执行需要记忆的操作任务。该算法采用基于Transformer的自注意结构,对基于序列数据的视线估计进行记忆。所提出的方法进行了评估与一个真正的机器人多对象操作任务,需要以前的状态记忆。
2022-02-10 cs.AI cs.CV cs.RO
Deep Imitation Learning of Sequential Fabric Smoothing From an Algorithmic Supervisor
University of California, Berkeley(加利福尼亚大学伯克利分校);Honda Research Institute(本田研究所)
使织物变平和平滑的顺序拉动策略具有从手术到制造到家庭任务(例如铺床和折叠衣服)的应用。由于织物状态和动态的复杂性,我们应用深度模仿学习来学习策略,给定矩形织物样本的颜色(RGB)、深度(D)或组合颜色深度(RGBD)图像,估计拾取点并拉向量来展开织物以最大化覆盖率。为了生成数据,我们开发了一个结构模拟器和一个算法管理器,可以访问完整的状态信息。我们训练政策,在模拟中使用域随机化和数据集聚合(Dagger)的三个层次的困难,在初始随机配置。我们目前的结果比较五个基线政策学习的政策和报告系统的比较RGB与D与RGBD图像作为输入。在模拟中,学习的策略实现了与分析基线相当或更好的性能。在达芬奇研究工具包(dVRK)手术机器人的180个物理实验中,在模拟中训练的RGBD策略根据难度等级达到83%至95%的覆盖率,这表明有效的织物平滑策略可以从算法管理器中学习,深度传感是对颜色的有价值的补充。补充材料可在https://sites.google.com/view/fabric-smoothing上查阅。
2020-03-02 cs.AI cs.CV cs.RO
Embedding Symbolic Temporal Knowledge into Deep Sequential Models
National University of Singapore(新加坡国立大学)
序列和时间序列经常出现在机器人任务中,例如,活动识别和模仿学习。近年来,深度神经网络(DNN)已经成为一种有效的数据驱动方法,用于在给定足够的训练数据和计算资源的情况下处理序列。然而,当数据有限时,更简单的模型(如基于逻辑/规则的方法)工作得非常好,特别是当相关的先验知识应用于其构建时。然而,与DNN不同的是,这些“结构化”模型可能难以扩展,并且不能很好地处理原始的非结构化数据。在这项工作中,我们试图学习灵活的DNN,但在可用时利用先验时间知识。我们的方法是嵌入表示为线性时序逻辑(LTL)的符号知识,并使用这些嵌入来指导深度模型的训练。具体来说,我们通过图神经网络构造基于语义的LTL公式自动机的嵌入。实验表明,这些学习嵌入可以导致下游机器人任务,如顺序动作识别和模仿学习的改进。
2021-01-28 cs.AI cs.LG cs.RO
Self-Imitation Learning via Generalized Lower Bound Q-learning
Columbia University(哥伦比亚大学)
下界Q学习激励下的自模仿学习是一种新颖有效的离策略学习方法。在这项工作中,我们提出了一个n步下界,它推广了原来的返回为基础的下界Q学习,并介绍了一个新的家庭的自我模仿学习算法。为了给自我模仿学习提供的潜在性能增益提供一个正式的动机,我们证明了n步下界Q学习实现了固定点偏差和收缩率之间的权衡,与流行的未校正n步Q学习有密切的联系。我们最后表明,n步下限Q学习是一个更强大的替代返回为基础的自我模仿学习和未校正的n步,在广泛的连续控制基准任务。
2021-02-14 cs.LG stat.ML
Off-Dynamics Reinforcement Learning via Domain Adaptation and Reward Augmented Imitation
Johns Hopkins University(约翰斯·霍普金斯大学);University of California San Diego(加利福尼亚大学圣迭戈分校);Duke University(杜克大学)
提出DARAIL方法,结合领域适应与奖励增强模仿学习,解决动力学偏移下策略迁移问题,在基准环境中优于纯修改奖励等方法。
2024-11-15 cs.AI cs.LG cs.RO
Feedback Manipulation Regularization: Enabling Offline Agent Alignment for Imitation Learning
研究聚焦强化学习智能体行为与人类价值观对齐。提出反馈操纵正则化算法,利用评估反馈校正模仿学习策略。通过改编安全体育馆环境测试,该方法能提升适应性、减少对齐错误,在有限数据下也保持稳健。
2026-07-10 cs.AI cs.HC cs.LG
IQ-Learn: Inverse soft-Q Learning for Imitation
Stanford University(斯坦福大学);Google Research(谷歌研究院)
在许多顺序决策问题中(例如,机器人控制、玩游戏、顺序预测),可获得包含关于任务的有用信息的人类或专家数据。然而,从少量的专家数据中进行模仿学习(IL)在具有复杂动态的高维环境中可能具有挑战性。行为克隆是一种简单的方法,由于其实现简单和稳定的收敛性而被广泛使用,但不利用任何涉及环境动态的信息。许多利用动态信息的现有方法在实践中难以训练,这是由于在奖励和策略近似器或有偏的高方差梯度估计器上的对抗性优化过程。我们介绍了一种动态感知IL的方法,该方法通过学习单个Q函数来避免对抗性训练,隐式地表示奖励和策略。在标准基准测试中,隐式学习的奖励与地面真实奖励表现出高度的正相关性,说明我们的方法也可以用于逆强化学习(IRL)。我们的方法,逆软Q学习(IQ-Learn)在离线和在线模仿学习设置中获得了最先进的结果,在所需的环境交互数量和高维空间的可扩展性方面都显著优于现有方法,通常超过3倍。
2022-11-03 cs.AI cs.LG
Bridging the Imitation Gap by Adaptive Insubordination
Allen Institute for AI(艾伦人工智能研究院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
在实践中,模仿学习优于纯强化学习,只要有可能设计一个教学代理提供专家监督。然而,我们发现,当教学代理人作出决定,访问特权信息是不可用的学生,这些信息被边缘化在模仿学习,导致“模仿差距”,并可能,效果不佳。先前的工作通过从模仿学习到强化学习的进展来弥合这一差距。虽然通常是成功的,但对于需要在探索和记忆之间频繁切换的任务来说,渐进式学习是失败的。为了更好地解决这些任务,并减轻模仿差距,我们提出了“适应性不服从”(ADVISOR)。ADVISOR在训练过程中动态地对模仿和基于奖励的强化学习损失进行加权,从而实现在模仿和探索之间的动态切换。在网格世界,多智能体粒子环境和高保真3D模拟器中设置的一系列具有挑战性的任务中,我们证明了ADVISOR的动态切换优于纯模仿,纯强化学习以及它们的顺序和并行组合。
2021-12-03 cs.AI cs.CV cs.LG
IDIL: Imitation Learning of Intent-Driven Expert Behavior
Rice University(莱斯大学)
本文提出新型模仿学习算法IDIL,通过迭代估计专家意图并学习意图感知行为模型,模仿专家多样化意图驱动行为,无需对抗训练即可处理高维序列任务,在性能与意图推断上超越基准。
2024-04-25 cs.AI cs.LG cs.RO
Align Your Intents: Offline Imitation Learning via Optimal Transport
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);Artificial Intelligence Research Institute(人工智能研究院);University of California, Irvine(加州大学欧文分校)
离线强化学习(RL)通过预先收集的数据学习最优策略,而不与环境交互,从而解决顺序决策问题。到目前为止,它仍然有些不切实际,因为人们很少明确地知道奖励,而且很难追溯它。在这里,我们表明,模仿代理仍然可以学习所需的行为仅仅从观察专家,尽管没有明确的奖励或行动标签。在我们的方法AILOT(Aligned模仿学习via Optimal Transport)中,我们以一种意图的形式涉及状态的特殊表示,该意图在数据中包含成对的空间距离。给出这样的表示,我们定义内在的奖励函数通过最佳的专家和代理的轨迹之间的运输距离。我们报告说,AILOT在D4RL基准测试中的表现优于最先进的离线模仿学习算法,并通过在稀疏奖励任务中进行密集奖励重新标记来提高其他离线RL算法的性能。
2024-10-04 cs.AI cs.LG
Learning to Generalize for Sequential Decision Making
Information Sciences Institute(信息科学研究所);University of Southern California(南加州大学)
我们考虑的问题,使序列的决定,以完成任务,通过语言的媒介进行交互。这些问题通常用强化学习方法来解决。我们发现,这些模型不适用于新的任务域时,以及推广。然而,在强化学习范例下,充分训练和探索顺序决策制定的搜索空间所需的大量计算排除了包含大的上下文化语言模型,否则这可能实现期望的泛化能力。我们介绍了一个师生模仿学习的方法和手段转换的强化学习模型到自然语言理解模型。总之,这些方法使上下文语言模型的顺序决策问题空间的介绍。我们表明,模型可以更快地学习和推广更多,同时利用模仿学习和重构。我们的模型超过教师的表现在各种举行了决策问题,高达7%的领域内的问题和24%的领域外的问题。
2020-10-05 cs.AI cs.CL
Robot See, Robot Do: Imitation Reward for Noisy Financial Environments
University of Zagreb(萨格勒布大学);Faculty of Electrical Engineering and Computing(电气工程与计算机学院)
本文针对金融市场的低信噪比导致强化学习奖励函数估计存在噪声的问题,提出一种结合模仿学习与强化学习反馈的新颖稳健奖励函数,实证表明该方法显著提升了金融绩效指标。
2024-11-13 cs.LG cs.RO q-fin.TR
Hierarchical Imitation and Reinforcement Learning
California Institute of Technology(加州理工学院);Microsoft Research(微软研究院);University of Maryland(马里兰大学)
我们研究如何有效地利用专家反馈来学习顺序决策政策。我们专注于稀疏奖励和长时间视野的问题,这通常会给强化学习带来重大挑战。我们提出了一个算法框架,称为分层指导,它利用底层问题的层次结构来集成不同的专家交互模式。我们的框架可以在不同层次上结合模仿学习(IL)和强化学习(RL)的不同组合,从而大大减少专家的努力和探索成本。使用长期基准测试,包括Montezuma的Revenge,我们证明了我们的方法可以比分层RL更快地学习,并且比标准IL更有效。我们还从理论上分析了我们的框架的某些实例的标签成本。
2018-06-09 cs.AI cs.LG stat.ML
Beyond Compliance: A Resistance-Informed Motivation Reasoning Framework for Challenging Psychological Client Simulation
Southeast University(东南大学);Purple Mountain Laboratories(紫金山实验室);The Nanjing Derong Wisdom Information Technology Co., Ltd.(南京德融智信信息技术有限公司)
本文提出RIMR框架,通过整合外部行为与动机机制,改进心理客户模拟器,提升挑战性行为的真实性和推理一致性。
2026-04-12 cs.AI cs.HC
An Introduction to Deep Reinforcement and Imitation Learning
ISCTE – University Institute of Lisbon(里斯本大学理工学院)
本文介绍深度强化学习和深度模仿学习在具身智能体中的应用,涵盖马尔可夫决策过程、REINFORCE和PPO等核心算法,以及行为克隆、DAgger和GAIL等基础方法。
2026-05-15 cs.LG cs.RO
SPREAD: Subspace Representation Distillation for Lifelong Imitation Learning
SPREAD通过子空间表示蒸馏方法,在终身模仿学习中提升知识迁移和泛化能力,缓解灾难性遗忘,实现最优性能。
2026-03-09 cs.LG cs.RO
Fine-tuning is Not Enough: A Parallel Framework for Collaborative Imitation and Reinforcement Learning in End-to-end Autonomous Driving
Tongji University(同济大学);Nanyang Technological University(南洋理工大学);Chery Automobile(奇瑞汽车)
本文提出PaIR-Drive框架,通过并行分离模仿学习与强化学习,解决传统序列微调方法导致的策略漂移和性能瓶颈问题,实现协同优化,提升自动驾驶性能。
2026-04-10 cs.AI cs.RO
Divide & Conquer Imitation Learning
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);Institut des Systèmes Intelligents et de Robotique(智能系统与机器人研究所)
本文提出一种基于顺序归纳偏置的模仿学习方法,将复杂机器人任务分解为可串联的小技能,在仅有一个专家演示的极低数据条件下实现高样本效率的模仿学习。
2023-04-13 cs.AI cs.RO
On Efficient Online Imitation Learning via Classification
University of Arizona(亚利桑那大学)
模仿学习是解决序列决策问题的一种通用学习范式。交互式模仿学习,其中学习者可以交互式查询专家演示,已被证明可以实现可证明的优越的样本效率保证相比,其离线对应或强化学习。在这项工作中,我们研究了基于分类的在线模仿学习(焦v. $\textbf{COIL}$)和基本的可行性,在这种情况下,设计甲骨文高效的遗憾最小化算法,重点放在一般的不可实现的情况下。(2)提出了一个非线性在线学习算法框架--$\textbf{Logger}$,它利用混合策略类的新定义将$\textbf{COIL}$简化为在线线性优化问题;(3)在$\textbf{Logger}$框架下设计了两个具有不同样本和交互轮复杂度权衡的Oracle高效算法,并进行了有限样本分析,以显示它们相对于朴素行为克隆的改进;(4)证明了在标准复杂性理论假设下,有效的动态后悔最小化在$\textbf{Logger}$框架下是不可行的。我们的工作把基于分类的在线模仿学习,一个重要的IL设置,到一个坚实的基础。
2022-09-26 cs.LG
BeTAIL: Behavior Transformer Adversarial Imitation Learning from Human Racing Gameplay
University of California Berkeley(加利福尼亚大学伯克利分校);National University of Singapore(新加坡国立大学);Sony Research(索尼研究院)
针对序列建模难适应分布偏移、对抗模仿学习样本效率低的问题,提出结合BeT策略与在线AIL的残差式BeTAIL方法,在赛车游戏任务中减少交互、提升性能与稳定性。
2024-07-11 cs.LG cs.RO
Asymmetric On-Policy Distillation: Bridging Exploitation and Imitation at the Token Level
Huazhong University of Science and Technology(华中科技大学);Peking University(北京大学);Meituan(美团)
本文提出非对称在线策略蒸馏,通过局部散度最小化改进传统策略蒸馏,提升数学推理任务表现,实现更稳定的策略熵和持续工具使用能力。
2026-09-01 cs.AI cs.LG
Single-Reset Divide & Conquer Imitation Learning
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心)
本文提出SR-DCIL方法,通过单次初始状态重置替代顺序重置,结合Demo-Buffer、Value Cloning和Approximate Goal Switching机制,在较弱重置假设下从单一演示学习复杂机器人控制策略。
2024-02-14 cs.AI cs.RO
Mamba as a motion encoder for robotic imitation learning
Graduate School of Science and Engineering, Saitama University(埼玉大学大学院科学工程学研究科)
本文提出将Mamba作为机器人模仿学习的运动编码器,通过压缩序列信息并保留时间动态实现准确运动预测,实验证明其在实际任务执行中的成功率优于Transformers。
2024-09-25 cs.RO cs.SY eess.SY
Can We Detect Failures Without Failure Data? Uncertainty-Aware Runtime Failure Detection for Imitation Learning Policies
Toyota Research Institute (TRI)(丰田研究院);Woven by Toyota (WbyT)(丰田编织(WbyT))
针对模仿学习策略的运行时失败检测,提出模块化两阶段方法FAIL-Detect,利用共形预测和流密度估计器,无需失败数据,实现更准确快速的失败检测。
2025-06-20 cs.AI cs.LG cs.RO
Object-Aware Regularization for Addressing Causal Confusion in Imitation Learning
Korea Advanced Institute of Science and Technology(韩国科学技术院);Microsoft Research Asia(微软亚洲研究院)
行为克隆已被证明是有效的学习顺序决策的政策,从专家示范。然而,行为克隆经常遭受因果混淆的问题,即由于强相关性而不是我们想要的原因,政策依赖于专家行为的明显效果。本文介绍了对象感知的规则化(OREO),一个简单的技术,规范化的模仿政策,在对象感知的方式。我们的主要思想是鼓励政策,统一参加所有的语义对象,以防止利用滋扰变量与专家的行动强烈相关的政策。为此,我们引入了一个两阶段的方法:(a)我们通过利用来自矢量量化变分自编码器的离散代码从图像中提取语义对象,以及(b)我们随机丢弃共享相同离散代码的单元,即,屏蔽语义对象我们的实验表明,OREO显着提高了行为克隆的性能,在各种Atari环境和自动驾驶CARLA环境中的性能优于其他各种基于正则化和cacability-based方法。我们还表明,我们的方法甚至优于反向强化学习方法训练了大量的环境交互。
2021-10-27 cs.AI cs.LG
Merge or Not? Learning to Group Faces via Imitation Learning
SenseTime(商汤科技);The Chinese University of Hong Kong(香港中文大学)
给定大量未标记的人脸图像,人脸分组旨在将图像聚类为数据中存在的个体身份。尽管深度学习方法在学习面部表示方面具有显着的能力,但该任务仍然是一个具有挑战性的问题。特别是,分组结果可能仍然是令人震惊的给定的轮廓的脸和大量的无趣的脸和嘈杂的检测。通常,用户需要手动纠正错误的分组。在这项研究中,我们制定了一个新的人脸分组框架,学习聚类策略,从地面实况模拟行为。这是通过逆强化学习(IRL)的模仿学习(也称为学徒学习或观看学习)来实现的。与现有的聚类方法相比,我们的框架通过相似性对实例进行分组,从而动态地决定何时合并由短期和长期奖励驱动的两个人脸实例/组。在三个基准数据集上的大量实验表明,我们的框架优于无监督和监督基线。
2017-07-13 cs.CV cs.LG
Robots Learn Increasingly Complex Tasks with Intrinsic Motivation and Automatic Curriculum Learning
ENSTA Paris, Institut Polytechnique de Paris(巴黎综合理工学院巴黎高等先进技术学院);Inria(法国国家信息与自动化研究所);IMT Atlantique(大西洋国立高等矿业电信学校);Université Bretagne Sud(南布列塔尼大学);ENIB(布雷斯特国立工程师学院);Lab-STICC(信息与通信科学技术实验室)
机器人多任务学习对领域知识提出了挑战:任务的复杂性,所需动作的复杂性,迁移学习任务之间的关系。我们证明,这一领域的知识可以学习,以解决终身学习的挑战。具体而言,各种复杂任务之间的层次结构是从简单任务到复合任务推断课程的关键。我们提出了一个框架,机器人学习序列的无限复杂的行动,以实现多种控制任务的各种复杂性。我们的分层强化学习框架,命名为SGIM-SAHT,提供了一个新的研究方向,并试图统一部分实现机器人手臂和移动机器人。我们概述了我们的贡献,使机器人映射多个控制任务的动作序列:任务依赖关系的表示,内在动机的探索学习任务层次结构,和积极的模仿学习。在学习任务的层次结构时,它通过决定首先探索哪些任务,如何转移知识,以及何时,如何和谁模仿来推断其课程。
2022-02-11 cs.AI cs.RO
Lifelong Imitation Learning with Multimodal Latent Replay and Incremental Adjustment
本文提出了一种持续模仿学习方法,通过多模态潜在空间回放和渐进特征调整机制,在现实约束下实现持续策略优化,提升了在LIBERO基准上的性能。
2026-03-12 cs.CV cs.RO
Learning Robust Bed Making using Deep Imitation Learning with DART
Department of Electrical Engineering and Computer Sciences(电气工程与计算机科学系);Toyota Research Institute(丰田研究所);Department of Industrial Engineering and Operations Research(工业工程与运筹学系);University of California, Berkeley(加州大学伯克利分校)
铺床是一个普遍的家庭任务,可以是具有挑战性的老年人由于达到议案。自动化铺床具有多个技术挑战,例如在非结构化环境中的感知,可变形物体操纵,避障和顺序决策。我们探讨如何DART,LfD算法学习强大的政策,可以应用于自动化床制作没有基准标记与丰田人类支持机器人(HSR)。通过收集抓取板材和故障检测的人类演示,我们可以学习深度神经网络策略,这些策略利用预先训练的YOLO功能来自动执行任务。使用1/2比例的双人床和放置在床上的干扰物进行的实验表明,使用DART进行的50次演示中学习的策略实现了96%的床单覆盖率,这比使用轮廓检测的角落检测器基线好200%以上。
2017-11-07 cs.RO
On Computation and Generalization of Generative Adversarial Imitation Learning
Georgia Tech(佐治亚理工学院);Xi’an Jiaotong University(西安交通大学);Princeton University(普林斯顿大学);Northwestern University(西北大学)
生成对抗模仿学习(GAIL)是一种学习顺序决策策略的强大而实用的方法。与强化学习(RL)不同,GAIL利用专家的演示数据(例如,人类),并学习未知环境的策略和奖励函数。尽管取得了重大的经验进展,GAIL背后的理论在很大程度上仍然是未知的。主要的困难来自潜在的时间依赖性的示范数据和极小极大计算公式GAIL没有凹凸结构。为了弥合理论与实践之间的差距,本文研究了GAIL的理论特性。具体而言,我们显示:(1)对于一般报酬参数化的GAIL,只要适当控制报酬函数的类,就可以保证推广性;(2)对于报酬参数化为再生核函数的GAIL,可以用随机一阶优化算法有效地求解,该算法可以达到次线性收敛到平稳解.据我们所知,这些是第一个结果的统计和计算保证模仿学习与奖励/政策函数近似。数值实验支持我们的分析。
2020-01-12 cs.LG stat.ML
R2BC: Multi-Agent Imitation Learning from Single-Agent Demonstrations
Kahlert School of Computing, University of Utah(犹他大学凯勒尔计算学院);DEVCOM Army Research Laboratory(陆军研究实验室)
提出R2BC方法,通过轮换单智能体演示训练多机器人系统,无需联合动作空间演示,在模拟和实物任务中性能媲美或超越基于特权同步演示的基线方法。
2026-06-18 cs.AI cs.MA cs.RO
Imitation learning-based spacecraft rendezvous and docking method with Expert Demonstration
Department of Control Science and Engineering, Harbin Institute of Technology(控制科学与工程系,哈尔滨工业大学);Department of Mechanical and Automation Engineering, The Chinese University of Hong Kong(机械与自动化工程系,香港中文大学)
本文提出基于模仿学习的航天器对接与 docking 控制框架,通过专家示范学习控制策略,提升鲁棒性和稳定性,实现准确且节能的无模型控制。
2026-01-19 cs.RO cs.SY eess.SY
On Learning Informative Trajectory Embeddings for Imitation, Classification and Regression
Singapore Management University(新加坡管理大学);Rutgers University(罗格斯大学)
针对现有轨迹编码方法依赖奖励、泛化性差的问题,提出无奖励标签的轨迹嵌入新方法,可捕捉决策过程技能,在多下游任务表现优异,还具备行为控制等独特属性。
2025-01-17 cs.AI cs.LG
Modeling Human Driving Behavior through Generative Adversarial Imitation Learning
自动驾驶汽车安全性验证的一个开放性问题是在仿真中建立可靠的人类驾驶行为模型。这项工作提出了一种从真实世界驾驶演示数据中学习神经驾驶策略的方法。我们模拟人类驾驶的顺序决策问题,其特征在于非线性和随机性,和未知的潜在成本函数。模仿学习是一种用于在成本函数未知或难以指定时生成智能行为的方法。生成对抗模仿学习(GAIL)建立在逆强化学习(IRL)的基础上,旨在为具有大或连续状态和动作空间的问题提供有效的模仿,例如模拟人类驾驶。本文描述了使用GAIL进行基于学习的驱动程序建模。由于驱动程序建模本质上是一个多代理问题,代理之间的交互需要建模,本文描述了一个参数共享扩展GAIL称为PS-GAIL来解决多代理驱动程序建模。此外,GAIL是领域不可知的,使得在学习过程中难以编码与驾驶相关的特定知识。本文介绍了奖励增强模仿学习(RAIL),它修改奖励信号,提供特定领域的知识代理。最后,人类的演示取决于GAIL可能无法捕捉到的潜在因素。本文介绍了烧伤InfoGAIL,它允许在演示中的潜在变异的解开。模仿学习实验使用NGSIM,一个真实世界的高速公路驾驶数据集。实验表明,这些修改GAIL可以成功地模拟高速公路驾驶行为,准确地复制人类的示范和产生现实的,紧急的行为在交通流中所产生的驾驶代理之间的相互作用。
2023-02-07 cs.AI
World Action Models Enable Continual Imitation Learning with Recurrent Generative Replays
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
提出循环生成重放(REGEN)框架,利用世界行动模型(WAM)生成伪重放轨迹,使机器人策略在不存储原始演示的情况下复习先前任务,在仿真和真实实验中减少50%灾难性遗忘,接近真实重放性能。
2026-06-26 cs.CV cs.RO
Adversarial Intrinsic Motivation for Reinforcement Learning
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Sony AI(索尼人工智能)
以最小化与参考分布的不匹配为目标的学习已经被证明对于生成建模和模仿学习是有用的。在本文中,我们调查是否这样一个目标,一个政策的状态访问分布和目标分布之间的Wasserstein-1距离,可以有效地利用强化学习(RL)任务。具体而言,本文重点研究目标条件强化学习,其中理想化(无法实现)的目标分布在目标上具有充分的度量。本文介绍了一个准度量特定的马尔可夫决策过程(MDP),并使用此准度量估计上述Wasserstein-1距离。它进一步表明,使Wasserstein-1距离最小化的策略是以尽可能少的步骤达到目标的策略。我们的方法,称为对抗性内在动机(AIM),通过其双重目标估计Wasserstein-1距离,并使用它来计算补充奖励函数。我们的实验表明,这个奖励函数的变化顺利相对于过渡MDP和指导代理的探索,以有效地找到目标。此外,我们将AIM与后见之明经验重放(HER)相结合,并表明与鼓励探索或加速学习的其他奖励相比,所产生的算法在几个模拟机器人任务上显着加速学习。
2021-10-28 cs.LG
A Strong Baseline for Batch Imitation Learning
University of Oxford(牛津大学);Spotify
专家行为的模仿是一个非常可取的和安全的方法来解决问题的顺序决策。我们提供了一个易于实现的,新颖的算法模仿学习下严格的数据范式,其中的代理必须学习只从收集的数据先验。这种模式允许我们的算法用于安全或成本是关键问题的环境。我们的算法不需要任何标准批处理强化学习(RL)算法之外的额外超参数调整,使其成为此类数据严格制度的理想基线。此外,我们提供了正式的样本复杂性保证的算法在有限马尔可夫决策问题。在这样做的时候,我们正式证明了Kearns & Singh(1998)的一个未经证实的主张。在经验方面,我们的贡献是双重的。首先,我们为离线RL方法开发了一个实用,强大和有原则的评估协议,只使用为模型选择提供的数据集。这与之前绝大多数离线RL的工作形成了鲜明对比,离线RL在评估环境中调整超参数,限制了在新的成本关键型环境中部署时的实用性。因此,我们为离线RL算法的开发和公平评估建立了先例。其次,我们评估我们自己的算法具有挑战性的连续控制基准,证明其实用性和竞争力与最先进的性能,尽管是一个简单的算法。
2023-02-06 cs.LG
Cloud-Based Hierarchical Imitation Learning for Scalable Transfer of Construction Skills from Human Workers to Assisting Robots
University of Michigan(密歇根大学)
提出基于云机器人的虚拟演示框架,结合分层模仿学习分解人类操作技能,实现建筑技能从工人向辅助机器人的规模化迁移,减少重复演示并提升训练可信度。
2023-09-20 cs.AI cs.RO
Interactive and Hybrid Imitation Learning: Provably Beating Behavior Cloning
University of Arizona(亚利桑那大学)
本文提出Warm Stagger方法,证明在按状态计算注释成本时,交互式和混合模仿学习可超越传统行为克隆方法。
2026-01-13 cs.LG stat.ML
Wanting to be Understood
Google DeepMind(谷歌DeepMind)
本文通过感知交叉范式仿真研究强化学习智能体的内在动机,发现仅靠人工好奇心不足以促成社会互动,而强调相互理解的奖励能驱动智能体优先互动并促进合作。
2025-04-10 cs.AI cs.CL cs.LG
BEACON: Belief-Enabled Adaptive CONtrol for Imitation Learning under Uncertainty
Carnegie Mellon University(卡内基梅隆大学)
针对部分可观测机器人操作中状态混叠导致模仿学习性能差的问题,提出用贝叶斯信念结构化表示隐藏状态来条件化扩散策略,在两个领域显著优于基线并接近特权性能。
2026-09-22 cs.RO
Sequential Causal Imitation Learning with Unobserved Confounders
Purdue University(普渡大学);Columbia University(哥伦比亚大学)
“猴子看猴子做”是一句古老的格言,指的是对系统底层机制没有深刻理解的天真模仿。事实上,如果演示者可以获得模仿者(猴子)无法获得的信息,例如一组不同的传感器,那么无论模仿者如何完美地模拟其感知的环境(见),试图复制演示者的行为(做)可能会导致糟糕的结果。在因果模仿学习的标题下,在演示者和模仿者之间存在失配的情况下的模仿学习已经在文献中进行了研究(Zhang et al.,2020年),但现有的解决方案仅限于单阶段决策。本文研究了序列情境下的因果模仿学习问题,其中模仿者在每一集必须做出多个决定。我们开发了一个图形化的标准,这是必要的和足够的因果模仿的可行性,提供条件时,模仿者可以匹配演示者的性能,尽管不同的能力。最后,我们提供了一个有效的算法来确定模仿和证实我们的理论与模拟。
2022-08-12 cs.AI cs.LG
Representation Matters: Offline Pretraining for Sequential Decision Making
Google Research(谷歌研究院)
最近监督学习方法在越来越大的离线数据集上的成功激发了人们对强化学习(RL)领域的兴趣,以研究相同的范式是否可以转化为RL算法。这个研究领域被称为离线RL,主要集中在离线策略优化上,旨在完全从离线数据中找到回报最大化的策略。在本文中,我们考虑了一种稍微不同的方法,将离线数据纳入顺序决策。我们的目标是回答这样一个问题,即应用于离线数据集的无监督目标能够学习状态表示,从而提高下游任务的性能,这些下游任务是否是在线RL,专家演示的模仿学习,甚至是基于同一离线数据集的离线策略优化?通过利用标准离线RL数据集进行的各种实验,我们发现使用具有无监督学习目标的预训练可以显着提高策略学习算法的性能,否则这些算法本身的性能就很一般。广泛的消融进一步提供了对这些无监督目标的组成部分的了解-例如,奖励预测、连续或离散表示、预训练或微调--是最重要的,以及在哪些环境中。
2021-02-11 cs.AI cs.LG
Progressively Efficient Learning
University of California, Berkeley(加州大学伯克利分校);Princeton University(普林斯顿大学);University of Maryland, College Park(马里兰大学帕克分校);Microsoft Research(微软研究院)
提出通信高效交互学习框架CEIL,通过抽象动态语言和内在动机使AI智能体与教师渐进高效地交换抽象意图,在2D MineCraft任务中显著优于模仿学习且对人类通信行为建模稳健。
2023-10-13 cs.AI cs.HC cs.LG
Toward the Fundamental Limits of Imitation Learning
University of California, Berkeley(加州大学伯克利分校);University of California, Los Angeles(加州大学洛杉矶分校)
模仿学习(IL)的目的是模仿行为的专家政策在一个顺序的决策问题,只有示范。在本文中,我们专注于了解的最小最大的统计限制,在情节马尔可夫决策过程(MDP)的IL。我们首先考虑这样的设置,其中提前向学习者提供$N$专家轨迹的数据集,并且不能与MDP交互。在这里,我们表明,模仿专家的政策,尽可能是在预期$\lesssim \frac{|\mathcal{S}| H^2 \log (N)}{N}$次优的专家相比,价值,即使当专家遵循任意的随机政策。这里$\mathcal{S}$是状态空间,$H$是事件的长度。此外,我们建立了一个次优下限的$\gtrsim |\mathcal{S}| H^2 / N$适用,即使专家被限制为确定性的,或者如果学习者被允许积极查询专家在访问状态,同时与MDP的$N$插曲。据我们所知,这是第一个具有次优性的算法,在没有额外假设的情况下不依赖于动作数量。然后,我们提出了一种新的算法,基于最小距离泛函的设置中的过渡模型和专家是确定性的。该算法是次优的$\lesssim \min \{ H \sqrt{|\mathcal{S}| / N} ,\ |\mathcal{S}| H^{3/2} / N \}$,表明知识的过渡提高极小极大率至少一个$\sqrt{H}$的因素。
2020-09-13 cs.AI cs.LG math.OC
IL-ACT: Imitation Learning with Adaptive Cartesian Tracking Control for a 30-ton Excavator
Tampere University(坦佩雷大学);Korea University(高丽大学);Ajou University(亚洲大学)
针对30吨级挖掘机,提出IL-ACT框架,结合模仿学习与自适应笛卡尔跟踪,在仿真中实现更短时长、更低误差的自主控制,显著优于对比方法。
2026-09-16 cs.RO
Replicating Complex Dialogue Policy of Humans via Offline Imitation Learning with Supervised Regularization
Zhejiang Lab(之江实验室);Zhejiang University(浙江大学)
针对任务型对话中模仿人类策略的难题,提出一种无需用户模拟器、利用状态转移信息并引入正则化技巧的离线模仿学习模型,在四个公开数据集的动作预测任务上取得更优性能。
2023-05-06 cs.AI cs.CL
Unsupervised Reward Shaping for a Robotic Sequential Picking Task from Visual Observations in a Logistics Scenario
Boston University(波士顿大学);Pickle Robot Co.(Pickle机器人公司)
针对物流卸货的顺序拣选任务,本文提出一种基于专家观测的无监督奖励塑形算法,以降低强化学习对监督的依赖并提升其性能。
2023-05-27 cs.LG cs.RO cs.SY
MAHALO: Unifying Offline Reinforcement Learning and Imitation Learning from Observations
University of Washington(华盛顿大学);Microsoft Research(微软研究院)
本文提出MAHALO,一种基于悲观性能下界和对抗训练的通用离线PLfO方法,统一处理离线IL、ILfO和RL,并在多类任务上优于或匹配专门算法。
2023-08-06 cs.LG
PAIL: Performance based Adversarial Imitation Learning Engine for Carbon Neutral Optimization
Rutgers University(罗格斯大学);Rutgers Business School(罗格斯商学院);NEC Laboratories(NEC实验室);University of Pittsburgh(匹兹堡大学)
针对工业碳中和优化中DRL方法需预定义奖励函数的难题,提出PAIL引擎,结合Transformer策略生成、对抗判别与Q学习性能估计,无需预定义动作奖励即可获取最优策略,效果优于现有基线且具备可解释性。
2024-07-12 cs.AI cs.LG
Offline Imitation of Badminton Player Behavior via Experiential Contexts and Brownian Motion
National Yang Ming Chiao Tung University(国立阳明交通大学)
本文提出 RallyNet,一种基于上下文马尔可夫决策过程与几何布朗运动的分层离线模仿学习模型,用于从离线羽毛球单打数据中按回合模仿运动员决策行为,并在真实数据集上验证其性能优于现有方法至少16%。
2024-08-03 cs.AI cs.LG
Large Language Models for Sequential Decision-Making: Improving In-Context Learning via Supervised Fine-Tuning
Harvard University(哈佛大学)
本文研究了大型语言模型在序列决策任务中的上下文学习能力,通过监督微调提升其在马尔可夫决策过程等场景中的决策性能,实验表明微调后的模型在复杂环境中表现更优。
2026-05-09 cs.AI cs.LG
myGym: Modular Toolkit for Visuomotor Robotic Tasks
我们介绍了一种新的虚拟机器人工具包myGym,强化学习(RL),内在动机和模仿学习任务训练的3D模拟器开发。然后,经过训练的任务可以很容易地转移到现实世界的机器人场景中。模拟器的模块化结构使用户能够在各种机器人,环境和任务的大量场景中进行训练和验证他们的算法。与适用于经典RL的现有工具包(例如OpenAI Gym,Roboschool)相比,myGym还为需要内在动机的视觉(结合视觉和运动)无监督任务做好了准备,即机器人能够生成自己的目标。还有一些用于人机交互的协作场景。该工具包为可视化任务提供了预训练的可视化模块,允许快速原型化,此外,用户可以自定义可视化子模块并使用自己的对象集进行重新训练。在实践中,用户选择所需的环境,机器人,对象,任务和奖励类型作为模拟参数,训练,可视化和测试本身都是自动处理的。因此,用户可以完全专注于神经网络架构的开发,同时使用预定义的参数控制环境的行为。
2020-12-21 cs.AI cs.RO
Learning Sparse Rewarded Tasks from Sub-Optimal Demonstrations
Michigan State University(密歇根州立大学);Google Research(谷歌研究院)
无模型深度强化学习(RL)在许多复杂的序贯决策问题上已经显示出其优越性。然而,对密集奖励和高样本复杂性的严重依赖阻碍了这些方法在现实世界中的广泛采用。另一方面,模仿学习(IL)通过利用现有的专家演示,在稀疏奖励任务中有效地学习。在实践中,收集足够数量的专家演示可能是非常昂贵的,并且演示的质量通常限制了学习策略的性能。在这项工作中,我们提出了自适应模仿学习(SAIL),可以实现(近)最佳性能,只有有限数量的次优演示高度挑战性的稀疏奖励任务。SAIL结合了IL和RL的优势,通过有效地利用超最佳演示和有效地探索环境来超越演示的性能,从而大大降低了样本的复杂性。大量的实验结果表明,SAIL不仅显着提高了样本效率,但也导致更好的最终性能在不同的连续控制任务,相比国家的最先进的。
2020-04-01 cs.AI cs.LG cs.RO