Smooth Imitation Learning for Online Sequence Prediction
California Institute of Technology(加州理工学院);Disney Research(迪士尼研究院)
我们研究了在线序列预测的平滑模仿学习问题,其目标是训练一个策略,该策略可以在动态和连续的环境中平滑地模仿在线顺序上下文输入的行为。由于从上下文到行为的映射通常是复杂的,因此我们采用学习简化方法将平滑模仿学习简化为使用正则化以确保平滑的复杂函数类的回归问题。我们提出了一个学习元算法,实现快速和稳定的收敛到一个好的政策。我们的方法享有几个有吸引力的属性,包括完全确定性,采用自适应学习率,可以证明产生更大的政策改进相比,以前的方法,并能够确保稳定的收敛。我们的实证结果表明,显着的性能增益比以前的方法。
2016-06-03 cs.LG
Towards Generalisable Imitation Learning Through Conditioned Transition Estimation and Online Behaviour Alignment
King's College London(伦敦国王学院)
本文提出UfO方法,通过条件转移估计和在线行为对齐,实现无监督模仿学习,提升模型在未见场景中的泛化能力。
2026-01-24 cs.AI cs.LG
A Reduction of Imitation Learning and Structured Prediction to No-Regret Online Learning
Carnegie Mellon University(卡内基梅隆大学)
序列预测问题,如模仿学习,未来的观察取决于以前的预测(行动),违反了共同的独立同分布。统计学习中的假设。这在理论上和实践中往往导致性能不佳。最近的一些方法在这种情况下提供了更强的保证,但仍然有些不令人满意,因为它们训练非平稳或随机的政策,并需要大量的迭代。在本文中,我们提出了一个新的迭代算法,它训练一个固定的确定性政策,可以被看作是一个没有遗憾的算法在在线学习设置。我们表明,任何这样的无遗憾算法,结合额外的减少假设,必须找到一个政策下,它诱导在这样的顺序设置的观测分布具有良好的性能。我们证明了这种新的方法优于以前的方法在两个具有挑战性的模仿学习问题和基准序列标记问题。
2011-03-16 cs.AI cs.LG stat.ML
Policy Decorator: Model-Agnostic Online Refinement for Large Policy Model
UC San Diego(加利福尼亚大学圣迭戈分校)
本文提出Policy Decorator,一种模型无关的残差策略方法,通过在线交互优化大型模仿学习模型,在ManiSkill和Adroit基准上显著提升了策略性能并保持了平滑运动。
2024-12-18 cs.AI cs.LG cs.RO
When Does Online Imitation Learning Help in LLM Post-Training? The Role of (Non-)Realizability Beyond Horizon
Tsinghua University(清华大学);Carnegie Mellon University(卡内基梅隆大学);UC Berkeley(加州大学伯克利分校);Harvard University(哈佛大学)
本文挑战误差累积是在线模仿学习优势主要来源的观点,证明在线交互的收益关键取决于设置是否可实现,并在非可实现情况下提出奖励相关的结构特征,使在线学习仍能取得高性能。
2026-06-29 cs.LG
Continuous Online Learning and New Insights to Online Imitation Learning
University of California, Berkeley(加州大学伯克利分校);Georgia Institute of Technology(佐治亚理工学院)
在线学习是分析迭代算法的有力工具。然而,经典的对抗性设置有时无法捕捉到实践中在线问题的某些规律性。出于这一动机,我们建立了一个新的设置,称为连续在线学习(COL),在线损失函数的梯度不断变化,跨轮相对于学习者的决定。我们表明,COL涵盖并更恰当地描述了许多有趣的应用,从一般均衡问题(EPs)的优化,在情节MDPs。使用这个新的设置,我们重新审视实现次线性动态后悔的困难。我们证明了在COL中实现次线性动态遗憾和解决某些EP之间存在基本等价性,并且我们提出了从动态遗憾到静态遗憾和相关EP的收敛速度的减少。最后,我们将这些新的见解专门用于在线模仿学习,并对其学习稳定性进行了改进。
2019-12-03 cs.LG math.OC stat.ML
Reward-free World Models for Online Imitation Learning
South China University of Technology(华南理工大学);Hillbot Inc.(Hillbot 公司);University of California, San Diego(加州大学圣迭戈分校)
本文提出利用无奖励世界模型的在线模仿学习方法,通过潜在动力学建模、逆 soft-Q 学习与规划控制,在多个高维复杂任务基准上实现稳定专家级性能。
2025-05-11 cs.LG
Explaining Fast Improvement in Online Imitation Learning
Georgia Tech(佐治亚理工学院);University of Washington(华盛顿大学);Microsoft Research(微软研究院)
在线模仿学习(IL)是一种算法框架,其利用与专家策略的交互来进行有效的策略优化。在这里,通过对一系列损失函数执行在线学习来优化策略,这些损失函数鼓励学习者模仿专家的动作,并且如果在线学习没有遗憾,则代理可以证明学习到类似专家的策略。在线IL已经在许多应用中取得了经验性的成功,有趣的是,在实践中观察到的其政策改进速度通常比现有理论表明的要快得多。在这项工作中,我们提供了一个解释这种现象。令$ξ$表示策略类偏差,并假设在线IL损失函数是凸的、平滑的和非负的。我们证明,$N$轮后的在线IL随机反馈,政策改善$\tilde{O}(1/N + \sqrt{ξ/N})$在预期和高概率。换句话说,我们表明,在在线IL中采用足够表达的策略类有两个好处:策略改进速度增加和性能偏差降低。
2021-02-22 cs.LG cs.RO stat.ML
Online Baum-Welch algorithm for Hierarchical Imitation Learning
Boston University(波士顿大学)
近年来,分层强化学习的选项框架越来越受欢迎,并在解决强化学习的可扩展性问题方面取得了进展。然而,这些最近的成功大多与适当的选项初始化或发现有关。当专家可用时,选项发现问题可以通过直接从专家演示中学习选项类型的分层策略来解决。这个问题被称为分层模仿学习,并且可以被处理为隐马尔可夫模型中的推理问题,其通过期望最大化类型算法来完成。在这项工作中,我们提出了一种新的在线算法进行分层模仿学习的选项框架。此外,我们讨论了这样的算法的好处,并将其与经典强化学习基准测试中的批处理版本进行比较。我们表明,这种方法在离散和连续的环境中工作良好,在某些条件下,它优于批处理版本。
2021-03-22 cs.LG cs.SY eess.SY
Robot Imitation through Vision, Kinesthetic and Force Features with Online Adaptation to Changing Environments
Universidad Carlos III de Madrid(马德里卡洛斯三世大学)
连续目标导向动作(Continuous Goal-Directed Actions,CGDA)是一个机器人模仿框架,它将动作编码为它们对环境产生的变化。虽然它在泛化和可移植性方面相对于其他机器人模仿框架具有许多优点,但用于执行动作的最终机器人关节轨迹不一定在模型内编码。这是作为一个优化问题进行研究,并通过模拟环境中的进化算法计算的解决方案。进化算法需要大量的评估,这使得这些算法在现实世界中的应用非常具有挑战性。本文提出了在线进化策略,作为CGDA执行中的范式变化。在线进化策略将运动执行转移并合并到规划循环中。提出了一种具体的在线进化策略--在线进化轨迹(OET)。OET大大减少了运动执行之间的计算时间,并使工作在现实世界的动态环境和/或与人类合作。它的性能已经通过全轨迹进化(FTE)和增量进化轨迹(IET)进行了测量,获得了最佳的总体结果。TEO全尺寸的人形机器人与“油漆”和“铁”的行动,共同涉及视觉,动觉和力的功能进行实验评估。
2019-10-23 cs.LG cs.NE cs.RO
Translating Flow to Policy via Hindsight Online Imitation
Institute for Interdisciplinary Information Sciences, Tsinghua University(清华大学交叉信息研究院);University of California San Diego(加州大学圣地亚哥分校);Washington University in St. Louis(圣路易斯华盛顿大学);Shanghai Jiao Tong University(上海交通大学);Shanghai Qi Zhi Institute(上海启智研究所)
通过回顾在线模仿将流翻译为政策,利用2D点流作为高层规划器,在模拟和现实任务中实现超过2倍的性能提升。
2026-02-12 cs.LG cs.RO
Reinforcement and Imitation Learning via Interactive No-Regret Learning
Carnegie Mellon University(卡内基梅隆大学)
最近的工作表明,问题-特别是模仿学习和结构化预测-其中学习者的预测影响其测试的输入分布,可以通过交互式方法自然解决,并使用无遗憾在线学习进行分析。然而,这些模仿学习的方法既不需要也不受益于关于行动成本的信息。我们在两个方向上扩展现有的结果:首先,我们开发了一种利用成本信息的交互式模仿学习方法;其次,我们扩展了该技术以解决强化学习。研究结果为在线近似策略迭代的成功提供了理论支持。我们的方法提出了一个广泛的新的算法家族,并提供了一个统一的观点,现有的技术模仿和强化学习。
2014-06-23 cs.LG stat.ML
Accelerating Imitation Learning with Predictive Models
Georgia Tech(佐治亚理工学院)
样本效率在解决现实世界的强化学习问题中至关重要,其中代理-环境交互可能代价高昂。从专家建议中模仿学习已被证明是减少训练策略所需的交互次数的有效策略。在线模仿学习将策略评估和策略优化交织在一起,是一种特别有效的技术,具有可证明的性能保证。在这项工作中,我们寻求进一步加快在线模仿学习的收敛速度,从而使其更有效的样本。我们提出了两个基于模型的算法的启发跟随领导者(FTL)与预测:MoBIL-VI的基础上解决变分不等式和MoBIL-Prox的基础上随机一阶更新。这两种方法利用模型来预测未来的梯度,以加速策略学习。当模型预言机在线学习时,这些算法可以证明将已知的最佳收敛速度加快一个数量级。我们的算法可以被看作是一个推广的随机逼近(Juditsky等人,2011年),并承认一个简单的建设性的超光速风格的性能分析。
2018-10-13 cs.LG stat.ML
Online Imitation Learning for Manipulation via Decaying Relative Correction through Teleoperation
Faculty of Mechanical Engineering, Swiss Federal Institute of Technology Lausanne(洛桑联邦理工学院机械工程学院)
针对遥操作模仿学习需大量数据、专家持续反馈负担重的问题,提出基于绳驱遥操作系统的衰减相对校正(DRC)方法,可减少专家干预,集成到在线模仿学习框架后能快速提升操作任务成功率。
2025-03-19 cs.LG cs.RO
Provably Efficient Generative Adversarial Imitation Learning for Online and Offline Setting with Linear Function Approximation
University of Science and Technology of China(中国科学技术大学);Northwestern University(西北大学);Princeton University(普林斯顿大学)
在生成对抗模仿学习(GAIL)中,智能体的目标是从专家演示中学习策略,使得其性能在某个预定义的奖励集上不能与专家策略区分开。在本文中,我们研究了GAIL在在线和离线设置与线性函数近似,其中的过渡和奖励函数是线性的特征映射。除了专家演示之外,在在线设置中,代理可以与环境交互,而在离线设置中,代理仅访问由先前收集的附加数据集。针对在线GAIL,我们提出了一种乐观生成式对抗策略优化算法(OGAP),并证明了OGAP实现了$\widetilde{\mathcal{O}}(H^2 d^{3/2}K^{1/2}+KH^{3/2}dN_1^{-1/2})$遗憾.这里,$N_1$表示专家演示的轨迹的数量,$d$是特征维度,并且$K$是情节的数量。对于离线GAIL,我们提出了一个悲观生成对抗策略优化算法(PGAP)。对于任意的附加数据集,我们得到了PGAP的最优性差距,实现了附加数据集利用率的极大极小下界。假设在额外的数据集上有足够的覆盖率,我们证明了PGAP实现了$\widetilde{\mathcal{O}}(H^{2}dK^{-1/2} +H^2d^{3/2}N_2^{-1/2}+H^{3/2}dN_1^{-1/2} \ )$最优性差距。这里,$N_2$表示具有足够覆盖的附加数据集的轨迹的数量。
2021-08-19 cs.AI cs.LG math.OC
Improved Policy Optimization for Online Imitation Learning
University of British Columbia(不列颠哥伦比亚大学);Simon Fraser University(西蒙弗雷泽大学)
我们认为在线模仿学习(OIL),其中的任务是找到一个政策,模仿专家的行为,通过与环境的积极互动。我们的目标是弥合政策优化算法的理论和实践之间的差距,通过分析最流行的OIL算法之一,DAGER。具体来说,如果类的政策是足够的表达,包含专家的政策,我们证明,DAGGER实现不断的遗憾。与以前的界限,要求损失是强凸的,我们的结果只需要较弱的假设,损失是强凸的政策的充分统计(而不是其参数化)。为了确保更广泛的政策和损失的收敛性,我们增加了一个额外的正则化项DAGGER。特别是,我们提出了一个变种的跟随正规化的领导者(FTRL)及其自适应的OIL的变种,并开发了一个内存效率的实现,这符合FTL的内存要求。假设损失函数是光滑的,凸的政策参数,我们还证明了FTRL实现任何充分表达的政策类恒定的遗憾,同时保留$O(\sqrt{T})$遗憾在最坏的情况下。我们证明了这些算法的有效性与合成和高维控制任务的实验。
2022-07-29 cs.LG
Overcoming Knowledge Barriers: Online Imitation Learning from Visual Observation with Pretrained World Models
Volkswagen Group(大众集团);Technical University of Munich(慕尼黑技术大学);Eötvös Loránd University Budapest(布达佩斯欧多立大学)
本研究提出AIME-NoB算法,通过在线交互和数据驱动正则化器及替代奖励函数,克服预训练模型在视觉观察模仿学习中的具身和演示知识障碍,显著提升样本效率和性能。
2025-04-23 cs.LG
Accelerating Self-Imitation Learning from Demonstrations via Policy Constraints and Q-Ensemble
深度强化学习(Deep Reinforcement Learning,DRL)为机器人控制策略的生成提供了新的途径。然而,训练控制策略的过程需要漫长的探索,导致强化学习(RL)在现实世界的任务中的低样本效率。模仿学习(IL)和示教学习(LfD)都通过使用专家示范来改进培训过程,但不完美的专家示范会误导政策改进。离线到在线强化学习需要大量离线数据来初始化策略,在线微调时分布偏移容易导致性能下降。针对上述问题,本文提出了一种示教学习方法A-SILfD,该方法将专家示教视为Agent的成功经验,并利用经验约束策略改进。此外,我们防止性能下降,由于大的估计误差的Q-函数的合奏Q-函数。我们的实验表明,A-SILfD可以显着提高样本效率使用少量的不同质量的专家演示。在四个Mujoco连续控制任务中,A-SILfD在经过150,000步在线训练后可以显著优于基线方法,并且在训练期间不会被不完美的专家演示所误导。
2022-12-07 cs.LG
LM-GRASP: Instance-Specific Language Models for Combinatorial Construction via Online Imitation Learning
本研究提出LM-GRASP框架,将GRASP随机构造阶段转为在线模仿学习任务,用仅解码器Transformer作构造策略,在Taillard PFSP基准上平均比GPU-GRASP提升28.4个制造跨度单位,是手工构造器的实用替代方案。
2026-07-31 cs.LG
Minimax Optimal Online Imitation Learning via Replay Estimation
Carnegie Mellon University(卡内基梅隆大学);UC Berkeley(加州大学伯克利分校);Cornell University(康奈尔大学);Aurora Innovation(奥罗拉创新公司)
在线模仿学习是如何最好地模仿专家演示的问题,给定访问环境或准确的模拟器。先前的工作表明,在无限样本制度,精确的时刻匹配实现价值等价的专家政策。然而,在有限样本范围内,即使没有优化误差,经验方差也可能导致性能差距,该性能差距与用于行为克隆的$H^2 / N$和用于在线矩匹配的$H / \sqrt{N}$成比例,其中$H$是视野,$N$是专家数据集的大小。我们引入重放估计技术,以减少这种经验方差:通过在随机模拟器中重复执行缓存的专家动作,我们计算出一个更平滑的专家访问分布估计匹配。在一般函数近似的存在下,我们证明了一个Meta定理,减少了我们的方法的离线分类(即学习专家策略)的参数估计误差的性能差距。在表格设置或线性函数近似,我们的Meta定理表明,我们的方法所产生的性能差距达到最佳的$\widetilde{O} \left( \min({H^{3/2}} / {N}, {H} / {\sqrt{N}} \right)$的依赖性,在显着较弱的假设相比,以前的工作。我们在几个连续的控制任务上实现了我们的方法的多个实例,并发现我们能够在各种数据集大小上显着提高策略性能。
2023-01-14 cs.LG stat.ML
Near-Optimal Second-Order Guarantees for Model-Based Adversarial Imitation Learning
UNC Chapel Hill(北卡罗来纳大学教堂山分校);Indiana University Bloomington(印第安纳大学伯明顿分校)
本文提出基于模型的对抗模仿学习算法,通过二阶样本复杂性保证,实现近最优的样本效率和理论性能。
2026-02-01 cs.LG
All You Need Is Supervised Learning: From Imitation Learning to Meta-RL With Upside Down RL
ARAYA, Inc.(ARAYA公司);Imperial College London(伦敦帝国学院);The Swiss AI Lab IDSIA(瑞士人工智能实验室IDSIA);Università della Svizzera Italiana (USI)(瑞士意大利语区大学);Scuola Universitaria Professionale della Svizzera Italiana (SUPSI)(瑞士意大利语区应用科学大学);King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学);NNAISENSE(NNAISENSE公司)
倒置强化学习(UDRL)通过将返回作为输入并预测动作,将RL中目标函数中返回的传统用法颠倒过来。UDRL纯粹基于监督学习,并绕过了RL中的一些突出问题:自举、偏离策略校正和折扣因子。虽然以前的工作与UDRL证明了它在传统的在线RL设置,在这里,我们表明,这个单一的算法也可以工作在模仿学习和离线RL设置,被扩展到目标条件的RL设置,甚至元RL设置。使用通用代理架构,单个UDRL代理可以跨所有范式学习。
2022-02-24 cs.AI cs.LG
Provably Efficient Third-Person Imitation from Offline Observation
Courant Institute of Mathematical Sciences, New York University(纽约大学库朗数学科学研究所);Center for Data Science, New York University(纽约大学数据科学中心);Institute for Advanced Study, Princeton(普林斯顿高等研究院)
模仿学习中的领域自适应是提高泛化能力的重要一步。然而,即使在第三人模仿的限制设置之间的同构马尔可夫决策过程的转移,有没有强有力的保证转让政策的性能。我们提出了依赖于问题的,统计学习保证第三人称模仿从观察在离线设置,并在在线设置的性能下限。
2020-02-27 cs.LG stat.ML
Imitation Bootstrapped Reinforcement Learning
Stanford University(斯坦福大学)
针对模仿学习泛化难、强化学习样本效率低的问题,提出模仿自举强化学习框架,先训练模仿策略再用于探索和自举目标,在多类任务中性能显著优于现有方法。
2024-05-20 cs.AI cs.LG
Selective Sampling and Imitation Learning via Online Regression
MIT(麻省理工学院);Cornell University(康奈尔大学)
本文针对有噪声专家反馈下的模仿学习问题,提出基于在线回归预言机的选择性采样交互式算法,在一般函数类和多动作设定下同时给出遗憾与查询复杂度的最优界,并证明其紧性。
2023-07-11 cs.AI cs.LG math.ST
Is Behavior Cloning All You Need? Understanding Horizon in Imitation Learning
Microsoft Research(微软研究院);MIT(麻省理工学院)
该研究从学习理论角度重新审视离线与在线模仿学习的差距,分析带对数损失的行为克隆,发现满足特定条件时离线IL可实现时间跨度无关的样本复杂度,且离线与在线IL的差距小于此前认知,实验验证了结果的实际相关性。
2024-11-30 cs.AI cs.LG math.ST
IQ-Learn: Inverse soft-Q Learning for Imitation
Stanford University(斯坦福大学);Google Research(谷歌研究院)
在许多顺序决策问题中(例如,机器人控制、玩游戏、顺序预测),可获得包含关于任务的有用信息的人类或专家数据。然而,从少量的专家数据中进行模仿学习(IL)在具有复杂动态的高维环境中可能具有挑战性。行为克隆是一种简单的方法,由于其实现简单和稳定的收敛性而被广泛使用,但不利用任何涉及环境动态的信息。许多利用动态信息的现有方法在实践中难以训练,这是由于在奖励和策略近似器或有偏的高方差梯度估计器上的对抗性优化过程。我们介绍了一种动态感知IL的方法,该方法通过学习单个Q函数来避免对抗性训练,隐式地表示奖励和策略。在标准基准测试中,隐式学习的奖励与地面真实奖励表现出高度的正相关性,说明我们的方法也可以用于逆强化学习(IRL)。我们的方法,逆软Q学习(IQ-Learn)在离线和在线模仿学习设置中获得了最先进的结果,在所需的环境交互数量和高维空间的可扩展性方面都显著优于现有方法,通常超过3倍。
2022-11-03 cs.AI cs.LG
Conditional Kernel Imitation Learning for Continuous State Environments
University of Southern California(南加州大学);University at Albany, SUNY(纽约州立大学奥尔巴尼分校)
针对连续状态空间下无环境交互、无奖励与动力学信息的模仿学习难题,提出基于条件核密度估计与马尔可夫平衡方程的框架,证明其渐近一致性,实验显示性能优于多种主流IL算法。
2023-08-24 cs.AI cs.LG
Minimal Ingredients for Reward Assignment from Expert Demonstrations
New York University(纽约大学);New York University Abu Dhabi(纽约大学阿布扎赫尔分校);Shanghai Frontiers Science Center of Artificial Intelligence and Deep Learning, NYU Shanghai(上海前沿科学中心(人工智能与深度学习))
该研究探究从专家演示分配奖励的最小结构,通过32个基准测试和三种下游RL算法,发现离线场景仅需接近度,在线或多演示时需轻量级时间对应,倡导奖励设计的算法极简主义。
2026-08-10 cs.AI cs.LG
Conformalized Interactive Imitation Learning: Handling Expert Shift and Intermittent Feedback
Robotics Institute, School of Computer Science, Carnegie Mellon University(机器人研究所、计算机科学学院、卡内基梅隆大学);Departments of Statistics and Machine Learning, Carnegie Mellon University(统计学与机器学习系、卡内基梅隆大学)
针对交互式模仿学习中部署时的分布偏移与间歇性专家反馈问题,提出基于在线共形预测的IQT算法与ConformalDAgger框架,利用校准的预测区间主动查询专家反馈,使机器人更快适应专家策略变化。
2025-04-29 cs.AI cs.HC cs.LG
CEIL: Generalized Contextual Imitation Learning
Westlake University(西湖大学);Zhejiang University(浙江大学);Tsinghua University(清华大学);Westlake Institute for Advanced Study(西湖高等研究院);Shanghai Qi Zhi Institute(上海期智研究院);Shanghai AI Lab(上海人工智能实验室)
本文提出通用上下文模仿学习算法CEIL,通过显式学习后见嵌入函数和上下文策略,统一支持LfD、LfO、离线、跨领域及单样本模仿学习,并在MuJoCo和D4RL上取得更优或具竞争力的样本效率与性能。
2023-10-26 cs.LG
Fully Dynamic Online Selection through Online Contention Resolution Schemes
Meta
我们研究完全动态的在线选择问题的对抗/随机设置,包括贝叶斯在线选择,先知不等式,张贴价格机制,随机探测问题的组合约束。在经典的“增量”版本的问题中,选定的元素保持活跃,直到输入序列结束。另一方面,在问题的完全动态版本中,元素在有限的时间间隔内保持活跃,然后离开。例如,该模型将任务与具有任务/工人依赖的工作时间的工人进行在线匹配,以及易腐货物的顺序发布定价。在线竞争解决方案(OCRS)的概念给出了对抗环境中在线选择问题的一种成功方法,该方案使用先验信息来制定潜在优化问题的线性松弛,其最佳分数解对于输入序列的任何对抗顺序都是在线舍入的。我们的主要贡献是提供了一个通用的方法来构建一个OCRS的完全动态在线选择问题。然后,我们展示了如何使用这样的OCRS构造无悔算法的部分信息模型与半强盗反馈和对抗性的输入。
2023-01-08 cs.AI cs.LG
Difference-Aware Retrieval Policies for Imitation Learning
Paul G. Allen School of Computer Science & Engineering, University of Washington(华盛顿大学保罗·G·艾伦计算机科学与工程学院);Toyota Research Institute(丰田研究所);Google DeepMind(谷歌DeepMind);Mila
提出DARP,一种半参数检索式模仿学习方法,通过基于k近邻的局部邻域结构重参数化,解决行为克隆的分布外泛化问题,在连续控制和机器人操作任务中性能提升15-46%。
2026-06-08 cs.AI cs.LG cs.RO
Feedback Manipulation Regularization: Enabling Offline Agent Alignment for Imitation Learning
研究聚焦强化学习智能体行为与人类价值观对齐。提出反馈操纵正则化算法,利用评估反馈校正模仿学习策略。通过改编安全体育馆环境测试,该方法能提升适应性、减少对齐错误,在有限数据下也保持稳健。
2026-07-10 cs.AI cs.HC cs.LG
Self-Supervised Adversarial Imitation Learning
Pontifícia Universidade Católica do RS(南里奥格兰德天主教大学);King’s College London(伦敦国王学院);University of Aberdeen(阿伯丁大学)
针对自监督行为克隆易陷局部极小且目标验证依赖人工的问题,本文在框架中引入判别器,利用专家状态转移引导学习并消除人工干预,同时解决策略持续输出“无动作”的缺陷。
2023-04-21 cs.AI cs.LG
Imitation Learning from Suboptimal Demonstrations via Meta-Learning An Action Ranker
University of Electronic Science and Technology of China(电子科技大学);Duke Kunshan University(昆山杜克大学);Sichuan Artificial Intelligence Research Institute(四川省人工智能研究院)
本文提出ILMAR方法,通过元学习动作排序器并利用优势函数泛函选择性整合次优演示知识,以加权行为克隆提升模仿学习性能,实验证明其显著优于现有方法。
2024-12-28 cs.AI cs.LG
Adversarial Imitation Learning from Incomplete Demonstrations
Hong Kong University of Science and Technology(香港科技大学)
模仿学习的目标是导出从状态到动作的映射,也称为政策,从专家示范。现有的模仿学习方法通常要求演示中的任何动作都是完全可用的,这在实际应用中很难保证。虽然已经提出了不可观察动作的学习算法,但它们只关注状态信息,而忽略了动作序列仍然可以部分可用并为策略导出提供有用信息的事实。在本文中,我们提出了一种新的算法,称为引导对抗模仿学习(AGAIL),它从具有不完整动作序列的演示中学习策略,不完整的演示。AGAIL的核心思想是将演示分为状态和动作轨迹,并使用状态轨迹训练策略,同时使用动作作为辅助信息来指导训练。AGAIL建立在生成式对抗模仿学习的基础上,有三个组成部分:生成器、学习者和指导者。生成器学习策略,并由策略管理器提供奖励,策略管理器试图区分策略生成的演示和样本之间的状态分布。当特定状态的演示操作可用时,该指南向生成器提供额外奖励。我们比较AGAIL与其他方法的基准任务,并表明AGAIL始终提供相当的性能,即使在演示中的动作序列只有部分可用的国家的最先进的方法。
2019-06-23 cs.AI cs.LG stat.ML
MILES: Making Imitation Learning Easy with Self-Supervision
Imperial College London(帝国理工学院)
提出自监督自主数据收集范式 MILES,仅用单个演示和单次环境重置即可学习机器人策略,并在富接触真实任务中显著优于结合强化学习的模仿学习方法。
2024-10-25 cs.AI cs.LG cs.RO
Language-Conditioned Semantic Search-Based Policy for Robotic Manipulation Tasks
Bielefeld University(比勒费尔德大学);Indian Institute of Information Technology(印度信息技术学院)
针对强化学习与模仿学习在少样本任务上泛化困难的问题,提出语言条件化语义搜索策略,直接从演示轨迹中检索动作,在 CALVIN 基准上超越基线并具备零样本适应能力。
2023-12-10 cs.AI cs.CV cs.LG
IBCB: Efficient Inverse Batched Contextual Bandit for Behavioral Evolution History
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院)
针对在线决策者行为演化历史带来的模仿学习挑战,提出逆批量上下文老虎机(IBCB)框架,将其转化为二次规划问题以高效估计奖励参数和策略,在合成与真实数据上优于现有算法且运行更快。
2025-04-03 cs.LG
Going Beyond Expert Performance via Deep Implicit Imitation Reinforcement Learning
Department of Physics, J.K. Institute of Science(J.K.科学研究院物理系);World Scientific University(世界科学大学);University of Intelligent Studies(智能研究大学);Technical University of Crete(克里特技术大学)
本文提出深度隐式模仿强化学习框架DIIQN及异构动作扩展HA-DIIQN,通过动作推断与动态置信机制利用仅观测的次优专家数据,实现超越专家表现并处理动作集不一致场景。
2025-11-05 cs.LG
Latent Policies for Adversarial Imitation Learning
University of California, San Diego(加州大学圣地亚哥分校)
本文认为学习机器人运动和操作任务的专家演示。生成对抗性模仿学习(GAIL)训练区分专家和代理转换的鉴别器,然后使用鉴别器输出定义的奖励来优化代理的策略生成器。这种生成式对抗训练方法非常强大,但取决于训练器和生成器训练之间的微妙平衡。在高维问题中,训练可能很容易过度拟合或利用与任务无关的特征的关联进行转换分类。这项工作的一个关键见解是,在合适的潜在任务空间中执行模仿学习可以使训练过程稳定,即使在具有挑战性的高维问题中也是如此。我们使用一个动作编码器-解码器模型来获得一个低维的潜在动作空间,并使用对抗性模仿学习(LAPAL)来训练一个潜在策略。编码器-解码器模型可以从状态-动作对离线训练以获得任务不可知的潜在动作表示,或者在线训练,同时进行编码器和生成器训练,以获得任务感知的潜在动作表示。我们证明了LAPAL训练是稳定的,具有接近单调的性能改进,并且在大多数运动和操作任务中实现了专家性能,而GAIL基线收敛较慢,并且在高维环境中没有实现专家性能。
2022-06-22 cs.LG cs.RO
Efficient Imitation Learning with Conservative World Models
Stanford University(斯坦福大学);Toyota Research Institute(丰田研究所)
针对无奖励函数的模仿学习中分布偏移等问题,该研究将模仿学习重构为微调问题,提出保守优化界方法,在高维像素操作环境上实现SOTA性能,仅需少量无奖励演示即可完成复杂操作任务。
2024-08-15 cs.LG
Multi-Agent Imitation Learning with Copulas
Stanford University(斯坦福大学)
多智能体模仿学习旨在通过学习观察和动作之间的映射来训练多个智能体执行演示任务,这对于理解物理,社会和团队游戏系统至关重要。然而,大多数现有的工作对多智能体交互建模通常假设,代理人作出独立的决定,根据他们的意见,忽略了复杂的依赖代理之间。在本文中,我们建议使用Copula,一个强大的统计工具,捕捉随机变量之间的依赖关系,明确的多智能体系统中的相关性和协调模型。我们提出的模型是能够单独学习的边际捕捉每个个体代理的本地行为模式,以及copula函数,单独和完全捕捉代理之间的依赖结构。在合成和真实世界数据集上进行的大量实验表明,我们的模型在动作预测任务中的各种场景中的表现优于最先进的基线,并且能够生成接近专家演示的新轨迹。
2021-07-10 cs.LG
Hybrid Imitation Learning for Real-Time Service Restoration in Resilient Distribution Systems
Argonne National Laboratory(阿贡国家实验室);Iowa State University(爱荷华州立大学);University of Tennessee(田纳西大学)
自愈能力是弹性配电系统的最关键因素之一,这需要智能代理在线自动执行恢复操作,包括网络重构和无功功率调度。这些代理应该配备一个预先设计的决策策略,以满足实时要求,并处理高度复杂的$N-k$场景。干扰的随机性阻碍了传统强化学习等探索主导型算法的应用,$N-k$场景下的智能体训练问题尚未得到彻底解决。在本文中,我们提出了模仿学习(IL)框架训练这样的政策,代理将与专家进行交互,学习其最优策略,因此显着提高了培训效率相比,RL方法。为了同时处理联络线操作和无功功率调度,我们为这样一个离散-连续混合行动空间设计了一个混合策略网络。我们采用$N-k$扰动下的33节点系统来验证所提出的框架。
2021-05-10 cs.LG cs.SY eess.SY
Contextual Bandits and Imitation Learning via Preference-Based Active Queries
MIT(麻省理工学院);Cornell University(康奈尔大学)
本文针对无法直接获知动作奖励的上下文老虎机与模仿学习问题,提出基于偏好主动查询的算法,实现了接近标准设定的遗憾界与低查询复杂度,且在专家次优时能超越专家。
2023-07-24 cs.AI cs.HC cs.LG
BeTAIL: Behavior Transformer Adversarial Imitation Learning from Human Racing Gameplay
University of California Berkeley(加利福尼亚大学伯克利分校);National University of Singapore(新加坡国立大学);Sony Research(索尼研究院)
针对序列建模难适应分布偏移、对抗模仿学习样本效率低的问题,提出结合BeT策略与在线AIL的残差式BeTAIL方法,在赛车游戏任务中减少交互、提升性能与稳定性。
2024-07-11 cs.LG cs.RO
Specification-Guided Data Aggregation for Semantically Aware Imitation Learning
UC Berkeley(加州大学伯克利分校);Toyota Research Institute(丰田研究院)
仿真和形式化方法引导的环境采样的进步使机器学习模型在许多安全关键场景中的严格评估成为可能,例如自动驾驶。这些环境采样技术对改进学习模型本身的应用尚未得到充分利用。在这项工作中,我们引入了一种新的方法,通过利用规范指导的采样技术作为在新环境中聚合专家数据的手段,以语义感知的方式改进模仿学习模型。具体来说,我们创建了一组正式的规范作为一种手段,分区的空间可能的环境到语义相似的区域,并确定这个分区的元素,我们学习模仿的行为最不同的专家。然后,我们汇总专家数据的环境中,这些地区,导致更准确的模仿专家的行为语义。我们在CARLA驾驶模拟器中进行了一系列实验,并证明了我们的方法比其他环境采样方法更准确。
2023-03-29 cs.FL cs.LG cs.RO
Offline Imitation Learning with Variational Counterfactual Reasoning
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Department of Computer Science, City University of Hong Kong(香港城市大学计算机科学系);School of Engineering, Westlake University(西湖大学工学院);DiDi Chuxing(滴滴出行)
提出OILCA框架,利用可辨识变分自编码器生成反事实样本增强离线专家数据,提升智能体泛化能力,并在多个基准上显著优于基线。
2023-12-29 cs.LG
Mitigating Covariate Shift in Imitation Learning via Offline Data Without Great Coverage
Cornell University(康奈尔大学);Amazon Search & AI(亚马逊搜索与人工智能)
本文研究了离线模仿学习(IL),其中一个代理学习模仿一个专家演示没有额外的在线环境交互。相反,向学习者呈现来自潜在的不太熟练的行为策略的状态-动作-下一状态转换三元组的静态离线数据集。我们介绍了基于模型的IL从离线数据(MILO):一个算法框架,利用静态数据集,有效地解决离线IL的问题,在理论和实践中。在理论上,即使行为政策是高度次优的专家相比,我们表明,只要从行为政策的数据提供足够的覆盖专家的状态-动作的痕迹(并没有必要在整个状态-动作空间的全球覆盖),MILO可以证明打击IL的协变量偏移问题。补充我们的理论结果,我们还表明,我们的方法的实际实施减轻基准MuJoCo连续控制任务的协变量偏移。我们证明,与行为政策的性能是不到一半的专家,MILO仍然成功地模仿了极低数量的专家状态-动作对,而传统的离线IL方法,如行为克隆(BC)完全失败。源代码在https://github.com/jdchang1/milo上提供。
2022-01-31 cs.LG stat.ML
Conditional Imitation Learning for Multi-Agent Games
Stanford University(斯坦福大学)
虽然多智能体学习的进步已经使得越来越复杂的代理的培训成为可能,但大多数现有技术产生的最终政策并不是为了适应新合作伙伴的策略而设计的。然而,我们希望我们的人工智能智能体能够根据周围人的策略来调整自己的策略。在这项工作中,我们研究的问题,有条件的多智能体模仿学习,我们有机会在训练时的联合轨迹演示,我们必须在测试时与新的合作伙伴进行互动和适应。这种设置是具有挑战性的,因为我们必须推断新合作伙伴的策略,并根据该策略调整我们的策略,所有这些都不需要了解环境奖励或动态。我们正式这个问题的条件多智能体模仿学习,并提出了一种新的方法来解决的困难,可扩展性和数据稀缺。我们的关键见解是,在多智能体游戏的合作伙伴之间的变化往往是高度结构化的,可以通过一个低秩子空间表示。利用张量分解的工具,我们的模型在自我和合作伙伴代理策略上学习一个低秩子空间,然后通过在子空间中插值来推断和适应新的合作伙伴策略。我们实验了各种协作任务,包括强盗、粒子和Hanabi环境。此外,我们测试我们的条件政策对真正的人类合作伙伴在用户研究的过度烹饪游戏。与基线相比,我们的模型更好地适应新的合作伙伴,并鲁棒地处理各种设置,从离散/连续动作到人工智能/人类合作伙伴的静态/在线评估。
2022-01-05 cs.LG cs.MA
Speaker Diarization as a Fully Online Learning Problem in MiniVox
Columbia University(哥伦比亚大学);New York University(纽约大学)
我们提出了一种新的机器学习框架,在完全在线学习的情况下进行实时的多说话人日志化和识别,而无需事先注册和预训练。我们的贡献是双重的。首先,我们提出了一个新的基准来评估很少研究的完全在线扬声器日记化问题。我们建立在现有的现实世界的话语数据集自动策划MiniVox,一个实验环境,产生无限配置的连续多扬声器语音流。其次,我们考虑了具有阶段性显示奖励的在线学习的实际问题,并引入了基于半监督和自监督学习方法的解决方案。此外,我们提供了一个可行的基于Web的识别系统,交互式地处理新用户的加入的冷启动问题,通过将旧武器的表示转移到新的可扩展的上下文强盗。我们证明了我们提出的方法在在线MiniVox框架中获得了鲁棒性能。
2020-10-22 cs.AI cs.HC cs.LG
Imitation Learning for Intra-Day Power Grid Operation through Topology Actions
Radboud University(拉德堡德大学);TenneT TSO(Tennet输电系统运营商)
针对可再生能源并网下电网运行复杂度提升的问题,研究基于拓扑动作的模仿学习在日前电网运行中的性能,训练FCNN并结合少量仿真构建混合智能体,可在低计算成本下达到专家智能体性能,为L2RPN相关研究提供新思路。
2024-08-18 cs.AI cs.LG cs.SY
Inverse Contextual Bandits without Rewards: Learning from a Non-Stationary Learner via Suffix Imitation
Gaoling School of Artificial Intelligence, Renmin University of China(人工智能学院,中国人民大学)
通过后缀模仿学习非平稳学习者,无奖励观察者可实现与完全奖励感知学习者相当的收敛率。
2026-03-04 cs.LG stat.ML