Adaptive Test-Time Compute Allocation for Reasoning LLMs via Constrained Policy Optimization
Fudan University（复旦大学）；ETH Zurich（苏黎世联邦理工学院）；Guangming Lab（光明实验室）
本文提出通过约束优化问题解决推理时间计算分配问题，采用两阶段解决-学习流程，在解决阶段利用拉格朗日松弛分解全局约束，学习阶段训练轻量分类器预测 oracle 动作，实验证明方法在 MATH 和 GSM8K 数据集上优于均匀和启发式分配基线。
2026-04-16 cs.LG
Mitigation of Adversarial Policy Imitation via Constrained Randomization of Policy (CRoP)
SAIL Lab（SAIL实验室）；University of New Haven（纽黑文大学）
深度强化学习（DRL）策略容易受到未经授权的复制攻击，其中对手利用模仿学习从观察到的行为中复制目标策略。在本文中，我们提出了约束随机化的政策（CRoP）作为缓解这种攻击的技术。CRoP导致在性能损失约束下随机执行次优动作。我们提出了一个参数分析的CRoP，解决CRoP的最优性，并建立理论界的对抗预算和损失的期望。此外，我们报告了在Atari环境下的对抗性模仿的CRoP的实验评估，证明了我们提出的方法对策略复制攻击的有效性和可行性。
2021-09-29 cs.AI cs.LG
Active Learning within Constrained Environments through Imitation of an Expert Questioner
Georgia Institute of Technology（佐治亚理工学院）
主动学习代理通常采用查询选择算法，该算法仅考虑代理的学习目标。然而，这在更现实的人类领域中可能是不够的。这项工作使用模仿学习，使代理在一个受约束的环境中，同时考虑其内部的学习目标和外部施加的环境约束，所有在其目标函数。实验进行了概念学习任务，以测试所提出的算法的推广到不同的环境条件下，并分析时间和资源约束如何影响解决学习问题的效率。我们的研究结果表明，环境意识的学习代理是能够在统计上优于所有其他主动学习者探索在大多数的约束条件下。一个关键的含义是适应主动学习代理更现实的人类环境，约束往往是外部强加给学习者。
2019-07-01 cs.AI cs.LG cs.RO
COIN: Chance-Constrained Imitation Learning for Uncertainty-aware Adaptive Resource Oversubscription Policy
Microsoft（微软）；Microsoft 365
本文提出机会约束模仿学习框架COIN，利用随机约束与集成价值函数处理遥测数据中的偶然不确定性，在云资源超售中实现约3-4倍的效率与安全性提升。
2024-01-13 cs.AI cs.LG
Learning safe, constrained policies via imitation learning: Connection to Probabilistic Inference and a Naive Algorithm
Department of Digital Systems, University of Piraeus, Piraeus, Greece（数字系统系，比雷埃克斯大学，比雷埃克斯，希腊）
本文提出一种模仿学习方法，通过双梯度下降优化最大熵策略，以学习遵守专家演示约束的安全策略，实验验证了其在多约束场景下的有效性与泛化能力。
2025-07-09 cs.LG cs.MA
Robotic Constrained Imitation Learning for the Peg Transfer Task in Fundamentals of Laparoscopic Surgery
The University of Tokyo（东京大学）
本研究针对腹腔镜手术基础技能中钉转移任务，通过提取熟练操作员的运动约束来收集数据并进行模仿学习，仅用单目图像即可实现更准确的自主机器人操作，并在双臂系统上验证了有效性。
2024-05-06 cs.AI cs.LG cs.RO
Action-Constrained Imitation Learning
National Yang Ming Chiao Tung University, Hsinchu, Taiwan（National Yang Ming Chiao Tung University）；University of Illinois at Urbana-Champaign, Illinois, United States（University of Illinois at Urbana-Champaign）；National Taiwan University, Taipei, Taiwan（National Taiwan University）
针对动作约束模仿学习（ACIL）中专家与模仿者占有率测度不匹配问题，提出DTWIL方法，通过基于动态时间规整的模型预测控制生成替代数据集，提升机器人控制任务性能与样本效率。
2025-08-20 cs.LG cs.RO
Imitating Cost-Constrained Behaviors in Reinforcement Learning
本文针对现实世界中受成本约束的专家行为，提出多种模仿学习方法（拉格朗日、元梯度、交替梯度），实验证明元梯度方法在匹配成本约束分布上性能最优。
2024-05-23 cs.AI cs.LG
Combining imitation and deep reinforcement learning to accomplish human-level performance on a virtual foraging task
Boston University（波士顿大学）
我们开发了一个简单的框架，使用人类数据来学习生物启发的觅食政策。我们进行了一项实验，人类几乎沉浸在一个开放的野外觅食环境中，并接受训练以收集最高数量的奖励。马尔可夫决策过程（MDP）框架被引入到人类决策动态建模。然后，模仿学习（IL）的最大似然估计的基础上使用的训练神经网络（NN）映射人类的决策观察状态。结果表明，被动模仿的表现远远低于人类。我们通过强化学习（RL）使用策略上的近端策略优化（PPO）算法进一步改进了人类启发的策略，该算法比其他算法具有更好的稳定性，并且可以稳步改进IL预训练的策略。我们表明，IL和RL的组合可以匹配人类的结果，良好的性能强烈依赖于结合allocentric信息与自我中心的环境表示。
2022-12-06 cs.LG cs.SY eess.SY
Differentiable Constrained Imitation Learning for Robot Motion Planning and Control
TU Dortmund University（多特蒙德工业大学）
针对机器人运动规划中软约束模仿学习在分布外场景易出安全故障的问题，提出融合硬约束的可微模仿学习框架，经仿真实验验证了其在移动机器人与自动驾驶场景的有效性。
2023-08-28 cs.LG cs.RO
Model Predictive Control via On-Policy Imitation Learning
在本文中，我们利用模仿学习的快速发展，强化学习（RL）文献中最近集中的一个主题，为约束线性系的数据驱动模型预测控制（MPC）开发新的样本复杂性结果和性能保证。在其最简单的形式中，模仿学习是一种试图通过从专家那里查询样本来学习专家策略的方法。最近的数据驱动MPC方法使用了最简单的模仿学习形式，称为行为克隆，通过在线采样闭环MPC系统的轨迹来学习模仿MPC性能的控制器。然而，行为克隆是一种已知的数据效率低并且遭受分布变化的方法。作为替代方案，我们开发了前向训练算法的变体，这是Ross等人提出的一种策略模仿学习方法。我们的算法使用约束线性MPC的结构，我们的分析使用显式MPC解决方案的属性，理论上限制了实现最佳性能所需的在线MPC轨迹的数量。我们通过仿真验证了我们的结果，并表明，前向训练算法确实优于行为克隆时，应用到MPC。
2022-10-17 cs.LG math.OC
Globally Stable Neural Imitation Policies
McGill University（麦吉尔大学）；Universidad Veracruzana（韦拉克鲁斯大学）
本文提出稳定神经动力系统（SNDS），通过基于李雅普诺夫定理的神经策略架构联合训练策略与李雅普诺夫候选函数，实现具有全局稳定性保证的模仿学习，并在仿真和真实机械臂上验证其克服了不稳定、精度低和计算密集等问题。
2024-09-02 cs.LG cs.RO
Follow the Clairvoyant: an Imitation Learning Approach to Optimal Control
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；ETH Zürich（苏黎世联邦理工学院）
我们考虑通过竞争分析的镜头控制的动力系统。这一领域的大多数先前的工作都集中在最小化遗憾，也就是说，相对于一个理想的千里眼政策，具有非因果关系的访问过去，现在和未来的干扰损失。由于观察到最佳成本仅提供关于理想闭环行为的粗略信息，我们转而提出直接最小化事后最佳轨迹的跟踪误差，即，模仿千里眼政策。通过拥抱一个系统级的角度来看，我们提出了一个有效的基于优化的方法来计算以下的千里眼（FTC）安全控制器。我们证明，这些达到最小的遗憾，如果没有限制的非因果基准。此外，我们提出的数值实验表明，我们的政策保留了经典的$\mathcal{H}_2$和$\mathcal{H}_\infty$控制律之间的插值竞争算法的标志-同时始终优于遗憾最小化方法在受约束的情况下，由于卓越的能力，以追逐千里眼。
2022-11-14 cs.LG cs.SY eess.SY
Generating stable molecules using imitation and reinforcement learning
Aarhus University（奥胡斯大学）；Freie Universität Berlin（柏林自由大学）；Rice University（莱斯大学）
在尝试耗时的实验合成之前，通常通过机器学习方法探索化学空间以发现有趣的分子。然而，这些方法通常依赖于图形表示，忽略了确定分子稳定性所需的3D信息。我们提出了一种强化学习方法，用于在Carnival坐标中生成分子，从而可以对稳定性进行量子化学预测。为了提高样本效率，我们从GDB-11数据库上的模仿学习中学习基本的化学规则，以创建适用于所有化学计量的初始模型。然后，我们在强化学习设置中部署以特定化学计量为条件的模型的多个副本。该模型正确识别数据库中的低能分子，并产生训练集中未发现的新型异构体。最后，我们将该模型应用于更大的分子，以展示强化学习如何在远离训练数据的领域进一步改进模仿学习模型。
2021-07-11 cs.LG physics.chem-ph
Genetic Imitation Learning by Reward Extrapolation
University of Technology Sydney（悉尼科技大学）
模仿学习在各个领域都表现出显著的表现。然而，模仿学习也受到许多先决条件的限制。研究界已经做了大量的研究来减轻这些限制，例如添加随机策略来避免看不见的状态，消除对动作标签的需要，以及从次优演示中学习。受自然繁殖过程的启发，我们提出了一种将遗传算法与模仿学习相结合的方法GenIL。遗传算法的参与通过再现具有各种返回的轨迹来提高数据效率，并帮助模型估计更准确和紧凑的奖励函数参数。我们在Atari和Mujoco域中测试了GenIL，结果表明，当输入数据有限时，它在外推准确性、鲁棒性和整体策略性能方面成功优于之前的外推方法。
2023-01-03 cs.LG cs.NE
Imitation Learning from Observations: An Autoregressive Mixture of Experts Approach
KU Leuven（鲁汶大学）；Siemens Digital Industries Software（西门子数字工业软件）
本文提出一种基于自回归混合专家模型的两阶段从观测中模仿学习方法，结合Lyapunov稳定性约束确保模型渐近稳定性，并在自动驾驶数据集上验证了其建模复杂非线性动力学的有效性。
2024-11-12 cs.LG math.OC
C-GAIL: Stabilizing Generative Adversarial Imitation Learning with Control Theory
Tsinghua University（清华大学）；Microsoft Research（微软研究院）
针对GAIL训练不稳定的问题，该研究结合控制理论分析GAIL并推导新型控制器，提出C-GAIL算法，在MuJoCo任务上实现了更快收敛、更小振荡和更贴近专家分布的效果。
2024-10-29 cs.LG cs.SY eess.SY
CubeDAgger: Interactive Imitation Learning for Dynamic Systems with Efficient yet Low-risk Interaction
National Institute of Informatics（国立信息研究所）；The Graduate University for Advanced Studies（Graduate University for Advanced Studies）
本文提出CubeDAgger方法，通过改进EnsembleDAgger基线，提升动态任务中控制策略的鲁棒性，减少动态稳定性损失，并通过仿真和真实机器人实验验证其有效性。
2026-11-06 cs.LG cs.RO
Support-weighted Adversarial Imitation Learning
Imperial College London（帝国理工学院）；Department of Electrical and Electronic Engineering, Imperial College London（帝国理工学院电子与电气工程系）
对抗性模仿学习（AIL）是一个广泛的模仿学习方法家族，旨在从演示中模仿专家行为。虽然AIL在模仿学习方面表现出了最先进的性能，但只有少量的演示，它面临着一些实际挑战，如潜在的训练不稳定性和内隐奖励偏差。为了应对这些挑战，我们提出了支持加权对抗性模仿学习（SAIL），一个通用的框架，扩展了一个给定的AIL算法与来自专家政策的支持估计的信息。SAIL通过用来自专家策略的支持估计的置信度得分来加权对抗性奖励来提高强化信号的质量。我们还表明，SAIL总是至少与SAIL用于学习对抗性奖励的底层AIL算法一样有效。经验上，我们表明，所提出的方法实现了更好的性能和训练稳定性比基线方法在广泛的基准控制任务。
2020-02-20 cs.LG stat.ML
A Comparison of Imitation Learning Algorithms for Bimanual Manipulation
School of Computing and Augmented Intelligence at Arizona State University（亚利桑那州立大学计算与增强智能学院）；TU Darmstadt（达姆施塔特工业大学）；Robotics Institute at Carnegie Mellon University（卡内基梅隆大学机器人学院）
本研究在高精度工业启发的双臂操作环境中，系统比较了主流模仿学习算法在超参数敏感性、数据效率和性能等方面的特性，揭示了各算法的优缺点。
2024-08-24 cs.LG cs.RO
Human-to-Robot Imitation in the Wild
Carnegie Mellon University（卡内基梅隆大学）
我们通过观察野外的人类来探讨学习的问题。虽然模仿和强化学习中的传统方法在现实世界中的学习中很有前途，但它们要么是样本效率低下，要么局限于实验室环境。与此同时，在处理被动的、非结构化的人类数据方面取得了很多成功。我们建议通过一个有效的一次性机器人学习算法来解决这个问题，该算法以第三人称视角为中心。我们称这种方法为WHIRL：在野外模仿人类的机器人学习。WHIRL提取了一个优先于人类演示者的意图，使用它来初始化我们的代理的策略。我们介绍了一个有效的现实世界的策略学习计划，提高使用的互动。我们的主要贡献是一个简单的基于采样的策略优化方法，一个新的目标函数对齐人类和机器人的视频，以及探索方法，以提高样本效率。我们展示了在现实世界中的一次性泛化和成功，包括野外20种不同的操作任务。视频和谈话https://human2robot.github.io
2022-07-19 cs.AI cs.CV cs.LG
The Pitfalls of Imitation Learning when Actions are Continuous
CMU（卡内基梅隆大学）；MIT（麻省理工学院）
本文证明连续控制中平滑确定性模仿策略会随时域产生指数级执行误差，并指出非平滑、非马尔可夫或状态相关随机策略可缓解该问题。
2025-07-26 cs.LG cs.SY eess.SY
Convergence of Value Aggregation for Imitation Learning
Georgia Institute of Technology（佐治亚理工学院）
价值聚合是解决模仿学习问题的一般框架。基于数据聚合的思想，在在线学习环境中，通过迭代交错策略优化和评估来生成策略序列。虽然存在一个好的政策，在政策序列可以保证非渐近，鲜为人知的序列的收敛性或最后的政策的性能。在本文中，我们揭穿了共同的信念，价值聚合总是产生一个收敛的政策序列，提高性能。此外，我们确定了一个临界稳定条件的收敛性，并提供了一个紧密的非渐近界上的最后一个政策的性能。这些新的理论见解让我们用正则化来稳定问题，这消除了在随机问题中识别策略序列中的最佳策略的不方便过程。
2018-01-22 cs.LG stat.ML
Imitation Learning via Differentiable Physics
Sea AI Lab（Sea人工智能实验室）；National University of Singapore（新加坡国立大学）
现有的模仿学习（IL）方法，例如逆强化学习（IRL），通常具有双循环训练过程，在学习奖励函数和策略之间交替，并且往往遭受长训练时间和高方差。在这项工作中，我们确定了可微物理模拟器的好处，并提出了一种新的IL方法，即，通过可微物理（ILD）进行模仿学习，摆脱了双环设计，在最终性能、收敛速度和稳定性方面实现了显着提高。所提出的ILD将可微物理模拟器作为物理先验纳入其计算图中进行策略学习。它通过从参数化策略中采样动作来展开动态，简单地最小化专家轨迹和代理轨迹之间的距离，并通过时间物理算子将梯度反向传播到策略中。在物理先验的情况下，ILD策略不仅可以转移到看不见的环境规范，而且可以在各种任务上产生更高的最终性能。此外，ILD自然形成单回路结构，显著提高了稳定性和训练速度。为了简化由时间物理操作引起的复杂优化景观，ILD在优化期间动态地为每个状态选择学习目标。在我们的实验中，我们表明，ILD优于国家的最先进的方法在各种连续控制任务与Brax，只需要一个专家演示。此外，ILD可以应用于具有挑战性的可变形物体操纵任务，并可以推广到看不见的配置。
2022-06-10 cs.AI cs.LG cs.RO
Generative Adversarial Imitation Learning for End-to-End Autonomous Driving on Urban Environments
Federal University of Santa Catarina（圣卡塔琳娜联邦大学）
自动驾驶是一项复杂的任务，自1989年第一辆自动驾驶汽车ALVINN以来，人们一直在使用监督学习方法或行为克隆（BC）来解决这个问题。在BC中，神经网络用构成由专家制作的训练集的状态-动作对来训练，即，人类司机然而，这种类型的模仿学习没有考虑在导航轨迹的不同时刻采取的动作之间可能存在的时间依赖性。这些类型的任务更好地由强化学习（RL）算法处理，该算法需要定义奖励函数。另一方面，最近的模仿学习方法，如生成对抗模仿学习（GAIL），可以训练策略，而无需明确要求定义奖励函数，允许代理直接在专家轨迹的训练集上通过试错来学习。在这项工作中，我们提出了两个变化的GAIL自主导航的车辆在现实的CARLA模拟环境中的城市场景。它们都使用相同的网络架构，处理来自三个前置摄像头的高维图像输入，以及代表速度的其他九个连续输入，稀疏轨迹的下一个点和高级驾驶命令。我们表明，它们都能够在训练结束后从头到尾模仿专家轨迹，但用BC增强的GAIL损失函数在收敛时间和训练稳定性方面优于前者。
2021-10-16 cs.AI cs.LG cs.RO
Quantization-Aware Imitation-Learning for Resource-Efficient Robotic Control
Hanyang University（汉阳大学）；Hyundai Motor Company（现代汽车公司）
本文提出量化感知模仿学习框架，通过训练时微调提升策略模型对低比特误差的鲁棒性，在机器人和自动驾驶任务中显著提速降耗并保持精度。
2024-12-02 cs.CV cs.LG cs.RO
Memory-Consistent Neural Networks for Imitation Learning
University of Pennsylvania（宾夕法尼亚大学）；Vanderbilt University（范德堡大学）
提出记忆一致的神经网络（MCNN），通过硬约束输出在记忆样本锚定的允许区域内，缓解模仿学习中复合误差，在10个任务上取得一致性能提升。
2024-03-16 cs.AI cs.LG cs.RO
Visual Adversarial Imitation Learning using Variational Models
Stanford University（斯坦福大学）；University of Washington（华盛顿大学）；Facebook AI Research（脸书人工智能研究院）
奖励函数规范需要大量的人力和迭代，仍然是通过深度强化学习学习行为的主要障碍。相比之下，提供所需行为的视觉演示通常提供了一种更简单，更自然的方式来教导代理。我们考虑一个设置，其中代理提供了一个固定的可视化演示数据集，说明如何执行一项任务，必须学会使用提供的演示和无监督的环境交互来解决任务。这种设置带来了许多挑战，包括用于视觉观察的表示学习、由于高维空间导致的样本复杂性以及由于缺乏固定奖励或学习信号导致的学习不稳定性。为了应对这些挑战，我们开发了一个基于变分模型的对抗性模仿学习（V-MAIL）算法。基于模型的方法为表示学习提供了强信号，实现了样本效率，并通过启用同策略学习来提高对抗训练的稳定性。通过涉及几个基于视觉的运动和操作任务的实验，我们发现V-MAIL以样本有效的方式学习成功的视觉策略，与以前的工作相比具有更好的稳定性，并且还实现了更高的渐近性能。我们进一步发现，通过转移学习的模型，V-MAIL可以从视觉演示中学习新的任务，而无需任何额外的环境交互。包括视频在内的所有结果都可以在\url{https://sites.google.com/view/variational-mail}在线找到。
2022-06-27 cs.AI cs.LG cs.RO
Preventing Imitation Learning with Adversarial Policy Ensembles
UC Berkeley（加州大学伯克利分校）
模仿学习可以通过观察专家来复制策略，这带来了关于策略隐私的问题。策略，如人类或部署机器人的策略，都可以在未经所有者同意的情况下克隆。我们如何防止外部观察者克隆我们的专有策略？为了回答这个问题，我们引入了一个新的强化学习框架，在这里我们训练一个接近最优的政策，其演示保证是无用的外部观察员。我们制定这个想法的约束优化问题，其目标是提高专有政策，并在同一时间恶化的虚拟政策的最终外部观察员。通过对标准策略梯度算法的改进，设计了一个易于处理的算法来解决这个新的优化问题。我们的表述可以从保密性和对抗性行为的角度来解释，这使得这项工作有了更广泛的视角。我们证明了存在“非克隆”的合奏，提供了一个解决方案，上述优化问题，这是我们的修改后的策略梯度算法计算。据我们所知，这是强化学习中关于策略保护的第一项工作。
2020-08-02 cs.AI cs.LG stat.ML
Coupled Distributional Random Expert Distillation for World Model Online Imitation Learning
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Hillbot（Hillbot公司）；University of California, San Diego（加州大学圣地亚哥分校）
本研究提出一种基于随机网络蒸馏的耦合分布随机专家蒸馏方法，用于提升世界模型在线模仿学习的稳定性与性能。
2026-01-04 cs.AI cs.LG
When a Robot is More Capable than a Human: Learning from Constrained Demonstrators
Thomas Lord Department of Computer Science, University of Southern California（汤姆·劳德计算机科学系，南加州大学）；Meta AI；Department of Computer Science & Engineering, University of California San Diego（计算机科学与工程系，加州大学圣地亚哥分校）
本文探讨机器人能否超越受限专家的演示学习，通过探索更高效轨迹和自定义奖励信号，提升学习效率和任务完成速度。
2026-05-09 cs.AI cs.LG cs.RO
Efficient Imitation Learning with Conservative World Models
Stanford University（斯坦福大学）；Toyota Research Institute（丰田研究所）
针对无奖励函数的模仿学习中分布偏移等问题，该研究将模仿学习重构为微调问题，提出保守优化界方法，在高维像素操作环境上实现SOTA性能，仅需少量无奖励演示即可完成复杂操作任务。
2024-08-15 cs.LG
Beyond Token-Local Imitation: Reward-Compatible Temporal Credit Assignment for On-Policy Distillation
School of Vehicle and Mobility & College of AI, Tsinghua University（清华大学车辆与运载学院与人工智能学院）；Didi Voyager Labs, DiDi Autonomous Driving（滴滴自动驾驶沃芽实验室）
针对在线策略蒸馏中目标保真度与稳定性权衡，提出γOPD方法，通过折扣时间信用分配和奖励兼容有界混合机制，在数学与代码推理任务上超越现有方法。
2026-09-22 cs.AI cs.LG cs.PL
Imitation-Projected Programmatic Reinforcement Learning
Rice University（莱斯大学）；Caltech（加州理工学院）
我们研究了程序化强化学习的问题，在该学习中，策略被表示为符号语言的短程序。编程策略比神经策略更容易解释、更容易推广，更容易接受形式化验证;然而，为这些策略设计严格的学习方法仍然是一个挑战。我们应对这一挑战的方法--一种名为PROPEL的元算法--基于三个见解。首先，我们将我们的学习任务视为策略空间中的优化，对所需策略具有编程表示的约束取模，并使用镜像下降的形式来解决此优化问题，该形式将梯度步骤引入无约束的策略空间，然后投影回约束空间。其次，我们将不受约束的策略空间视为神经和编程表示的混合，这使得能够采用最先进的深度策略梯度方法。第三，我们通过模仿学习将投影步骤转换为程序合成，并利用当代组合方法完成这项任务。我们目前的理论收敛结果PROPEL和经验评估的方法在三个连续的控制域。实验表明，PROPEL可以显着优于国家的最先进的方法学习程序化政策。
2021-01-19 cs.AI cs.LG cs.PL
Neural Rate Control for Video Encoding using Imitation Learning
DeepMind（深度思维）；Google（谷歌）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
在现代视频编码器中，速率控制是一个关键的组成部分，并已被大量工程。它决定每帧编码需要多少比特，以优化所有视频帧的率失真权衡。这是一个具有挑战性的约束规划问题，因为不同的视频帧的决策之间的复杂的依赖关系和比特率的限制，在情节结束时定义。我们制定的速率控制问题作为一个部分可观察马尔可夫决策过程（POMDP），并应用模仿学习学习神经速率控制策略。我们证明，通过学习最佳的视频编码轨迹通过演化策略，我们学到的政策，实现了更好的编码效率，并具有最小的约束违反。除了模仿的最佳行动，我们发现，额外的辅助损失，数据增强/细化和推理时间的政策改进是学习一个好的速率控制策略的关键。我们评估学习的政策对libvpx，一个广泛采用的开源VP 9编解码器库，在两遍可变比特率（VBR）模式的速率控制策略。我们表明，在一组不同的现实世界的视频，我们学到的政策实现了8.5%的中位数比特率降低，而不牺牲视频质量。
2020-12-09 cs.CV cs.LG
A Policy-Guided Imitation Approach for Offline Reinforcement Learning
JD Technology（京东科技）；Tsinghua University（清华大学）；Shanghai AI Laboratory（上海人工智能实验室）
提出策略引导离线RL方法POR，将策略分解为引导策略与执行策略，以监督解耦方式训练，实现状态组合性与分布外泛化，在D4RL基准上达到SOTA。
2023-04-05 cs.AI cs.LG
BeTAIL: Behavior Transformer Adversarial Imitation Learning from Human Racing Gameplay
University of California Berkeley（加利福尼亚大学伯克利分校）；National University of Singapore（新加坡国立大学）；Sony Research（索尼研究院）
针对序列建模难适应分布偏移、对抗模仿学习样本效率低的问题，提出结合BeT策略与在线AIL的残差式BeTAIL方法，在赛车游戏任务中减少交互、提升性能与稳定性。
2024-07-11 cs.LG cs.RO
SD2AIL: Adversarial Imitation Learning from Synthetic Demonstrations via Diffusion Models
本文提出SD2AIL，利用扩散模型生成合成演示作为伪专家数据，结合优先级专家演示回放策略提升性能，实验显示在Hopper任务中优于现有方法。
2026-04-29 cs.LG cs.RO
Off-policy Imitation Learning from Visual Inputs
The University of Sydney（悉尼大学）；JD Explore Academy（京东探索研究院）
近年来，专家状态在模仿学习（IL）中得到了广泛的应用。然而，另一种利用在线视觉资源的信息学习环境--基于视觉输入的信息学习（ILfVI），由于采用同策略学习方式和高维视觉输入，存在数据效率低、性能差的问题。我们提出了OPIfVI（Off-Policy Imitation from Visual Inputs），它由离策略学习方式、数据增强和编码器技术组成，分别解决了上述挑战。更具体地说，为了提高数据效率，OPIfVI以非策略方式进行IL，采样数据可以多次使用。此外，我们通过频谱归一化来增强OPIfVI的稳定性，以减轻偏离策略训练的副作用。我们认为，导致ILfVI性能不佳的核心因素是智能体无法从视觉输入中提取有意义的特征。因此，OPIfVI采用计算机视觉的数据增强来帮助训练编码器，使其能够更好地从视觉输入中提取特征。此外，为编码器设计了一种特定的梯度反向传播结构，以稳定编码器训练。最后，我们通过使用DeepMind Control Suite进行的大量实验证明，OPIfVI能够实现专家级性能，并且无论是视觉演示还是视觉观察都优于现有基线。
2021-11-08 cs.CV cs.LG
KCRL: Krasovskii-Constrained Reinforcement Learning with Guaranteed Stability in Nonlinear Dynamical Systems
California Institute of Technology（加州理工学院）；University of California San Diego（加州大学圣地亚哥分校）；Carnegie Mellon University（卡内基梅隆大学）；Purdue University（普渡大学）
学习一个动态系统需要稳定未知的动态，以避免状态爆破。然而，目前的强化学习（RL）方法缺乏稳定性保证，这限制了它们对安全关键系统控制的适用性。我们提出了一个基于模型的RL框架，正式的稳定性保证，Krasovskii约束RL（KCRL），采用Krasovskii的家庭的李雅普诺夫函数作为稳定性约束。所提出的方法使用特征表示（例如，随机傅立叶特征）来学习系统动态直到置信区间。然后，它解决了一个受约束的政策优化问题的稳定性约束的基础上Krasovskii的方法使用原始对偶方法恢复稳定的政策。我们表明，KCRL是保证学习稳定的政策，在有限数量的相互作用与潜在的未知系统。我们还通过KCRL框架导出了未知非线性动力系统镇定的样本复杂性上界。
2022-06-03 cs.LG cs.SY eess.SY
Adversarial Imitation Learning On Aggregated Data
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；LIP6（计算机科学实验室LIP6）；Ubisoft La Forge（育碧La Forge）
本文提出AILAD，一种基于对抗框架的聚合数据模仿学习方法，同时学习非线性奖励与最优策略，无需完整轨迹或同质数据，生成与专家分布匹配的多样化行为。
2023-11-14 cs.AI cs.LG
Blending Imitation and Reinforcement Learning for Robust Policy Improvement
Department of Computer Science, University of Chicago（芝加哥大学计算机科学系）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
本文提出 RPI 算法，基于性能在线估计在模仿学习与强化学习间动态交替，利用 RAPS 和 RPG 机制实现逐状态的策略选择与改进，有效解决了样本效率与 oracle 质量受限问题。
2025-08-11 cs.AI cs.LG stat.ML
Toward the Fundamental Limits of Imitation Learning
University of California, Berkeley（加州大学伯克利分校）；University of California, Los Angeles（加州大学洛杉矶分校）
模仿学习（IL）的目的是模仿行为的专家政策在一个顺序的决策问题，只有示范。在本文中，我们专注于了解的最小最大的统计限制，在情节马尔可夫决策过程（MDP）的IL。我们首先考虑这样的设置，其中提前向学习者提供$N$专家轨迹的数据集，并且不能与MDP交互。在这里，我们表明，模仿专家的政策，尽可能是在预期$\lesssim \frac{|\mathcal{S}| H^2 \log (N)}{N}$次优的专家相比，价值，即使当专家遵循任意的随机政策。这里$\mathcal{S}$是状态空间，$H$是事件的长度。此外，我们建立了一个次优下限的$\gtrsim |\mathcal{S}| H^2 / N$适用，即使专家被限制为确定性的，或者如果学习者被允许积极查询专家在访问状态，同时与MDP的$N$插曲。据我们所知，这是第一个具有次优性的算法，在没有额外假设的情况下不依赖于动作数量。然后，我们提出了一种新的算法，基于最小距离泛函的设置中的过渡模型和专家是确定性的。该算法是次优的$\lesssim \min \{ H \sqrt{|\mathcal{S}| / N} ,\ |\mathcal{S}| H^{3/2} / N \}$，表明知识的过渡提高极小极大率至少一个$\sqrt{H}$的因素。
2020-09-13 cs.AI cs.LG math.OC
Provably Breaking the Quadratic Error Compounding Barrier in Imitation Learning, Optimally
University of California, Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）；University of California, Los Angeles（加州大学洛杉矶分校）
研究了状态空间为$\mathcal{S}$的情景马尔可夫决策过程中模仿学习的统计极限。我们专注于已知的过渡设置，学习者提供了一个数据集的$N$长度- $H$轨迹从一个确定性的专家政策，并知道MDP过渡。我们使用Rajaraman等人（2020）中的Mimic-MD算法建立了次优性的上限$O(|\mathcal{S}|H^{3/2}/N)$，我们证明了该算法在计算上是有效的。相比之下，我们发现当$|\mathcal{S}|\geq 3$时，极小极大次优性随着$Ω( H^{3/2}/N)$的增长而增长，而未知转换设置受到更大的急剧率$Θ(|\mathcal{S}|H^2/N)$的影响（Rajaraman et al（2020））。通过证明IL和未知专家策略的值估计问题在任何给定的奖励函数下的双向约简，以及与具有子采样观测的线性函数估计建立联系，建立了下界。我们进一步表明，在额外的假设下，专家是最佳的真正的奖励函数，存在一个有效的算法，我们称之为模仿混合，可证明实现次优性$O(1/N)$的任意3状态MDP奖励只在终端层。相反，如果专家不被约束为最优，则没有算法可以以高概率实现次优性$O(\sqrt{H}/N)$。我们的工作正式确立了专家最优假设在已知过渡设置中的好处，而Rajaraman等人（2020）表明，当过渡未知时，它没有帮助。
2021-02-25 cs.LG stat.ML
Provable Guarantees for Generative Behavior Cloning: Bridging Low-Level Stability and High-Level Behavior
Massachusetts Institute of Technology（麻省理工学院）
本文提出一个理论框架，通过引入低层控制器稳定模仿过程，并利用扩散模型等强大生成式模型进行纯监督行为克隆，证明了在满足全变差连续性条件下，模仿轨迹分布可在最优传输距离下逼近专家轨迹分布。
2023-10-24 cs.LG math.ST stat.ML
