CWAE-IRL: Formulating a supervised approach to Inverse Reinforcement Learning problem
Ford Motor Company（福特汽车公司）
逆强化学习（IRL）用于从运行马尔可夫决策过程（MDP）的专家的动作推断奖励函数。本研究提出一种利用变分推论来学习报酬函数的新方法。使用这种技术，连续潜变量（在这种情况下的奖励函数）的棘手的后验分布被分析近似，似乎是接近先验信念，同时试图重建未来的状态条件下的当前状态和行动。奖励函数是使用众所周知的深度生成模型（称为条件变分自动编码器（CVAE））和Wasserstein损失函数推导出来的，因此称为条件Wasserstein自动编码器-IRL（CWAE-IRL），可以将其分析为向后和向前推理的组合。然后，这可以形成一个有效的替代以前的方法IRL，而没有知识的代理的系统动力学。在标准基准测试程序objectworld和pendulum上的实验结果表明，该算法能够有效地学习复杂高维环境下的潜在奖励函数.
2019-10-02 cs.AI cs.LG stat.ML
GRACE: A Language Model Framework for Explainable Inverse Reinforcement Learning
Apple（苹果公司）
GRACE通过大型语言模型和进化搜索，从专家轨迹中逆向工程可解释的代码奖励函数，实现高效准确的奖励学习并生成强大策略。
2026-01-28 cs.AI cs.LG
Towards the Transferability of Rewards Recovered via Regularized Inverse Reinforcement Learning
EPFL（洛桑联邦理工学院）
本文研究逆强化学习所得奖励的可迁移性问题，提出用主角度度量转移律差异，并给出多专家和单专家场景下的可迁移性充分条件及PAC学习算法。
2025-02-03 cs.AI cs.LG stat.ML
Adversarial Imitation via Variational Inverse Reinforcement Learning
University of California San Diego（加利福尼亚大学圣地亚哥分校）；Georgia Institute of Technology（佐治亚理工学院）
我们考虑一个问题，学习奖励和政策，从专家的例子未知的动态。我们提出的方法建立在生成对抗网络的框架上，并引入授权正则化最大熵逆强化学习来学习接近最优的奖励和策略。基于授权的正则化防止策略过度拟合专家演示，这有利地导致更一般化的行为，从而导致学习接近最优的奖励。我们的方法同时通过变分信息最大化以及对抗学习公式下的奖励和策略来学习授权。我们评估我们的方法在各种高维复杂的控制任务。我们还在具有挑战性的迁移学习问题中测试我们的学习回报，其中训练和测试环境在动态或结构方面彼此不同。结果表明，我们提出的方法不仅学习接近最优的奖励和政策，是匹配专家的行为，但也表现出显着优于最先进的逆强化学习算法。
2019-02-22 cs.AI cs.LG cs.RO
A proof of imitation of Wasserstein inverse reinforcement learning for multi-objective optimization
NEC Corporation（日本电气股份有限公司）
本文证明在多目标优化中，Wasserstein 逆向强化学习能在有限次迭代内使学习者的奖励值和最优解分别模仿专家的奖励值和最优解。
2023-05-18 cs.AI cs.LG stat.ML
Inverse reinforcement learning for video games
UC Berkeley（加州大学伯克利分校）
深度强化学习在一系列视频游戏环境中实现了超人的性能，但需要设计师手动指定奖励函数。提供目标行为的演示通常比设计描述该行为的奖励函数更容易。逆强化学习（IRL）算法可以从低维连续控制环境中的演示中推断出奖励，但将IRL应用于高维视频游戏的工作很少。在我们的CNN-AIRL基线中，我们修改了最先进的对抗IRL（AIRL）算法，将CNN用于生成器和迭代器。为了稳定训练，我们将奖励标准化，并增加训练数据集的大小。我们还学习了一个低维的状态表示使用一种新的自动编码器架构调整为视频游戏环境。这种嵌入被用作奖励网络的输入，提高了专家演示的样本效率。我们的方法在简单的Catcher视频游戏上实现了高水平的性能，大大优于CNN-AIRL基线。我们还在Enduro Atari赛车游戏上得分，但与专家性能不匹配，突出了进一步工作的必要性。
2018-10-24 cs.AI cs.LG stat.ML
Stochastic Inverse Reinforcement Learning
Nanyang Technological University（南洋理工大学）
逆强化学习（IRL）问题的目标是从专家演示中恢复奖励函数。然而，IRL问题像任何不适定的反问题一样，具有先天的缺陷，即策略可能对许多奖励函数是最优的，并且专家论证可能对许多策略是最优的。在这项工作中，我们将IRL问题推广到一个适定的期望优化问题随机逆强化学习（SIRL），以恢复奖励函数的概率分布。我们采用蒙特卡罗期望最大化（MCEM）方法估计的概率分布的参数作为第一个解决方案的SIRL问题。该解决方案是简洁的，强大的，可转移的学习任务，并可以生成替代解决方案的IRL问题。通过我们的公式，可以从全局的角度观察IRL问题的内在属性，并且我们的方法在对象世界上实现了相当大的性能。
2022-09-23 cs.AI cs.LG stat.ML
IR$^3$: Contrastive Inverse Reinforcement Learning for Interpretable Detection and Mitigation of Reward Hacking
UC Davis（加州大学戴维斯分校）；Virginia Tech（弗吉尼亚理工大学）；Salesforce（Salesforce公司）；Meta AI
IR3通过对比逆强化学习重建隐含奖励并修正模型，有效识别和缓解奖励黑客问题，提升模型对齐性能。
2026-02-23 cs.AI cs.LG
Inverse Reinforcement Learning with the Average Reward Criterion
Georgia Institute of Technology（佐治亚理工学院）
本文针对平均奖励准则下的逆强化学习问题，提出平均奖励框架及随机策略镜像下降和逆策略镜像下降方法，并给出新的复杂度结果，通过MuJoCo等实验验证有效性。
2023-05-24 cs.AI cs.LG
Continuous Inverse Optimal Control with Locally Optimal Examples
Stanford University（斯坦福大学）
逆最优控制（英语：Inverse optimal control），又称逆强化学习（英语：Inverse reinforcement learning），是一个在马尔可夫决策过程中，从专家对最优策略的演示中恢复未知奖励函数的问题。我们引入了一个概率逆最优控制算法，优雅地与任务维度的规模，是适合于大型，连续的领域，甚至计算一个完整的政策是不切实际的。通过使用奖励函数的局部近似，我们的方法也可以放弃演示是全局最优的假设，只需要局部最优。这允许它从不适合先前方法的示例中学习。
2012-06-18 cs.AI cs.LG stat.ML
TW-CRL: Time-Weighted Contrastive Reward Learning for Efficient Inverse Reinforcement Learning
Northwestern University（西北大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
提出时间加权对比奖励学习框架，利用成功与失败示范学习密集奖励，识别关键状态，避免陷阱状态并促进探索，在导航和机器人操作任务上超越现有方法。
2025-05-22 cs.AI cs.LG
Enhancing Inverse Reinforcement Learning through Encoding Dynamic Information in Reward Shaping
Department of Electrical and Computer Engineering（电气与计算机工程系）；Northwestern University（西北大学）；School of Electronics and Computer Science（电子与计算机科学学院）；University of Southampton（南安普顿大学）
本文提出了一种通过在奖励塑造中编码动态信息来增强逆强化学习的方法，以解决随机环境中理论结果不成立和性能下降的问题，并在MuJoCo基准测试中展示了优越的性能和样本效率提升。
2026-02-10 cs.AI cs.LG
Off-Policy Adversarial Inverse Reinforcement Learning
McGill University（麦吉尔大学）
对抗性模仿学习（AIL）是强化学习（RL）中的一类算法，它试图在不从环境中获取任何奖励的情况下模仿专家，并且不将专家行为直接提供给策略训练。相反，代理学习策略分布，最大限度地减少与对抗环境中专家行为的差异。对抗性逆强化学习（AIRL）利用AIL的思想，将奖励函数近似与学习策略相结合，并显示了IRL在迁移学习设置中的实用性。但是，实现迁移学习的奖励函数近似器在模仿任务中表现不佳。我们提出了一种非策略对抗逆强化学习（Off-policy-AIRL）算法，该算法在连续控制任务中具有样本有效性，并且与现有的AIL算法相比具有良好的模仿性能。对于相同的奖励函数逼近器，我们显示了学习我们的算法AIL的实用性，通过使用学习的奖励函数重新训练的政策在一个任务下的显着变化，专家演示是缺席。
2020-05-03 cs.AI cs.LG cs.RO
CLARE: Conservative Model-Based Reward Learning for Offline Inverse Reinforcement Learning
Tsinghua University（清华大学）；Tongji University（同济大学）；University of California, Davis（加州大学戴维斯分校）；Arizona State University（亚利桑那州立大学）；Ohio State University（俄亥俄州立大学）；Zhongguancun Laboratory（中关村实验室）
这项工作旨在解决离线逆强化学习（IRL）中的一个主要挑战，即奖励外推误差，其中由于固有的协变量偏移，学习的奖励函数可能无法正确解释任务并在看不见的环境中误导智能体。利用专家数据和低质量的多样化数据，我们设计了一个原则性的算法（即CNOE），通过将“保守性”整合到学习的奖励函数中并利用估计的动态模型来有效地解决离线IRL。我们的理论分析提供了一个上限的学习政策和专家政策之间的回报差距，在此基础上，我们的特点的影响，协变量偏移通过检查微妙的双层之间的权衡剥削（专家和不同的数据）和勘探（估计的动态模型）。我们表明，BEE可以证明减轻奖励外推错误的打击正确的开发勘探平衡。大量实验证实了CLARE相对于MuJoCo连续控制任务（特别是对于小型离线数据集）的现有最先进算法的显着性能提升，并且所学到的奖励对于进一步学习具有很强的指导意义。
2023-02-21 cs.AI cs.LG
Inverse Reinforcement Learning with Simultaneous Estimation of Rewards and Dynamics
Robert Bosch GmbH（罗伯特·博世有限公司）；University of Freiburg（弗赖堡大学）
本文提出一种基于梯度的逆强化学习方法，同时估计系统动态和奖励函数，提升了样本效率和估计准确性。
2016-04-13 cs.AI cs.LG cs.SY
Reward Learning using Structural Motifs in Inverse Reinforcement Learning
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
逆强化学习（\textit{IRL}）问题在过去几年中经历了快速的发展，在机器人、认知和健康等领域有着重要的应用。在这项工作中，我们探讨了目前的IRL方法在学习代理的奖励功能，从专家轨迹描绘长期的，复杂的顺序任务的无效性。我们假设，灌输IRL模型与结构图案捕捉底层任务可以使和提高他们的表现。随后，我们提出了一种新的IRL方法，SMIRL，首先学习的（近似）结构的任务作为一个有限状态自动机（FSA），然后使用的结构基序来解决IRL问题。我们测试我们的模型在离散网格世界和高维连续域环境。我们的经验表明，我们提出的方法成功地学习了所有四个复杂的任务，其中两个基本的IRL基线失败。我们的模型在一个简单的玩具任务上的样本效率也优于基线。我们进一步展示了有前途的测试结果，在一个修改后的连续域的任务与组合奖励函数。
2022-09-25 cs.AI cs.LG
How Private Is Your RL Policy? An Inverse RL Based Analysis Framework
IIIT Hyderabad（海得拉巴国际信息技术研究所）
强化学习（RL）使智能体能够从头开始学习如何执行各种任务。在自动驾驶、推荐系统等领域，如果学习到的最佳强化学习策略记住了私人奖励的任何部分，可能会导致隐私泄露。我们研究了一组现有的差异化私有RL策略，这些策略来自于各种RL算法，如值迭代，深度Q网络和Vanilla近端策略优化。我们提出了一个新的隐私感知逆RL（PRIL）分析框架，执行奖励重建作为一个对抗攻击的私人政策，代理可能会部署。为此，我们引入了奖励重建攻击，其中我们试图使用逆RL算法从隐私保护策略中重建原始奖励。如果代理使用严格的私有策略，对手在重建原始奖励函数方面一定做得很差。使用这个框架，我们经验性地测试了不同复杂度的FrozenLake域的多个实例上的私有算法所提供的隐私保证的有效性。基于所进行的分析，我们推断出当前提供的隐私标准与保护RL中奖励功能所需的隐私标准之间存在差距。我们这样做，通过量化的程度，每个私人政策保护的奖励功能，通过测量原始和重建的奖励之间的距离。
2021-12-10 cs.AI cs.LG
Generalizing Behavior via Inverse Reinforcement Learning with Closed-Form Reward Centroids
Politecnico di Milano（米兰理工学院）
研究将专家示范行为泛化到新环境的问题，提出一种基于可行集有界子集奖励质心的闭式表达式决策标准，并设计了仅用离线数据估计该质心的高效算法。
2025-09-15 cs.AI cs.LG
LS-IQ: Implicit Reward Regularization for Inverse Reinforcement Learning
German Research Center for AI (DFKI)（德国人工智能研究中心（DFKI））；Centre for Cognitive Science（认知科学中心）
最近的模仿学习方法直接学习一个$Q$ -函数使用一个隐式的奖励公式，而不是一个显式的奖励函数。然而，这些方法通常需要隐式奖励正则化来提高稳定性，并且经常误处理吸收状态。以往的工作表明，平方范数正则化的隐式奖励函数是有效的，但没有提供一个理论分析的算法所产生的属性。在这项工作中，我们表明，使用这种正则化的混合分布的政策和专家提供了一个特别有启发性的观点：原来的目标可以被理解为平方贝尔曼误差最小化，相应的优化问题最大限度地减少了有界$χ^2$ -专家和混合分布之间的分歧。这种观点使我们能够解决不稳定性和正确对待吸收状态。我们表明，我们的方法，最小二乘逆Q学习（LS-IQ），优于最先进的算法，特别是在吸收状态的环境中。最后，我们建议使用逆动力学模型只从观察中学习。使用这种方法，我们在没有专家操作可用的设置中保持性能。
2023-03-01 cs.AI cs.LG cs.RO
Inverse Reinforcement Learning without an Optimal Demonstrator: A Feasible Reward Set Approach
MIT LIDS（麻省理工学院媒体实验室）；University of Massachusetts, Amherst（马萨诸塞大学阿姆赫斯特分校）；Adobe Research（Adobe研究院）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
针对多个非最优演示者数据，提出可行奖励集框架，通过线性约束联合可行集单调收缩，并给出恢复保证与高维环境离线算法。
2026-05-29 cs.AI cs.LG
Efficient Exploration of Reward Functions in Inverse Reinforcement Learning via Bayesian Optimization
National University of Singapore（新加坡国立大学）
逆强化学习（IRL）问题与包括价值对齐和机器人学习在内的各种任务相关。尽管近年来在算法方面做出了重大贡献，但IRL的核心仍然是一个不适定问题;多个奖励函数与观察到的行为一致，并且在没有先验知识或补充信息的情况下，实际的奖励函数是不可识别的。本文提出了一个IRL框架称为贝叶斯优化IRL（BO-IRL），确定多个解决方案是一致的专家演示，有效地探索奖励函数空间。BO-IRL通过利用贝叶斯优化以及我们新提出的内核来实现这一点，该内核（a）将策略不变奖励函数的参数投影到潜在空间中的单个点，以及（b）确保潜在空间中的附近点对应于产生类似可能性的奖励函数。这种投影允许在潜在空间中使用标准的静态内核来捕获整个奖励函数空间中存在的相关性。在合成环境和现实环境（无模型和基于模型）上的实证结果表明，BO-IRL发现了多个奖励函数，同时最大限度地减少了昂贵的精确策略优化的数量。
2020-11-17 cs.AI cs.LG cs.RO
TROFI: Trajectory-Ranked Offline Inverse Reinforcement Learning
本文提出TROFI方法，通过从人类偏好中学习奖励函数来标注离线数据集，无需预定义奖励或最优轨迹即可有效训练策略，在D4RL基准和3D游戏环境中表现优于基线且媲美真实奖励。
2025-06-27 cs.AI cs.LG
Inverse Reinforcement Learning via Matching of Optimality Profiles
ETH Zürich（苏黎世联邦理工学院）
逆强化学习（IRL）的目标是推断出解释执行任务的代理的行为的奖励函数。大多数方法的假设是，所演示的行为接近最优。然而，在许多现实世界的场景中，真正最优行为的示例是稀缺的，并且期望有效地利用次优或异构性能的演示集，这些演示集更容易获得。我们提出了一种算法，学习奖励函数，从这样的演示与弱监督信号的形式分布在演示过程中收集的奖励（或更一般地说，分布在累积折扣的未来奖励）。我们认为这样的分布，我们也被称为最优配置文件，作为总结的最优程度的示范，可能，例如，反映了人类专家的意见。给定一个最优配置文件和少量的额外监督，我们的算法适合奖励函数，建模为神经网络，基本上最小化相应的诱导分布和最优配置文件之间的Wasserstein距离。我们证明了我们的方法能够学习奖励函数，使得经过训练以优化它们的策略优于用于拟合奖励函数的演示。
2020-11-19 cs.AI cs.LG
Meta Inverse Reinforcement Learning via Maximum Reward Sharing for Human Motion Analysis
California Institute of Technology（加州理工学院）
这项工作处理逆强化学习（IRL）的问题，只有少量的演示是从每个高维任务的演示，不足以估计一个准确的奖励函数。观察到每个演示者对每个状态都有一个固有的奖励，并且任务特定的行为主要取决于少量的关键状态，我们提出了一种Meta IRL算法，该算法首先将每个任务的奖励函数建模为一个分布，该分布以所有任务共享的基线奖励函数为条件，并且只依赖于演示者，然后在解释任务特定行为的分布中找到最可能的奖励函数。我们在一个模拟环境中测试的路径规划任务的方法与有限的演示，并表明学习的奖励函数的准确性显着提高。我们也应用该方法来分析一个病人的康复运动。
2017-10-12 cs.AI
Subspace Inference Enables Efficient Active Reward Learning from Preferences
University of Southern California（南加州大学）
本文提出PreferenceEKF方法，通过低维子空间的扩展卡尔曼滤波实现高效序贯贝叶斯推理，在D4RL等基准上较其他贝叶斯深度学习方法更优，助力RLHF的高效奖励学习。
2026-09-04 cs.AI cs.LG cs.RO
Learning Rewards, Not Labels: Adversarial Inverse Reinforcement Learning for Machinery Fault Detection
Deakin University（德肯大学）
本文提出对抗性逆强化学习方法，用于机械故障检测，通过学习奖励动态实现无需标签的故障识别。
2026-02-25 cs.AI cs.LG
A New Framework for Query Efficient Active Imitation Learning
Georgia Institute of Technology（佐治亚理工学院）
我们寻求在强化学习（RL）环境中将代理策略与人类专家行为相结合，而无需任何关于动态，奖励函数和不安全状态的先验知识。有一个人类专家知道的奖励和不安全的状态，基于他的偏好和目标，但查询人类专家是昂贵的。为了解决这一挑战，我们提出了一个新的框架模仿学习（IL）算法，积极和互动地学习用户的奖励函数与有效的查询模型。我们建立了一个对抗性的状态生成模型和一个后继特征（SR）模型，该模型通过学习策略收集的过渡经验进行训练。我们的方法使用这些模型来选择状态-动作对，要求用户评论最优性或安全性，并训练对抗性神经网络来预测奖励。与以往几乎都是基于不确定性采样的文献不同，本文的核心思想是通过区分查询（专家）和未查询（生成）数据，最大化价值函数学习效率，从策略上和策略外的经验中主动有效地选择状态-动作对。我们称这种方法为具有后继表示的对抗性奖励查询。我们评估所提出的方法与模拟人基于状态的2D导航任务，机器人控制任务和基于图像的视频游戏，其中具有高维观测和复杂的状态动态。实验结果表明，该方法在学习奖励模型方面明显优于基于不确定性的方法，获得了更好的查询效率，其中对抗性搜索可以使Agent更有效地学习人类行为，SR可以选择对价值函数影响更大的状态。此外，所提出的方法还可以学习，以避免不安全的状态时，训练的奖励模型。
2019-12-30 cs.AI cs.LG stat.ML
Rewriting History with Inverse RL: Hindsight Inference for Policy Improvement
Carnegie Mellon University（卡内基梅隆大学）；UC Berkeley（加州大学伯克利分校）；Google Brain（谷歌大脑）
多任务强化学习（RL）旨在同时学习解决多个任务的策略。几个先前的工作已经发现，用不同的奖励函数重新标记过去的经验可以提高样本效率。重新标记方法通常会问：如果事后我们假设我们的经验对某些任务是最优的，那么它对什么任务是最优的？在本文中，我们证明了后见之明重新标记是逆RL，这一观察表明，我们可以使用逆RL串联RL算法，以有效地解决许多任务。我们使用这个想法来概括目标重新标记技术从以前的工作，以任意类的任务。我们的实验证实，使用逆RL重新标记数据可以加速一般多任务设置中的学习，包括目标达成、具有离散奖励集的域以及具有线性奖励函数的域。
2020-02-25 cs.AI cs.LG cs.RO
Inverse Reinforcement Learning with Dynamic Reward Scaling for LLM Alignment
Beijing Electronic Science and Technology Institute（北京电子科技学院）；Alibaba Group（阿里巴巴集团）；Nanjing University（南京大学）；Duke University（杜克大学）；BraneMatrix AI；Renmin University of China（中国人民大学）；Northeast University（东北大学）；Nanyang Technological University（南洋理工大学）；Zhejiang Lab（浙江实验室）；Sun Yat-sen University（中山大学）
DR-IRL通过动态奖励缩放和逆强化学习提升大语言模型的安全对齐性能，有效解决数据不平衡和静态奖励模型的局限性。
2026-03-02 cs.AI cs.CL cs.LG
Distance-rank Aware Sequential Reward Learning for Inverse Reinforcement Learning with Sub-optimal Demonstrations
Tsinghua University（清华大学）；SenseTime Research（商汤科技研究院）；Chinese University of Hong Kong（香港中文大学）；Hong Kong University of Science and Technology（香港科技大学）
针对次优示范逆强化学习中奖励模糊性问题，提出距离排名感知序列奖励学习框架，结合轨迹排名、策略距离与Transformer，显著提升奖励估计性能。
2023-10-13 cs.AI cs.LG
Learning Pareto-Optimal Rewards from Noisy Preferences: A Framework for Multi-Objective Inverse Reinforcement Learning
Department of Computer Science（计算机科学系）；Illinois Mathematics and Science Academy（伊利诺伊数学与科学学院）
针对生成式智能体与复杂人类价值对齐的挑战，提出基于偏好的多目标逆强化学习框架，推导帕累托前沿近似的样本复杂度界，提出可证明收敛的策略优化算法，为高维价值多元环境下的对齐学习提供理论基础。
2025-07-28 cs.AI cs.CG cs.LG
OffSim: Offline Simulator for Model-based Offline Inverse Reinforcement Learning
本文提出OffSim，一种基于模型的离线逆强化学习框架，通过专家生成的状态-动作轨迹直接模拟环境动态和奖励结构，提升探索性和泛化能力，无需与真实环境交互。
2026-03-25 cs.AI cs.LG
A Novel Variational Lower Bound for Inverse Reinforcement Learning
University of Georgia（佐治亚大学）
本文提出VLB-IRL，一种基于概率图模型和变分下界的逆强化学习方法，同时学习奖励与策略，并在多个已知领域超越现有最先进IRL算法，达到专家级性能。
2023-11-10 cs.AI cs.LG cs.RO
PHIRL: Aligning Learned Rewards with Task Progress for Inverse Reinforcement Learning
PHIRL提出一种联合演示与进度反馈的逆强化学习框架，通过四维对齐学习稳健奖励，在少量标注下显著提升机器人任务回报与成功率。
2026-09-29 cs.AI cs.RO
Context-Hierarchy Inverse Reinforcement Learning
National University of Singapore（新加坡国立大学）
逆强化学习（IRL）代理通过观察专家演示和学习专家的潜在奖励函数来学习智能地行动。虽然从演示中学习奖励函数在各种任务中取得了巨大的成功，但其他一些挑战大多被忽视。首先，现有的IRL方法试图从头开始学习奖励函数，而不依赖于任何先验知识。其次，传统的IRL方法假设奖励函数在所有演示中是齐次的。一些现有的IRL方法设法扩展到异构的演示。然而，他们仍然假设一个影响行为的隐藏变量，并从演示中学习潜在的隐藏变量以及奖励。为了解决这些问题，我们提出了上下文层次IRL（CHIRL），一个新的IRL算法，利用上下文扩展IRL和学习复杂行为的奖励函数。CHIRL将上下文分层建模为有向无环图;它将奖励函数表示为相应的模块化深度神经网络，该网络将每个网络模块与上下文分层结构的节点相关联。上下文层次结构和模块化的奖励表示使数据共享跨多个上下文和状态抽象，显着提高学习性能。当上下文层次表示子任务分解时，CHIRL与层次任务规划有着天然的联系。它能够将子任务的因果依赖关系的先验知识结合起来，并通过将其解耦为几个子任务并征服每个子任务来解决原始任务，使其能够解决大型复杂任务。基准任务的实验，包括在CARLA模拟器中的大规模自动驾驶任务，显示出有希望的结果，在扩大IRL的任务与复杂的奖励功能。
2022-02-25 cs.AI cs.LG
Adversarial Reward Auditing for Active Detection and Mitigation of Reward Hacking
Department of Computer Science, University of California, Davis, USA（加州大学戴维斯分校计算机科学系）；Meta AI Research（Meta AI研究院）
本文提出对抗性奖励审计框架，通过动态竞争机制检测并缓解奖励黑客问题，实现最佳的对齐-效用权衡。
2026-09-29 cs.AI cs.LG
Rethinking Inverse Reinforcement Learning: from Data Alignment to Task Alignment
Boston University（波士顿大学）
针对逆强化学习推断的奖励函数常无法匹配任务目标的问题，提出优先任务对齐的半监督模仿学习框架，通过候选奖励函数集与对抗训练验证策略，在复杂及迁移场景下效果优于传统基线。
2024-10-31 cs.AI cs.LG
A Geometric Perspective on Reward Function Updates in Inverse Reinforcement Learning
Technical University of Darmstadt（达姆施塔特工业大学）；Robotics Institute Germany (RIG)（德国机器人研究所（RIG））；German Research Center for AI (DFKI)（德国人工智能研究中心（DFKI））
本文从几何视角研究逆强化学习的奖励更新，提出占用空间视角，设计带费舍尔信息预处理的自然梯度式奖励更新，分析其镜像下降特性并给出收敛性结果。
2026-10-14 cs.AI cs.LG cs.RO
Inverse Reinforcement Learning with Switching Rewards and History Dependency for Characterizing Animal Behaviors
Georgia Institute of Technology, Atlanta, GA, USA（佐治亚理工学院）；Emory University, Atlanta, GA, USA（埃默里大学）
提出SWIRL框架，通过结合时变和历史依赖的奖励函数，将长行为序列建模为短期决策过程间的转换，有效捕捉动物基于历史的复杂长期决策行为。
2025-07-15 cs.AI cs.LG
Convergence of a model-free entropy-regularized inverse reinforcement learning algorithm
Swiss Data Science Center（瑞士数据科学中心）
本文提出一种无模型熵正则化逆强化学习算法，结合随机梯度下降和随机软策略迭代更新，证明了在生成模型下能以特定样本复杂度恢复近似最优奖励并逼近专家策略。
2025-03-03 cs.AI cs.LG
Value of Information and Reward Specification in Active Inference and POMDPs
VERSES Research Lab（VERSES研究实验室）
该研究将期望自由能（EFE）置于信念MDP框架下，借助强化学习理论工具证明EFE通过信息价值近似贝叶斯最优RL策略，揭示了主动推理与奖励驱动RL的关联及对主动推理目标设定的启示。
2024-08-13 cs.AI cs.LG
MORAL: Aligning AI with Human Norms through Multi-Objective Reinforced Active Learning
Delft University of Technology（代尔夫特理工大学）
从演示和成对偏好中推断奖励函数是将强化学习（RL）代理与人类意图对齐的好方法。然而，现有技术的方法通常集中于学习单个奖励模型，从而使得难以权衡来自多个专家的不同奖励函数。我们提出了多目标强化主动学习（MORAL），一种新的方法，结合不同的示范社会规范到帕累托最优的政策。通过保持标量化权重的分布，我们的方法能够交互式地将深度RL代理调整到各种偏好，同时消除了计算多个策略的需要。我们实证证明了道德的有效性，在两种情况下，模型的交付和紧急任务，需要一个代理人采取行动的规范冲突的存在。总的来说，我们认为我们的研究是朝着多目标RL学习奖励迈出的一步，弥合了当前奖励学习和机器伦理文献之间的差距。
2021-12-30 cs.AI cs.LG
Linguistic communication as (inverse) reward design
Princeton University（普林斯顿大学）；Princeton Neuroscience Institute（普林斯顿神经科学研究所）
自然语言是向自主智能体传达奖励信息的一种直观且富有表现力的方式。它涵盖了从具体的指令到对世界的抽象描述的一切。尽管如此，自然语言的学习往往具有挑战性：机器学习方法很难从如此广泛的输入中做出适当的推断。本文提出了一个概括的奖励设计作为一个统一的原则，地面语言交际：说话人选择话语，以最大限度地提高预期的回报，从听众的未来行为。我们首先扩展奖励设计，将推理未知的未来状态的线性强盗设置。然后，我们定义了一个说话人模型，根据这一目标选择话语。模拟表明，短视野说话者（主要是对一个单一的已知状态进行推理）倾向于使用指令，而长视野说话者（主要是对未知的未来状态进行推理）倾向于描述奖励函数。然后，我们定义了一个务实的听众进行反向奖励设计，共同推断扬声器的潜在地平线和奖励。我们的研究结果表明，这种扩展的奖励设计的语言交流，包括一个潜在的扬声器地平线的概念，是一个有前途的方向，实现更强大的对齐结果从自然语言监督。
2022-04-11 cs.AI cs.CL
Loop-Free Inverse Reinforcement Learning via Sequential Value Recovery with Q-Score Matching
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；University of Auckland（奥克兰大学）
本文提出无循环逆强化学习（LFIRL），通过扩散策略编码的动作梯度结构，将奖励学习转化为顺序价值恢复问题，消除策略优化循环，实现2-3倍加速并保持高质量奖励恢复。
2026-10-01 cs.AI cs.LG
Active Finite Reward Automaton Inference and Reinforcement Learning Using Queries and Counterexamples
Arizona State University（亚利桑那州立大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
尽管深度强化学习（RL）在各种任务中的表现已经超过了人类水平，但它仍然存在一些根本性的挑战。首先，大多数强化学习方法需要从环境探索中获得大量数据才能实现令人满意的性能。其次，在强化学习中使用神经网络使得很难以人类可以理解的方式解释系统的内部结构。为了解决这两个挑战，我们提出了一个框架，使RL代理的原因在其探索过程中，并提取高层次的知识，有效地指导其未来的探索。具体来说，我们提出了一种新的RL算法，学习高级知识的形式，有限奖励自动机通过使用L* 学习算法。我们证明了在情节强化学习中，有限奖励自动机可以表示任何非马尔可夫有界奖励函数，并以任意精度逼近任何非马尔可夫有界奖励函数（具有无穷多个奖励值）。我们还提供了一个下界的情节长度，建议RL方法几乎肯定收敛到一个最优的政策的限制。我们在两个具有非马尔可夫奖励函数的RL环境中测试了这种方法，为每个环境选择了各种复杂性不断增加的任务。我们比较了我们的算法与最先进的RL算法的非马尔可夫奖励功能，如联合推理的奖励机和策略的RL（JIRP），学习奖励机（LRM），和近端策略优化（PPO2）。我们的结果表明，我们的算法收敛到最优策略比其他基线方法。
2021-07-03 cs.AI cs.LG
LiMIIRL: Lightweight Multiple-Intent Inverse Reinforcement Learning
The University of Queensland（昆士兰大学）；Intuitive Surgical（直觉外科公司）
多意图逆强化学习（MI-IRL）试图找到一个奖励函数集合，以合理化不同但未标记的意图的演示。在流行的期望最大化（EM）的框架内学习概率MI-IRL模型，我们提出了一个热启动策略的基础上，在特征空间中的演示的前期聚类。我们的理论分析表明，这种热启动解决方案产生了一个接近最优的奖励合奏，提供的行为模式满足温和的分离条件。我们还提出了一个MI-IRL性能指标，概括了流行的期望值差异措施，直接评估学习奖励对地面真相奖励合奏。我们的指标优雅地解决了通过最小成本流公式配对学习和地面真相奖励的困难，并且是有效的可计算的。我们还开发了一个MI-IRL基准问题，允许更全面的算法评估。在这个问题上，我们发现我们的MI-IRL热启动策略有助于避免质量差的局部最小值奖励集成，从而显着改善行为聚类。我们广泛的敏感性分析表明，学习奖励合奏的质量在各种设置下得到改善，包括我们的理论假设不一定成立的情况下。最后，我们证明了我们的方法的有效性，发现不同的驾驶风格在一个大型的现实世界的数据集的司机GPS轨迹。
2021-06-03 cs.AI cs.LG cs.RO
Dialogue Generation: From Imitation Learning to Inverse Reinforcement Learning
University of Amsterdam（阿姆斯特丹大学）；Microsoft Research AI（微软人工智能研究院）
对抗性对话生成模型的性能依赖于由机器人产生的奖励信号的质量。来自一个差的应答器的奖励信号可能非常稀疏和不稳定，这可能导致生成器陷入局部最优或产生无意义的应答。为了缓解第一个问题，我们首先将最近提出的对抗性对话生成方法扩展到对抗性模仿学习解决方案。然后，在对抗逆强化学习的框架下，我们提出了一种新的对话生成奖励模型，可以为生成器训练提供更加准确和精确的奖励信号。我们在两个注释设置中使用自动度量和人工评估来评估所得到的模型的性能。我们的实验结果表明，我们的模型可以产生更多的高质量的响应，并实现更高的整体性能比国家的最先进的。
2018-12-09 cs.AI cs.CL cs.LG
Hybrid-AIRL: Enhancing Inverse Reinforcement Learning with Supervised Expert Guidance
Artificial Intelligence Lab — Vrije Universiteit Brussel（自由大学布鲁塞尔人工智能实验室）；College of Science and Engineering — University of Galway（盖尔威大学科学与工程学院）；Family Medicine and Population Health — University of Antwerp（安特卫普大学家庭医学与人口健康）
本文提出Hybrid-AIRL，通过结合监督损失和随机正则化机制改进逆强化学习，在高复杂度的 imperfect-information 环境中提升奖励推断和策略学习效率。
2026-04-21 cs.AI cs.LG
Learning Causally Invariant Reward Functions from Diverse Demonstrations
ETH Zürich（苏黎世联邦理工学院）
针对逆强化学习中演示数据稀缺异构导致奖励函数含虚假关联、分布偏移下策略过拟合的问题，提出基于因果不变性的正则化方法，应用于精确与近似学习任务，在迁移设置中提升了策略性能。
2024-09-12 cs.AI cs.LG
Kernel Density Bayesian Inverse Reinforcement Learning
Stanford University（斯坦福大学）；University of North Carolina（北卡罗来纳大学）；Columbia University（哥伦比亚大学）；Princeton University（普林斯顿大学）；Flatiron Institute（Flatiron研究所）；Gladstone Institutes（Gladstone研究所）
本文提出核密度贝叶斯逆强化学习（KD-BIRL），利用训练任务的已知奖励函数改进似然估计，以在专家演示有限时更快地推断新任务奖励函数，并首次给出贝叶斯IRL后验收敛的理论保证。
2025-07-03 cs.AI cs.LG
Demonstration-efficient Inverse Reinforcement Learning in Procedurally Generated Environments
Università degli Studi di Firenze（佛罗伦萨大学）；University of Cambridge（剑桥大学）
深度强化学习在可以手动设计奖励函数的领域中取得了非常好的效果。与此同时，社区内越来越有兴趣使用基于程序内容生成（PCG）的游戏作为基准环境，因为这种类型的环境非常适合研究域转移下代理的过拟合和泛化。相反，反向强化学习（IRL）可以从专家演示中推断出奖励函数，即使在高维问题上也有很好的结果，但是没有将这些技术应用于过程生成环境的例子。这主要是由于找到一个好的奖励模型所需的演示数量。我们提出了一种基于对抗逆强化学习的技术，可以显着减少PCG游戏中对专家演示的需求。通过使用一组有限的初始种子水平的环境，加上一些修改来稳定训练，我们证明了我们的方法DE-AIRL是演示有效的，并且仍然能够外推推广到全过程域的奖励函数。我们证明了我们的技术在两个程序环境，MiniGrid和DeepCrawl，各种任务的有效性。
2020-12-04 cs.AI cs.LG
Reward Maximisation through Discrete Active Inference
Imperial College London（帝国理工学院）；University College London（伦敦大学学院）；Laureate Institute for Brain Research（劳雷亚德脑研究所）
主动推理是一种概率框架，用于模拟生物和人工代理的行为，它源于最小化自由能的原则。近年来，这一框架已成功地应用于各种情况下，目标是最大限度地提高回报，提供可比的，有时更优越的性能，以替代方法。在本文中，我们阐明了奖励最大化和积极推理之间的联系，通过演示如何以及何时主动推理代理执行最佳奖励的行动。准确地说，我们展示了主动推理产生贝尔曼方程最佳解的条件--该公式是几种基于基于模型的强化学习和控制方法的基础。部分观察马尔可夫决策过程，标准的主动推理方案可以产生贝尔曼最优行动的规划视野1，但不超过。相比之下，最近开发的递归主动推理计划（复杂的推理）可以产生贝尔曼最优行动的任何有限的时间范围内。我们在分析的基础上讨论了主动推理和强化学习之间更广泛的关系。
2022-07-11 cs.AI math.OC q-bio.NC
Inverse Reinforcement Learning with Sub-optimal Experts
Politecnico di Milano（米兰理工大学）
本文将逆强化学习扩展至包含多个次优专家的场景，研究了可行奖励集的理论性质，证明次优专家能显著缩小兼容奖励集，并提出在次优专家性能接近最优时达到最小最大最优的均匀采样算法。
2024-01-08 cs.AI cs.LG
Discovering Generalizable Spatial Goal Representations via Graph-based Active Reward Learning
Massachusetts Institute of Technology（麻省理工学院）
在这项工作中，我们考虑一次性模仿学习的对象重排任务，其中一个人工智能智能体需要观看一个单一的专家演示，并学习在不同的环境中执行相同的任务。为了实现强泛化，人工智能智能体必须推断任务的空间目标规范。然而，可以有多个目标规范适合给定的演示。为了解决这个问题，我们提出了一种奖励学习方法，基于图的等价映射（GEM），它可以发现与预期目标规范一致的空间目标表示，从而在看不见的环境中实现成功的泛化。具体地，GEM通过奖励函数表示空间目标规范，该奖励函数以i）指示对象之间的重要空间关系的图和ii）指示对应关系的不变性质的图中的每个边的状态等价映射为条件。GEM结合了反向强化学习和主动奖励学习，通过利用等价映射实现的图结构和域随机化来有效地改进奖励函数。我们用模拟神谕和人类做实验。结果表明，GEM可以大大提高学习目标表示在强基线上的泛化能力。
2022-11-24 cs.AI cs.LG cs.RO
