Adversarial Constrained Policy Optimization: Improving Constrained Reinforcement Learning by Adapting Budgets
Shanghai Jiao Tong University（上海交通大学）；ParisTech Elite Institute of Technology, Shanghai Jiao Tong University（上海交通大学巴黎卓越工程师学院）；AI Institute, Shanghai Jiao Tong University（上海交通大学人工智能研究院）
针对约束强化学习难以平衡性能与安全、易陷入过度保守或违约局部最优的问题，本文提出ACPO，通过对抗式交替优化实现奖励提升与成本预算自适应，并在Safety Gymnasium和四足运动任务中验证其优于常用基线。
2024-10-28 cs.LG cs.RO
Distributed Optimization of Modular Production Systems using Model-based Reinforcement Learning with Inverse Models
South Westphalia University of Applied Sciences（南威斯特法伦应用科学大学）；Hochschule Düsseldorf University of Applied Sciences（杜塞尔多夫应用科学大学）
本文提出一种基于逆模型的模型强化学习框架，用于模块化制造系统的分布式优化，通过分离执行与状态动力学，提升训练速度与性能，尤其在离策略算法中效果显著。
2026-09-11 cs.AI cs.LG cs.SY
Constrained Attractor Selection Using Deep Reinforcement Learning
Duke University（杜克大学）
本文描述了一种具有约束驱动的非线性动力系统的吸引子选择（或多稳定控制）方法。吸引子选择使用两种不同的深度强化学习方法获得：1）交叉熵方法（CEM）和2）深度确定性策略梯度（DDPG）方法。应用这些控制方法的框架和算法。Duffing振子是一个典型的具有多个吸引子的非线性动力系统，实验在该振子上进行.这两种方法实现了各种控制约束下的吸引子选择。虽然这些方法具有几乎相同的成功率，但DDPG方法具有高学习率，低性能方差和平滑控制方法的优点。这项研究证明了两种强化学习方法实现约束吸引子选择的能力。
2020-05-30 cs.LG cs.SY eess.SY
Inverse-Inverse Reinforcement Learning. How to Hide Strategy from an Adversarial Inverse Reinforcement Learner
Cornell University（康奈尔大学）；Lockheed Martin Advanced Technology Laboratories（洛克希德·马丁先进技术实验室）
逆强化学习（IRL）处理从代理的动作估计代理的效用函数。在本文中，我们考虑代理如何隐藏其策略并减轻对抗性IRL攻击;我们称之为逆IRL（I-IRL）。决策者应该如何选择其响应，以确保其战略的一个不良重建的对手执行IRL估计代理的战略？本文包括四个结果：第一，我们提出了一个对抗IRL算法，估计代理的策略，同时控制代理的效用函数。我们的I-IRL结果的第二个结果欺骗了对手使用的IRL算法。我们的I-IRL结果是基于微观经济学中的显示偏好理论。关键思想是代理人故意选择次优响应，充分掩盖其真实策略。第三，我们给出了一个样本的复杂性结果，我们的主要I-IRL的结果时，代理人有噪声估计的对手指定的效用函数。最后，我们说明了我们的I-IRL计划在雷达问题中的元认知雷达试图减轻敌对目标。
2022-05-22 cs.LG eess.SP
Density Constrained Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）；California Institute of Technology（加州理工学院）
我们研究约束强化学习（CRL）从一个新的角度直接设置约束的状态密度函数，而不是以前的作品所考虑的价值函数。态密度具有明确的物理和数学解释，并且能够表达各种各样的约束，例如资源限制和安全要求。密度约束还可以避免设计和调整基于价值函数的约束所需的成本函数以编码系统规范的耗时过程。我们利用密度函数和Q函数之间的对偶性，开发了一种有效的算法来最优地解决密度约束RL问题，并保证满足约束。我们证明了所提出的算法收敛到一个接近最优的解决方案，有界误差，即使在政策更新是不完善的。我们使用一组全面的实验来证明我们的方法的优势，国家的最先进的CRL方法，具有广泛的密度约束的任务，以及标准的CRL基准，如安全健身房。
2021-06-24 cs.LG cs.SY eess.SY
Inverse Reinforcement Learning Based Stochastic Driver Behavior Learning
Texas Tech University（德克萨斯理工大学）
驾驶员在交通中操纵车辆时，有着独特而丰富的驾驶行为。本文提出了一种新的驾驶员行为学习方法，捕捉人类驾驶员行为的独特性和丰富性，在现实的驾驶场景。提出了一种随机逆强化学习（SIRL）方法来学习成本函数的分布，该成本函数表示具有给定的一组驾驶员特定示范的人类驾驶员行为的丰富性。对从3D驾驶员在环驾驶模拟中收集的真实驾驶数据进行评估。结果表明，学习的随机驾驶员模型能够表达人类驾驶策略的丰富性，在不同的现实驾驶场景。与确定性基准驾驶员行为模型相比，结果表明，所提出的随机驾驶员行为模型可以更好地复制驾驶员在各种交通条件下独特而丰富的驾驶策略。
2021-08-05 cs.LG cs.SY eess.SY
Can Optimal Transport Improve Federated Inverse Reinforcement Learning?
Rochester Institute of Technology（罗切斯特理工学院）
本文提出基于最优传输的联邦逆强化学习方法，通过Wasserstein均值融合提升跨异构环境的奖励估计一致性。
2026-01-01 cs.LG cs.SY eess.SY
Sample Efficient Social Navigation Using Inverse Reinforcement Learning
McGill University（麦吉尔大学）；Samsung Electronics（三星电子）
在本文中，我们提出了一种算法，有效地学习社会兼容的导航政策，从人类轨迹的观察。随着移动机器人进入社交空间，它们必须考虑社交线索，并以符合社交的方式行事。我们专注于从例子中学习这些线索。我们描述了一种基于逆强化学习的算法，该算法从人类轨迹观察中学习，而不知道他们的具体行动。我们通过利用重放缓冲区的概念（在许多非策略强化学习方法中发现）来消除与逆强化学习相关的额外样本复杂性，从而提高了我们方法的样本效率。我们评估我们的方法通过训练代理使用公开的行人运动数据集，并将其与相关方法进行比较。我们表明，我们的方法产生更好的性能，同时也降低了训练时间和样本的复杂性。
2021-06-18 cs.AI cs.LG cs.RO
Learning Robust Rewards with Adversarial Inverse Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
强化学习为决策和控制提供了一个强大而通用的框架，但其在实践中的应用往往受到广泛特征和奖励工程需求的阻碍。深度强化学习方法可以消除对策略或值特征的显式工程的需要，但仍然需要手动指定的奖励函数。逆强化学习有望实现自动奖励获取，但已被证明非常难以应用于具有未知动态的大型高维问题。在这项工作中，我们提出了adverserial逆强化学习（AIRL），一个实用的和可扩展的逆强化学习算法的基础上的对抗奖励学习制定。我们证明了AIRL能够恢复对动态变化具有鲁棒性的奖励函数，即使在训练过程中看到的环境发生重大变化的情况下，我们也能够学习策略。我们的实验表明，AIRL大大优于以前的方法，在这些传输设置。
2018-08-13 cs.LG
Model-Based Inverse Reinforcement Learning from Visual Demonstrations
Facebook AI Research（脸书人工智能研究院）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Edinburgh（爱丁堡大学）；University of Pennsylvania（宾夕法尼亚大学）
将基于模型的逆强化学习（IRL）扩展到具有未知动力学的真实机器人操作任务仍然是一个悬而未决的问题。关键的挑战在于学习良好的动力学模型，开发可扩展到高维状态空间的算法，以及能够从视觉和本体感受演示中学习。在这项工作中，我们提出了一个基于梯度的逆强化学习框架，该框架利用预先训练的视觉动力学模型来学习成本函数时，只有视觉人类示范。然后，学习的成本函数用于通过视觉模型预测控制再现所演示的行为。我们评估我们的硬件框架上的两个基本的对象操作任务。
2021-01-06 cs.LG cs.RO
Inverse Delayed Reinforcement Learning
Northwestern University（西北大学）；University of Southampton（南安普顿大学）
针对受延迟扰动影响的专家轨迹，本文提出离策略对抗式 IRL 框架，从增强延迟观测中提取奖励特征并恢复最优策略，实验与理论均证明其优于直接使用延迟观测。
2024-12-04 cs.AI cs.LG cs.SY
MIRACLE: Inverse Reinforcement and Curriculum Learning Model for Human-inspired Mobile Robot Navigation
Purdue University（普渡大学）
针对紧急场景下社会感知导航的计算与适应难题，提出MIRACLE模型，利用游戏化数据和深度逆最大熵强化学习实现类人机器人导航。
2023-12-07 cs.LG cs.RO
A proof of imitation of Wasserstein inverse reinforcement learning for multi-objective optimization
NEC Corporation（日本电气股份有限公司）
本文证明在多目标优化中，Wasserstein 逆向强化学习能在有限次迭代内使学习者的奖励值和最优解分别模仿专家的奖励值和最优解。
2023-05-18 cs.AI cs.LG stat.ML
Show me what you want: Inverse reinforcement learning to automatically design robot swarms by demonstration
Université libre de Bruxelles（布鲁塞尔自由大学）
自动设计是生成机器人群控制软件的一种很有前途的方法。到目前为止，自动设计依赖于任务特定的目标函数来指定所需的集体行为。在本文中，我们探讨的可能性，指定所需的集体行为，通过示范。我们开发Demo-Cho，一种自动设计方法，将逆强化学习与机器人群控制软件的自动模块化设计相结合。我们表明，只有在演示的基础上，而不需要提供一个明确的目标函数，Demo-Cho成功地生成了控制软件来执行四个任务。我们目前在模拟和物理机器人获得的结果。
2023-01-17 cs.LG cs.RO
CRLLK: Constrained Reinforcement Learning for Lane Keeping in Autonomous Driving
Nanyang Technological University（南洋理工大学）；Indian Institute of Technological（印度技术学院）；Indian Institute of Technology（印度理工学院）
提出将车道保持建模为约束强化学习，自动学习权重系数，免去场景特定调整，实验证明其优于传统RL并具有实际应用价值。
2025-03-28 cs.LG cs.RO
Interaction-limited Inverse Reinforcement Learning
Idiap Research Institute（伊迪亚普研究所）；EPFL（洛桑联邦理工学院）
本文提出了一种逆强化学习（IRL）框架，当学习者-教师\textit{interaction}在训练过程中是\textit{limited}时，该框架可以加速学习。我们的设置是由现实的情况下，一个有用的老师是不可用的，或者当老师无法访问学生的学习动态的动机。我们提出了两种不同的培训策略：课程逆强化学习（CIRL）涵盖教师的角度，和自定进度逆强化学习（SPIRL）侧重于学习者的角度。使用模拟实验和实验与一个真正的机器人学习的任务，从一个人的演示，我们表明，我们的训练策略可以允许更快的训练比随机教师CIRL比一批学习者SPIRL。
2020-07-01 cs.LG stat.ML
Learning Reward Models for Cooperative Trajectory Planning with Inverse Reinforcement Learning and Monte Carlo Tree Search
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Robert Bosch GmbH（罗伯特·博世有限公司）
自动驾驶车辆的协同轨迹规划方法可以解决需要交通参与者之间高度合作的交通场景。然而，为了使协作系统集成到以人为中心的交通中，自动化系统必须表现得像人类一样，以便人类可以预测系统的决策。虽然强化学习在解决决策部分方面取得了显着进展，但参数化产生可预测行为的奖励模型并非易事。这项工作采用基于特征的最大熵逆强化学习结合蒙特卡罗树搜索学习奖励模型，最大限度地提高记录的多智能体合作专家轨迹的可能性。评估表明，该方法可以恢复一个合理的奖励模型，模仿专家和执行类似的手动调整基线奖励模型。
2022-05-06 cs.LG cs.RO
Inverse Reinforcement Learning via Deep Gaussian Process
UC Berkeley（加州大学伯克利分校）；University of Sheffield（谢菲尔德大学）
提出了一种基于深度高斯过程（deep GP）模型的逆强化学习（IRL）新方法，该方法能够用较少的演示来学习复杂的奖励结构。我们的模型堆叠多个潜在GP层来学习状态特征空间的抽象表示，这通过最大熵学习框架与演示相关联。将IRL引擎扩展到非线性潜在结构中使得现有的深度GP推理方法难以处理。为了解决这个问题，我们开发了一个非标准的变分逼近框架，扩展了以前的推理方案。这允许特征空间的近似贝叶斯处理，并防止过拟合。在我们的模型中同时进行表示和逆强化学习优于最先进的方法，正如我们在标准基准（“对象世界”，“高速公路驾驶”）和新基准（“二进制世界”）上的实验所证明的那样。
2017-05-04 cs.LG cs.RO stat.ML
Preference elicitation and inverse reinforcement learning
Frankfurt Institute for Advanced Studies（法兰克福高等研究院）；EPFL（洛桑联邦理工学院）
我们陈述了逆强化学习在偏好诱导方面的问题，从而得到了一个原则性的（贝叶斯）统计公式。这概括了以前的工作贝叶斯逆强化学习，并允许我们获得一个后验分布代理的偏好，政策和可选的，获得的奖励序列，从观察。通过分析和实验结果，我们研究了所得方法与其他统计方法的关系。我们表明，偏好可以准确地确定，即使所观察到的代理的政策是次优相对于自己的喜好。在这种情况下，显着改善的政策，相对于代理的喜好，获得相比，其他方法和表现的政策。
2011-06-29 cs.LG stat.ML
Resilient Constrained Reinforcement Learning
University of Pennsylvania（宾夕法尼亚大学）
研究训练前约束规范未知的约束强化学习问题，提出弹性约束RL方法联合搜索策略与约束规范，通过引入松弛成本实现约束自适应，在弹性均衡下平衡奖励最大化与约束满足，并提供非渐近收敛保证的算法。
2023-12-29 cs.LG cs.SY eess.SY
Constrained Reinforcement Learning for Safe Heat Pump Control
Faculty of Computer Science, University of Freiburg（弗莱堡大学计算机科学学院）；University of Freiburg（弗莱堡大学）；Systems Control and Optimization Laboratory, Department of Microsystems Engineering, University of Freiburg（弗莱堡大学微系统工程系系统控制与优化实验室）
针对建筑供热系统优化能源效率并保持热舒适度这一约束优化问题，提出建筑模拟器I4B，应用无模型约束强化学习算法CSAC-LB，通过与基线算法对比，证明该算法在数据探索、约束满足和性能方面的效率。
2026-07-14 cs.AI cs.LG cs.SY
Inverse Reinforcement Learning in Large State Spaces via Function Approximation
California Institute of Technology（加州理工学院）
提出了一种在大规模高维状态空间中进行逆强化学习的新方法。为了避免在奖励学习中解决计算昂贵的强化学习问题，我们提出了一种函数逼近方法，以确保Bellman最优方程始终成立，然后估计一个函数，以最大化所观察到的运动的可能性。该方法的时间复杂度与动作集的基数成线性关系，因此可以有效地处理大的状态空间。我们在模拟环境中测试所提出的方法，并表明它是更准确的比现有的方法和显着更好的可扩展性。我们还表明，所提出的方法可以扩展到高维状态空间的许多现有的方法。然后，我们将该方法应用于评估康复刺激对脊髓损伤患者的影响，根据观察到的患者运动。
2017-08-13 cs.LG cs.RO
On the Correctness and Sample Complexity of Inverse Reinforcement Learning
Purdue University（普渡大学）
逆强化学习（IRL）是寻找一个奖励函数的问题，该函数为给定的马尔可夫决策过程生成给定的最优策略。本文着眼于一个算法独立的几何分析的IRL问题的有限状态和行动。一个L1-正则化的支持向量机制定的IRL问题的几何分析的动机，然后提出了考虑到逆强化问题的基本目标：找到一个奖励函数，产生一个指定的最优策略。本文进一步分析了所提出的具有$n$状态和$k$动作的逆强化学习的公式，并显示了$O(n^2 \log (nk))$的样本复杂度，用于恢复生成满足关于真实转移概率的Bellman最优性条件的策略的奖励函数。
2019-06-02 cs.LG stat.ML
Combining Reinforcement Learning and Inverse Reinforcement Learning for Asset Allocation Recommendations
AI Center of Excellence for Asset Management, Fidelity Investments（富达投资资产管理人工智能卓越中心）
我们提出了一种简单实用的方法，将人类和人工智能结合起来，学习基金经理的最佳投资实践，并提供改进建议。我们的方法是基于逆强化学习（IRL）和RL的组合。首先，IRL组件根据基金经理的交易历史来学习他们的意图，并恢复他们的隐含奖励函数。在第二步，直接RL算法使用该奖励函数来优化资产分配决策。我们表明，我们的方法是能够提高个人基金经理的业绩。
2022-01-06 cs.AI cs.LG q-fin.CP
Toward Computationally Efficient Inverse Reinforcement Learning via Reward Shaping
Harvard University（哈佛大学）；University of California, Berkeley（加州大学伯克利分校）
针对逆强化学习计算成本高、需求解多个强化学习子问题的痛点，提出用基于势函数的奖励塑形降低子问题计算量，作为概念验证为高效IRL研究提供启发。
2023-12-18 cs.AI cs.LG stat.ML
Inverse Reinforcement Learning for Marketing
NYU Tandon School of Engineering（纽约大学坦顿工程学院）
本文提出利用逆强化学习研究动态消费者需求，通过最大熵方法构建可 tractable 模型，展示观测噪声可能被误认为消费者异质性。
2017-12-13 cs.AI cs.CE cs.LG
A Primer on Maximum Causal Entropy Inverse Reinforcement Learning
逆强化学习（IRL）算法推断出一个奖励函数，该函数解释了专家在环境中提供的演示。最大因果熵（MCE）IRL是目前最流行的IRL公式，有许多扩展。在本教程中，我们将介绍MCE IRL的压缩推导以及MCE IRL算法当代实现的关键结果。我们希望这将作为一个介绍性的资源，为那些新的领域，并作为一个简明的参考，为那些已经熟悉这些主题。
2022-03-22 cs.AI cs.LG
Hyperproperty-Constrained Secure Reinforcement Learning
Bayloy University（贝勒大学）；University of Dayton（代顿大学）；University of Missouri-Columbia（密苏里大学哥伦比亚分校）
针对现有强化学习研究缺乏超属性层面安全约束的问题，提出在满足HyperTWTL安全规约的同时用动态Boltzmann softmax RL学习最优策略的方法，经机器人任务验证优于基线算法。
2025-07-31 cs.AI cs.LG cs.LO
Model-based Constrained Reinforcement Learning using Generalized Control Barrier Function
School of Vehicle and Mobility, Tsinghua University（清华大学车辆与学院）；Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）
模型信息可以用来预测未来的轨迹，因此在自动驾驶等现实任务中实施强化学习（RL）时，它具有巨大的潜力来避免危险区域。然而，现有的研究大多使用无模型约束强化学习，这将导致不可避免的约束违反。提出了一种基于模型的约束强化学习可行性增强技术，利用定义在到约束边界距离上的广义控制障碍函数（GCBF）增强策略的可行性。通过利用模型信息，可以在不违反实际安全约束的情况下安全地优化策略，提高样本效率。在求解受约束的策略梯度中的不可行性的主要困难通过自适应系数机制来处理。我们评估所提出的方法在一个复杂的自动驾驶避撞任务的模拟和实车实验。所提出的方法实现了高达四倍的约束违反和收敛速度比基线约束RL方法的3.36倍。
2021-03-05 cs.LG cs.RO
Quantile Constrained Reinforcement Learning: A Reinforcement Learning Framework Constraining Outage Probability
KAIST（韩国科学技术院）
约束强化学习（Reinforcement Learning，RL）是强化学习的一个分支，其目标是在满足给定约束的前提下，找到一个最大化期望累积收益的最优策略。以往的约束强化学习算法大多将期望累积和成本作为约束条件。然而，具有该约束的优化不能保证累积和成本超过给定阈值的中断事件的目标概率。本文提出了一个框架，名为分位数约束RL（QCRL），限制的分位数的分布的累积和成本，这是一个必要和充分条件，以满足中断约束。这是第一个工作，解决的问题，适用于分位数的策略梯度定理，并提供了近似梯度的分位数的理论结果。在此基础上，利用拉格朗日乘子技术，构造了一种分位数约束策略优化算法（QCPO）。我们使用分布强化学习与大偏差原则（LDP）估计分位数和尾部概率的累积和成本的实施QCPO。所实现的算法在训练期后满足中断概率约束。
2022-11-28 cs.AI cs.LG
Off-Policy Adversarial Inverse Reinforcement Learning
McGill University（麦吉尔大学）
对抗性模仿学习（AIL）是强化学习（RL）中的一类算法，它试图在不从环境中获取任何奖励的情况下模仿专家，并且不将专家行为直接提供给策略训练。相反，代理学习策略分布，最大限度地减少与对抗环境中专家行为的差异。对抗性逆强化学习（AIRL）利用AIL的思想，将奖励函数近似与学习策略相结合，并显示了IRL在迁移学习设置中的实用性。但是，实现迁移学习的奖励函数近似器在模仿任务中表现不佳。我们提出了一种非策略对抗逆强化学习（Off-policy-AIRL）算法，该算法在连续控制任务中具有样本有效性，并且与现有的AIL算法相比具有良好的模仿性能。对于相同的奖励函数逼近器，我们显示了学习我们的算法AIL的实用性，通过使用学习的奖励函数重新训练的政策在一个任务下的显着变化，专家演示是缺席。
2020-05-03 cs.AI cs.LG cs.RO
Necessary and Sufficient Conditions for Inverse Reinforcement Learning of Bayesian Stopping Time Problems
Cornell University（康奈尔大学）
本文提出了一种求解贝叶斯停时问题的逆强化学习~（IRL）框架。通过观察贝叶斯决策者的行为，我们提供了一个充分必要条件，以确定这些行动是否与优化成本函数一致。在贝叶斯（部分观察）设置中，逆学习器最多可以识别观察到的策略的最优性。我们的IRL算法识别最优性，然后构造成本函数的集值估计。为了实现这个IRL目标，我们使用了贝叶斯揭示的微观经济学偏好的新思想。我们说明了建议的IRL计划使用两个重要的例子停止时间问题，即顺序假设检验和贝叶斯搜索。作为一个现实世界的例子，我们说明了使用YouTube数据集，包括元数据从190000个视频如何建议IRL方法预测用户参与在线多媒体平台的高精度。最后，对于有限数据集，我们提出了一个IRL检测算法，并给出了其错误概率的有限样本界。
2023-03-15 cs.LG cs.SY econ.TH
Constrained-Space Optimization and Reinforcement Learning for Complex Tasks
Imperial College London（帝国理工学院）；Shanghai Jiao Tong University（上海交通大学）
示教学习越来越多地用于将操作员的操作技能转移到机器人。在实践中，重要的是要满足有限的数据和不完美的人类演示，以及潜在的安全约束。本文提出了一种用于管理复杂任务的约束空间优化和强化学习方案。通过在受限空间内的交互，强化学习代理被训练以根据定义的奖励函数来优化操作技能。在学习之后，最优策略从训练良好的强化学习代理中导出，然后执行该代理以引导机器人执行类似于专家演示的任务。通过机器人的机器人任务验证了所提出方法的有效性，表明所学习的策略在关节运动和末端执行器轨迹的平滑性以及整体任务完成时间方面优于专家演示。
2020-04-01 cs.AI cs.LG cs.RO
OPIRL: Sample Efficient Off-Policy Inverse Reinforcement Learning via Distribution Matching
Tokyo Institute of Technology（东京工业大学）；Mitsubishi Electric Corporation（三菱电机株式会社）
逆强化学习（IRL）在奖励工程可能很乏味的情况下很有吸引力。然而，先前的IRL算法使用策略上的转换，这需要从当前策略进行密集采样以获得稳定和最佳性能。这限制了现实世界中的IRL应用程序，其中环境交互可能变得非常昂贵。为了解决这个问题，我们提出了Off-Policy Inverse强化学习（OPIRL），它（1）采用off-policy数据分布而不是on-policy，并能够显着减少与环境的交互次数，（2）学习一个固定的奖励函数，该函数在动态变化时具有高度的泛化能力，（3）利用模式覆盖行为实现更快的收敛。我们证明了我们的方法是相当多的样本效率和推广到新的环境通过实验。我们的方法在政策性能基线上实现了更好或可比的结果，并且交互明显减少。此外，我们的经验表明，恢复的奖励函数一般化到不同的任务，现有技术容易失败。
2022-05-22 cs.AI cs.LG cs.RO
Versatile Inverse Reinforcement Learning via Cumulative Rewards
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
逆向强化学习从专家演示中推断出奖励函数，旨在对专家的行为和意图进行编码。目前的方法通常使用生成和单峰模型来实现这一点，这意味着它们编码单个行为。在常见的情况下，有各种解决方案的问题和专家表现出多才多艺的行为，这严重限制了这些方法的泛化能力。我们提出了一种新的逆强化学习方法，通过将恢复的奖励公式化为迭代训练的鉴别器的总和来克服这些问题。我们在模拟任务上表明，我们的方法能够恢复一般的，高质量的奖励函数，并产生与为通用行为设计的行为克隆方法相同质量的政策。
2021-11-15 cs.LG
MEDIRL: Predicting the Visual Attention of Drivers via Maximum Entropy Deep Inverse Reinforcement Learning
University of Virginia（弗吉尼亚大学）；University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；Rice University（莱斯大学）
受人类视觉注意力的启发，我们提出了一种新的逆强化学习公式，使用最大熵深度逆强化学习（MEDIRL）来预测事故多发情况下驾驶员的视觉注意力。MEDIRL通过从专注的司机记录的眼睛注视模式中学习任务敏感的奖励函数来预测导致最大奖励的注视位置。此外，我们还介绍了EyeCar，这是一种新的驾驶员注意力数据集，适用于事故多发情况。我们进行了全面的实验，以评估我们提出的模型在三个常见的基准：（DR（眼）VE，BDD-A，DADA-2000），和我们的EyeCar数据集。结果表明，MEDIRL在预测注意力方面优于现有模型，并达到了最先进的性能。我们提出了广泛的消融研究，以提供更多的见解，我们提出的模型的不同功能。
2021-10-06 cs.CV cs.HC cs.LG
Multi-Agent Adversarial Inverse Reinforcement Learning
Stanford University（斯坦福大学）
强化学习智能体由于奖励错误指定而容易出现不期望的行为。在多智能体场景中，找到一组奖励函数来正确地指导智能体行为是特别具有挑战性的。逆强化学习提供了一个框架，自动获取合适的奖励功能，从专家的示范。然而，由于理性行为的概念更为复杂，将其扩展到多代理设置是困难的。在本文中，我们提出了MA-AIRL，一个新的框架，多智能体逆强化学习，这是有效的和可扩展的马尔可夫游戏的高维状态-动作空间和未知的动态。我们推导出我们的算法的基础上一个新的解决方案的概念和最大pseudolikestimation内的对抗性奖励学习框架。在实验中，我们证明了MA-AIRL可以恢复与地面实况高度相关的奖励函数，并且在策略模仿方面显着优于先前的方法。
2019-07-30 cs.LG stat.ML
Identifiability and Generalizability in Constrained Inverse Reinforcement Learning
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本文构建约束马尔可夫决策过程下的 IRL 理论框架，分析不同正则化与安全约束对奖励可辨识性及跨环境泛化性的影响，并给出有限样本保证与 gridworld 验证。
2023-06-01 cs.AI cs.LG cs.SY
X-MEN: Guaranteed XOR-Maximum Entropy Constrained Inverse Reinforcement Learning
Purdue University（普渡大学）
逆向强化学习（IRL）是一种从演示中进行示教学习的强大方法。在本文中，我们解决IRL问题的先验知识，最佳的政策将永远不会违反某些限制。传统的方法忽略了这些限制，需要许多的示范收敛。提出了XOR-最大熵约束逆强化学习（X-MEN）算法，保证了算法在线性速率下收敛到最优策略.学习迭代的次数。X-MEN将XOR采样（一种可证明的采样方法，将#P完全采样问题转换为对NP预言机的查询）嵌入到最大熵IRL的框架中。X-MEN还保证学习的策略永远不会生成违反约束的轨迹。在导航的实证结果表明，X-MEN收敛速度更快的最佳政策相比，基线方法，总是产生的轨迹，满足多状态组合约束。
2022-03-22 cs.LG
Bellman Gradient Iteration for Inverse Reinforcement Learning
California Institute of Technology（加州理工学院）
本文提出了一种逆强化学习算法，旨在从观察到的行为的代理恢复的奖励函数。我们引入了一种策略来灵活地处理不同类型的行动与两个近似的贝尔曼最优性方程，和贝尔曼梯度迭代方法来计算梯度的Q值相对于奖励函数。这些方法允许我们在Q值和奖励函数之间建立可微关系，并使用梯度方法学习近似最优的奖励函数。我们在两个模拟环境中测试所提出的方法，通过评估不同的近似的准确性，并比较所提出的方法与现有的解决方案。结果表明，即使使用线性奖励函数，所提出的方法具有与采用非线性奖励函数的最先进的方法相当的精度，并且所提出的方法更灵活，因为它是根据观察到的动作而不是轨迹来定义的。
2017-07-24 cs.LG cs.RO
Probabilistic inverse reinforcement learning in unknown environments
EPAC（阿波美-卡拉维高等应用科学与技术学院）；EPFL（洛桑联邦理工学院）
我们考虑的问题，学习的演示代理在未知的随机马尔可夫环境或游戏。我们的目标是估计代理偏好，以构建改进的政策，代理试图解决相同的任务。为了做到这一点，我们扩展了以前的概率方法，在已知的MDP的情况下，未知的动态或对手的逆强化学习。我们这样做是通过推导两个简化的概率模型的演示的政策和实用程序。为了便于处理，我们使用最大后验估计，而不是完整的贝叶斯推断。在平坦先验下，这导致凸优化问题。我们发现，由此产生的算法是非常有竞争力的各种其他方法的逆强化学习，有知识的动态。
2013-07-14 cs.LG stat.ML
Option Compatible Reward Inverse Reinforcement Learning
Pohang University of Science and Technology (POSTECH)（浦项科技大学）；Handong global university（韩东国际大学）
复杂环境下的强化学习是一个具有挑战性的问题。特别是，强化学习算法的成功取决于设计良好的奖励函数。逆强化学习（IRL）解决了从专家演示中恢复奖励函数的问题。在本文中，我们解决了层次逆强化学习问题的选项框架内，这使我们能够利用专家演示的内在动机。利用参数化期权的梯度方法推导出Q-特征空间的定义方程，从而得到报酬特征空间。利用期权参数的二阶最优性条件，选择最优的报酬函数。在离散和连续域的实验结果证实，我们恢复的奖励提供了一个解决方案的IRL问题使用时间抽象，这反过来又是有效的加速迁移学习任务。我们还表明，我们的方法是强大的噪声专家演示。
2021-01-19 cs.LG stat.ML
Cost Function Estimation Using Inverse Reinforcement Learning with Minimal Observations
Tandon School of Engineering, New York University, USA（纽约大学工程学院）；Artificial and Natural Intelligence Toulouse Institute (ANITI), France（图卢兹人工智能研究院）
本文提出一种连续空间中的迭代最大熵逆强化学习算法，可利用少量观测估计最优代价函数，并通过最优控制生成高信息量轨迹，在多个仿真环境中优于两种现有方法。
2025-05-13 cs.LG cs.RO
oIRL: Robust Adversarial Inverse Reinforcement Learning with Temporally Extended Actions
McGill University（麦吉尔大学）；Mila（Mila（魁北克人工智能研究所））；MIT（麻省理工学院）；DeepMind
针对给定环境的奖励函数的显式工程一直是强化学习方法的主要障碍。虽然逆强化学习（IRL）是一种仅从演示中恢复奖励函数的解决方案，但这些学习的奖励通常与环境的动态性有很大的\textit{entangled}，因此不能移植或\emph{robust}到变化的环境中。现代对抗方法在减少IRL设置中的奖励纠缠方面取得了一些成功。在这项工作中，我们利用这样一种方法，对抗逆强化学习（AIRL），提出了一种算法，学习分层解开奖励与政策的选项。我们表明，这种方法有能力在复杂的迁移学习任务中学习\emph{generalizable}策略和奖励函数，同时在连续控制基准中产生与最先进方法相当的结果。
2020-02-20 cs.LG stat.ML
An Empirical Evaluation of Posterior Sampling for Constrained Reinforcement Learning
Eindhoven University of Technology（埃因霍温理工大学）；Jheronimus Academy of Data Science（赫罗尼姆斯数据科学学院）；University of Jyväskylä（于韦斯屈莱大学）；Tilburg University（蒂尔堡大学）
研究了约束强化学习中有效探索的后验抽样方法。替代现有的算法，我们提出了两个简单的算法，更有效的统计，更简单的实现和计算成本更低。第一种算法是基于CMDP的线性公式，第二种算法利用CMDP的鞍点公式。我们的实证结果表明，尽管它的简单性，后验采样达到最先进的性能，在某些情况下，显着优于乐观算法。
2022-09-08 cs.LG
State Augmented Constrained Reinforcement Learning: Overcoming the Limitations of Learning with Rewards
Universitat Pompeu Fabra（庞培法布拉大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）；University of Stuttgart（斯图加特大学）；University of Pennsylvania（宾夕法尼亚大学）
本文针对约束强化学习中奖励线性组合无法诱导最优策略的问题，提出用拉格朗日乘子增广状态并将原始-对偶方法重新解释为乘子演化动力学，从而保证求解带约束的强化学习问题。
2023-09-21 cs.LG cs.RO math.OC
Probabilistic inverse reinforcement learning in unknown environments
EPFL（洛桑联邦理工学院）
我们考虑的问题，学习的演示代理在未知的随机马尔可夫环境或游戏。我们的目标是估计代理偏好，以构建改进的政策，代理试图解决相同的任务。要做到这一点，我们扩展以前的概率方法逆强化学习在已知的MDP未知的动态或对手的情况下。我们这样做是通过推导两个简化的概率模型的演示的政策和实用程序。为了便于处理，我们使用最大后验估计，而不是完全贝叶斯推理。在平坦先验下，这导致凸优化问题。我们发现，由此产生的算法是非常有竞争力的各种其他方法的逆强化学习的动态知识。
2014-08-09 cs.LG stat.ML
ConstrainedSQL: Training LLMs for Text2SQL via Constrained Reinforcement Learning
Rensselaer Polytechnic Institute（拉特格斯理工大学）；IBM Research（IBM研究院）
针对现有Text2SQL大语言模型强化学习训练易出现奖励黑客的问题，提出融入可解释奖励与约束信号的ConstrainedSQL框架，经理论验证与数据集实验证明其性能优于现有最优RL训练的Text2SQL大模型。
2025-11-12 cs.LG
Meta-Inverse Reinforcement Learning with Probabilistic Context Variables
Stanford University（斯坦福大学）
为强化学习提供合适的奖励函数在许多现实世界的应用中可能是困难的。虽然逆强化学习（IRL）有望从演示中自动学习奖励函数，但仍然存在几个主要挑战。首先，现有的IRL方法从头开始学习奖励函数，需要大量的演示来正确地推断代理可能需要执行的每个任务的奖励。其次，现有的方法通常假设单一行为或任务的同质演示，而在实践中，收集异构但相关行为的数据集可能更容易。为此，我们提出了一个深度潜变量模型，该模型能够以无监督的方式从不同但相关的任务中学习奖励。重要的是，我们的模型可以从一个演示中推断出新的、结构相似的任务的奖励。多个连续控制任务的实验表明，我们的方法相比，国家的最先进的模仿和逆强化学习方法的有效性。
2019-10-26 cs.LG stat.ML
Neuroevolution-Based Inverse Reinforcement Learning
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
示教学习问题的目标是根据观察到的示例学习执行任务。示教学习的一种方法是反向强化学习，其中观察行为以推断奖励。这项工作结合了基于特征的状态评估方法，逆强化学习与神经进化，一个范例，修改神经网络的基础上，他们在一个给定的任务上的性能。神经网络用于从演示的专家策略中学习，并进化以生成与演示类似的策略。该算法进行了讨论，并对基于竞争特征的逆强化学习方法进行了评估。以执行时间为代价，神经网络允许状态评估中的特征的非线性组合。这些估值可以对应于州价值或州奖励。与使用线性组合相比，这导致更好地对应于观察到的示例。这项工作还扩展了现有的工作贝叶斯非参数特征构造逆强化学习通过使用非线性组合的中间数据，以提高性能。观察到该算法特别适合于线性可解的非确定性马尔可夫决策过程，其中多个奖励在状态空间中稀疏分散。评估算法之间的一个结论性的性能层次结构。
2016-08-09 cs.AI cs.LG cs.NE
Repeated Inverse Reinforcement Learning
Google Research（谷歌研究院）；University of Michigan（密歇根大学）
我们引入了一个新的重复逆强化学习问题：代理人必须代表一个人在一系列的任务，并希望尽量减少任务的数量，它的惊喜的人采取行动次优方面的人会采取行动。每当人类感到惊讶时，智能体就会被人类提供所需行为的演示。我们正式这个问题，包括如何选择任务的顺序，在几个不同的方式，并提供一些基本的结果。
2017-11-04 cs.AI cs.LG
Stochastic Inverse Reinforcement Learning
Nanyang Technological University（南洋理工大学）
逆强化学习（IRL）问题的目标是从专家演示中恢复奖励函数。然而，IRL问题像任何不适定的反问题一样，具有先天的缺陷，即策略可能对许多奖励函数是最优的，并且专家论证可能对许多策略是最优的。在这项工作中，我们将IRL问题推广到一个适定的期望优化问题随机逆强化学习（SIRL），以恢复奖励函数的概率分布。我们采用蒙特卡罗期望最大化（MCEM）方法估计的概率分布的参数作为第一个解决方案的SIRL问题。该解决方案是简洁的，强大的，可转移的学习任务，并可以生成替代解决方案的IRL问题。通过我们的公式，可以从全局的角度观察IRL问题的内在属性，并且我们的方法在对象世界上实现了相当大的性能。
2022-09-23 cs.AI cs.LG stat.ML
Adversarial Imitation via Variational Inverse Reinforcement Learning
University of California San Diego（加利福尼亚大学圣地亚哥分校）；Georgia Institute of Technology（佐治亚理工学院）
我们考虑一个问题，学习奖励和政策，从专家的例子未知的动态。我们提出的方法建立在生成对抗网络的框架上，并引入授权正则化最大熵逆强化学习来学习接近最优的奖励和策略。基于授权的正则化防止策略过度拟合专家演示，这有利地导致更一般化的行为，从而导致学习接近最优的奖励。我们的方法同时通过变分信息最大化以及对抗学习公式下的奖励和策略来学习授权。我们评估我们的方法在各种高维复杂的控制任务。我们还在具有挑战性的迁移学习问题中测试我们的学习回报，其中训练和测试环境在动态或结构方面彼此不同。结果表明，我们提出的方法不仅学习接近最优的奖励和政策，是匹配专家的行为，但也表现出显着优于最先进的逆强化学习算法。
2019-02-22 cs.AI cs.LG cs.RO
Risk-Aware Active Inverse Reinforcement Learning
University of Texas at Austin（德克萨斯大学奥斯汀分校）
通过演示的主动学习允许机器人向人类询问特定类型的输入，以实现有效的学习。现有的工作已经探索了各种主动查询策略，但是，据我们所知，这些策略都没有直接最大限度地降低机器人学习策略的性能风险。利用逆强化学习性能界限的最新进展，我们提出了一种风险意识主动逆强化学习算法，该算法将主动查询集中在状态空间中具有大泛化误差潜力的区域。我们发现，风险意识主动学习优于标准的主动IRL方法在网格世界，模拟驾驶，表设置任务，同时还提供了一个基于性能的停止标准，让机器人知道它已经收到足够的演示，安全地执行任务。
2019-06-03 cs.LG stat.ML
