OptionGAN: Learning Joint Reward-Policy Options using Generative Adversarial Inverse Reinforcement Learning
School of Computer Science, McGill University(麦吉尔大学计算机科学学院);Department of Electrical, Computer, and Software Engineering, McGill University(麦吉尔大学电气、计算机与软件工程系)
强化学习在学习策略方面显示出了解决复杂问题的前景。然而,手动指定一个好的奖励函数可能很困难,特别是对于复杂的任务。逆强化学习提供了一个有用的范例,可以直接从专家演示中学习潜在的奖励函数。然而,在现实中,演示的语料库可能包含的轨迹产生于一组不同的潜在奖励功能,而不是一个单一的。因此,在逆强化学习中,考虑这样的分解是有用的。强化学习中的选项框架专门设计用于以类似的方式分解策略。因此,我们扩展的选项框架,并提出了一种方法,同时恢复奖励选项,除了政策选项。我们利用对抗方法来学习联合奖励政策选项,只使用观察到的专家状态。我们证明了这种方法在简单和复杂的连续控制任务中都能很好地工作,并且在一次性迁移学习中表现出显着的性能提高。
2017-11-24 cs.LG
Inverse Reinforcement Learning with Multiple Planning Horizons
Gladstone Institutes(格拉德斯通研究所);SEAS, Harvard University(哈佛大学工程与应用科学学院);Stanford University(斯坦福大学)
本文研究专家具有不同未知规划视野的逆强化学习问题,提出同时学习全局奖励函数和智能体特定折扣因子的算法,并刻画了可行解空间及验证了跨领域泛化能力。
2024-09-26 cs.LG
Inverse Preference Learning: Preference-based RL without a Reward Function
Stanford University(斯坦福大学)
提出逆偏好学习(IPL)算法,利用$Q$函数与奖励函数的互换性,完全消除学习奖励函数的需求,在连续控制和机器人基准上以更少参数实现具竞争力的性能。
2023-11-24 cs.LG
Approximated Variational Bayesian Inverse Reinforcement Learning for Large Language Model Alignment
Beijing University of Posts and Telecommunications(北京邮电大学)
本文将LLM对齐表述为BIRL问题,提出AVA训练目标通过AVRIL进行对齐,直接建模单演示与中间奖励以提升信号利用率,在奖励建模、RL微调和直接优化上优于现有方法。
2024-11-14 cs.LG
Maximum Entropy Inverse Reinforcement Learning for Mean-Field Games with Average Reward
Bilkent University(比尔肯大学);Özyeğin University(厄齐金大学)
针对平均奖励准则下的离散时间无限时域均值场博弈,提出基于最大因果熵的逆强化学习方法,通过占据测度框架统一处理有限维线性奖励和无限维RKHS奖励,并设计梯度上升算法实现策略恢复。
2026-06-16 cs.LG
Identifiability and generalizability from multiple experts in Inverse Reinforcement Learning
EPFL(洛桑联邦理工学院);UNIL(洛桑大学)
强化学习(RL)的目标是在给定的环境中根据奖励函数训练智能体,而反向强化学习(IRL)则试图通过观察专家的行为来恢复奖励函数。众所周知,在一般情况下,不同的奖励函数可以导致相同的最优策略,因此,IRL是不明确的。然而,(Cao等人,2021)表明,如果我们观察两个或多个具有不同折扣因子或在不同环境中行动的专家,则奖励函数在某些条件下可以被确定为常数。这项工作首先显示了一个等价的可识别性声明,从多个专家在表格MDPs的基础上的排名条件,这是很容易验证,也是必要的。然后,我们将我们的结果扩展到各种不同的场景,即,我们在奖励函数可以表示为给定特征的线性组合的情况下表征奖励可识别性,使其更易于解释,或者当我们可以访问近似转移矩阵时。即使当奖励是不可识别的,我们提供的条件时,在给定的环境中的多个专家的数据特征允许概括和训练一个最佳的代理在一个新的环境。我们的理论结果的奖励可识别性和推广性进行了验证,在各种数值实验。
2022-10-13 cs.LG
A Hierarchical Bayesian Approach to Inverse Reinforcement Learning with Symbolic Reward Machines
Boston University(波士顿大学)
在强化学习(RL)问题中,错误的奖励会降低样本效率并导致不期望的行为。我们提出了符号奖励机,将高层次的任务知识时,指定的奖励信号。符号奖励机通过允许转换携带谓词和符号奖励输出来增强现有的奖励机形式。这种形式主义很适合逆强化学习,其中的关键挑战是从一些专家演示中确定符号值的适当分配。我们提出了一个层次贝叶斯方法推断最有可能的任务,使具体化的奖励机可以区分专家演示的轨迹,从其他轨迹具有高精度。实验结果表明,学习奖励机可以显着提高复杂RL任务的训练效率,并在不同的任务环境配置之间具有很好的泛化能力。
2022-04-20 cs.AI cs.LG
Scalable Bayesian Inverse Reinforcement Learning
University of Cambridge(剑桥大学)
贝叶斯推理的奖励提出了一个理想的解决方案,不适定的性质逆强化学习问题。不幸的是,由于需要内环MDP求解器,当前方法通常不能扩展到小表格设置之外,即使是本身扩展的非贝叶斯方法也通常需要与环境进行广泛的交互才能良好地执行,不适合高风险或昂贵的应用,例如医疗保健。在本文中,我们介绍了我们的方法,近似变分奖励模仿学习(AVRIL),它解决了这两个问题,通过共同学习一个近似后验分布的奖励,规模任意复杂的状态空间旁边的一个适当的政策,在一个完全离线的方式,通过变分的方法说,潜在的奖励。将我们的方法应用于真实的医疗数据以及经典的控制模拟,我们证明了贝叶斯奖励推理在超出当前方法范围的环境中,以及与离线模仿学习算法竞争的任务性能。
2021-03-11 cs.LG
Off-Dynamics Inverse Reinforcement Learning from Hetero-Domain
Westlake University(西湖大学);Tsinghua University(清华大学)
我们提出了一种异域逆强化学习的方法,该方法在模拟器中学习奖励函数,并借鉴了现实世界中的演示。该方法背后的直觉是,奖励函数不仅应该以模仿专家为导向,而且应该鼓励根据模拟器与现实世界之间的动态差异进行调整的行为。为了实现这一目标,采用了广泛使用的GAN启发的IRL方法,并通过量化动态差异来修改其识别策略生成轨迹的算法。训练过程中的训练过程中,可以产生可转移的奖励函数适合模拟器的动力学,这可以通过推导来保证。实际上,我们的方法为不利用两个域之间的差异的演示轨迹分配了更高的奖励。通过对连续控制任务的大量实验,我们的方法显示了其有效性,并证明了其可扩展性的高维任务。
2021-10-21 cs.LG
Option Compatible Reward Inverse Reinforcement Learning
Pohang University of Science and Technology (POSTECH)(浦项科技大学);Handong global university(韩东国际大学)
复杂环境下的强化学习是一个具有挑战性的问题。特别是,强化学习算法的成功取决于设计良好的奖励函数。逆强化学习(IRL)解决了从专家演示中恢复奖励函数的问题。在本文中,我们解决了层次逆强化学习问题的选项框架内,这使我们能够利用专家演示的内在动机。利用参数化期权的梯度方法推导出Q-特征空间的定义方程,从而得到报酬特征空间。利用期权参数的二阶最优性条件,选择最优的报酬函数。在离散和连续域的实验结果证实,我们恢复的奖励提供了一个解决方案的IRL问题使用时间抽象,这反过来又是有效的加速迁移学习任务。我们还表明,我们的方法是强大的噪声专家演示。
2021-01-19 cs.LG stat.ML
Basis for Intentions: Efficient Inverse Reinforcement Learning using Past Experience
University of California, Berkeley(加州大学伯克利分校);Google Research(谷歌研究院)
本文讨论了逆强化学习(IRL)的问题-从观察其行为推断代理的奖励函数。IRL可以为学徒学习提供一个可概括的和紧凑的表示,并能够准确地推断人类的偏好,以帮助他们。%,并提供更准确的预测。然而,有效的IRL是具有挑战性的,因为许多奖励函数可以与观察到的行为兼容。我们专注于如何利用先前的强化学习(RL)经验,使学习这些偏好更快,更有效。我们提出了IRL算法BASIS(通过样本特征意图推断的行为获取),该算法利用多任务RL预训练和后继特征,允许代理为跨越给定域中可能目标空间的意图建立强大的基础。当暴露于优化新目标的几个专家演示时,代理使用其基础来快速有效地推断奖励函数。我们的实验表明,我们的方法是非常有效的推断和优化演示奖励功能,准确地推断奖励功能,从不到100个轨迹。
2022-08-09 cs.LG
BC-IRL: Learning Generalizable Reward Functions from Demonstrations
Meta AI;Georgia Tech(佐治亚理工学院)
用逆强化学习(IRL)学习的奖励函数推广效果如何?我们说明,国家的最先进的IRL算法,最大限度地提高了最大熵的目标,学习奖励过拟合的示威。这种奖励很难为示威活动未覆盖的国家提供有意义的奖励,这在利用奖励学习新形势下的政策时是一个重大损害。我们引入了BC-IRL,这是一种新的逆强化学习方法,与最大熵IRL方法相比,该方法可以学习更好地推广的奖励函数。与MaxEnt框架相反,它学习最大化演示的奖励,BC-IRL更新奖励参数,以便使用新奖励训练的策略更好地匹配专家演示。我们表明,BC-IRL学习奖励,更好地概括一个说明性的简单任务和两个连续的机器人控制任务,在具有挑战性的概括设置中实现了基线的成功率的两倍以上。
2023-03-28 cs.LG
Distributional Inverse Reinforcement Learning
School of Computational Science and Engineering, Georgia Institute of Technology, Atlanta, USA(计算科学与工程学院,佐治亚理工学院,美国亚特兰大);George W. Woodruff School of Mechanical Engineering, Georgia Institute of Technology, Atlanta, USA(乔治·W·伍德鲁夫机械工程学院,佐治亚理工学院,美国亚特兰大)
提出一种离线逆强化学习的分布框架,通过最小化一阶随机占优违反并整合扭曲风险度量,联合建模奖励函数的不确定性和回报的完整分布,实现奖励分布和分布感知策略的恢复。
2026-05-27 cs.LG
Inverse Reward Design
University of California, Berkeley(加州大学伯克利分校);International Computer Science Institute (ICSI)(国际计算机科学研究所)
自主智能体优化我们给它们的奖励函数。他们不知道的是,我们设计一个奖励函数来捕捉我们想要的东西有多难。在设计奖励时,我们可能会考虑一些特定的训练场景,并确保奖励将导致这些场景中的正确行为。代理不可避免地会遇到新的场景(例如,新类型的地形),其中优化相同的奖励可能导致不期望的行为。我们的观点是,奖励函数仅仅是对设计者实际想要什么的观察,它们应该在设计它们的上下文中被解释。我们引入逆奖励设计(IRD)作为基于设计的奖励和训练MDP推断真实目标的问题。我们引入近似方法来解决IRD问题,并使用它们的解决方案来计划测试MDP中的风险规避行为。实证结果表明,这种方法可以帮助减轻错误指定的奖励函数的负面影响,并减轻奖励投机。
2020-10-07 cs.AI cs.LG
Walking the Values in Bayesian Inverse Reinforcement Learning
University of Oxford(牛津大学);University of Southampton(南安普顿大学)
针对贝叶斯逆强化学习中前向规划计算成本高的问题,提出在Q值空间采样的ValueWalk方法,借助哈密顿蒙特卡洛实现高效采样,在多任务上展现优势。
2024-07-15 cs.LG
Learning Reward Models for Cooperative Trajectory Planning with Inverse Reinforcement Learning and Monte Carlo Tree Search
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Robert Bosch GmbH(罗伯特·博世有限公司)
自动驾驶车辆的协同轨迹规划方法可以解决需要交通参与者之间高度合作的交通场景。然而,为了使协作系统集成到以人为中心的交通中,自动化系统必须表现得像人类一样,以便人类可以预测系统的决策。虽然强化学习在解决决策部分方面取得了显着进展,但参数化产生可预测行为的奖励模型并非易事。这项工作采用基于特征的最大熵逆强化学习结合蒙特卡罗树搜索学习奖励模型,最大限度地提高记录的多智能体合作专家轨迹的可能性。评估表明,该方法可以恢复一个合理的奖励模型,模仿专家和执行类似的手动调整基线奖励模型。
2022-05-06 cs.LG cs.RO
Inverse RL Helps Align AI by Imitating Humans
研究语言模型对齐问题,受逆强化学习启发提出PARED方法,通过恢复示范的隐式奖励来改进基础策略,无需特定任务偏好注释,经实验验证其有效性及可用于上下文对齐。
2026-10-22 cs.LG
Variational Inverse Control with Events: A General Framework for Data-Driven Reward Definition
University of California, Berkeley(加州大学伯克利分校)
奖励函数的设计通常对强化学习的实际应用构成重大的实际挑战。反向强化学习等方法试图克服这一挑战,但需要专家演示,这在实践中可能很难或昂贵。我们提出了变分逆控制与事件(VICE),它将逆强化学习方法推广到不需要完整演示的情况下,例如只有期望的目标状态的样本可用。我们的方法基于控制和强化学习的另一种观点,其中代理的目标是最大化一个或多个事件在未来某个时间点发生的概率,而不是最大化累积奖励。我们证明了我们的方法在连续控制任务中的有效性,重点是高维观察,如图像,其中奖励很难甚至不可能指定。
2018-11-12 cs.LG stat.ML
Robust Imitation via Mirror Descent Inverse Reinforcement Learning
Seoul National University(首尔国立大学);Artificial Intelligence Institute(人工智能研究院)
最近,对抗性模仿学习已经展示了一种用于逆强化学习(IRL)问题的可扩展奖励获取方法。然而,估计的奖励信号往往变得不确定,并不能训练一个可靠的统计模型,因为现有的方法往往直接解决困难的优化问题。受一阶优化方法镜像下降的启发,本文提出了预测一系列奖励函数,这是一个约束凸问题的迭代解。IRL的解决方案来自镜像下降是宽容的目标密度估计所引起的不确定性,因为奖励学习的量是相对于局部几何约束进行调节。我们证明,建议的镜像下降更新规则,确保鲁棒性最小化的Bregman分歧方面的一个严格的遗憾界的$\mathcal{O}(1/T)$步长$\{η_t\}_{t=1}^{T}$。我们的IRL方法应用于对抗框架之上,并且在一系列广泛的基准测试中优于现有的对抗方法。
2023-01-05 cs.LG
Towards Theoretical Understanding of Inverse Reinforcement Learning
Politecnico di Milano(米兰理工大学)
本文研究具备生成模型的有限视野IRL中可行奖励集的PAC估计,给出极小极大样本复杂度下界,并证明US-IRL达到至多相差对数因子的匹配上界。
2023-04-25 cs.LG
Identifiability in inverse reinforcement learning
Alan Turing Institute(艾伦·图灵研究所);University of Oxford(牛津大学);University of Edinburgh(爱丁堡大学)
逆强化学习试图利用对代理行为的观察来重构马尔可夫决策问题中的奖励函数。正如Russell [1998]中已经观察到的那样,这个问题是不适定的,即使在存在关于最优行为的完美信息的情况下,奖励函数也是不可识别的。我们提供了一个解决方案,这种不可识别的熵正则化的问题。对于一个给定的环境中,我们充分刻画奖励函数导致一个给定的政策,并证明,在两个不同的折扣因子下,或在足够不同的环境下,相同的奖励的行动示范,未观察到的奖励可以恢复到一个常数。我们还给出了在有限视野上重建时间齐次奖励和行动独立奖励的一般必要和充分条件,推广了Kim et al. [2021]和Fu et al. [2018]的最新结果。
2021-11-08 cs.LG math.OC
Trust Region Reward Optimization and Proximal Inverse Reward Optimization Algorithm
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);University of Auckland(奥克兰大学);Chongqing University(重庆大学)
本文提出信赖域奖励优化(TRRO)框架及其算法实例PIRO,通过次小化-最大化过程保证专家行为似然单调提升,解决了非对抗逆强化学习缺乏稳定性保证的问题,在多项基准上匹配或超越最先进基线。
2025-10-13 cs.AI cs.LG
oIRL: Robust Adversarial Inverse Reinforcement Learning with Temporally Extended Actions
McGill University(麦吉尔大学);Mila(Mila(魁北克人工智能研究所));MIT(麻省理工学院);DeepMind
针对给定环境的奖励函数的显式工程一直是强化学习方法的主要障碍。虽然逆强化学习(IRL)是一种仅从演示中恢复奖励函数的解决方案,但这些学习的奖励通常与环境的动态性有很大的\textit{entangled},因此不能移植或\emph{robust}到变化的环境中。现代对抗方法在减少IRL设置中的奖励纠缠方面取得了一些成功。在这项工作中,我们利用这样一种方法,对抗逆强化学习(AIRL),提出了一种算法,学习分层解开奖励与政策的选项。我们表明,这种方法有能力在复杂的迁移学习任务中学习\emph{generalizable}策略和奖励函数,同时在连续控制基准中产生与最先进方法相当的结果。
2020-02-20 cs.LG stat.ML
GRACE: A Language Model Framework for Explainable Inverse Reinforcement Learning
Apple(苹果公司)
GRACE通过大型语言模型和进化搜索,从专家轨迹中逆向工程可解释的代码奖励函数,实现高效准确的奖励学习并生成强大策略。
2026-01-28 cs.AI cs.LG
Lasso Bandit with Compatibility Condition on Optimal Arm
Seoul National University(首尔大学)
研究随机稀疏线性bandit问题,提出基于最优臂兼容性条件和强制采样技术的算法,在单参数设置下以最弱假设实现了对数依赖于维度的遗憾界,数值实验验证了其优越性能。
2025-03-01 cs.LG stat.ML
Meta-Inverse Reinforcement Learning with Probabilistic Context Variables
Stanford University(斯坦福大学)
为强化学习提供合适的奖励函数在许多现实世界的应用中可能是困难的。虽然逆强化学习(IRL)有望从演示中自动学习奖励函数,但仍然存在几个主要挑战。首先,现有的IRL方法从头开始学习奖励函数,需要大量的演示来正确地推断代理可能需要执行的每个任务的奖励。其次,现有的方法通常假设单一行为或任务的同质演示,而在实践中,收集异构但相关行为的数据集可能更容易。为此,我们提出了一个深度潜变量模型,该模型能够以无监督的方式从不同但相关的任务中学习奖励。重要的是,我们的模型可以从一个演示中推断出新的、结构相似的任务的奖励。多个连续控制任务的实验表明,我们的方法相比,国家的最先进的模仿和逆强化学习方法的有效性。
2019-10-26 cs.LG stat.ML
Toward Computationally Efficient Inverse Reinforcement Learning via Reward Shaping
Harvard University(哈佛大学);University of California, Berkeley(加州大学伯克利分校)
针对逆强化学习计算成本高、需求解多个强化学习子问题的痛点,提出用基于势函数的奖励塑形降低子问题计算量,作为概念验证为高效IRL研究提供启发。
2023-12-18 cs.AI cs.LG stat.ML
Nonparametric Bayesian Inverse Reinforcement Learning with Data-Parallel Gibbs Sampling
研究针对多专家示范下逆强化学习问题,采用狄利克雷过程先验的非参数贝叶斯方法,通过数据并行吉布斯采样联合推断潜在奖励类型及奖励,在ObjectWorld评估效果良好,还实现并行加速并刻画权衡。
2026-07-14 cs.LG
Infer and Adapt: Bipedal Locomotion Reward Learning from Demonstrations via Inverse Reinforcement Learning
Georgia Institute of Technology(佐治亚理工学院)
本文研究复杂地形双足运动中的专家奖励学习问题,提出基于逆强化学习的奖励函数推断与分析算法,并证明所学奖励能提升策略在未知地形上的行走适应性。
2023-09-28 cs.LG cs.RO
On the Performance of Maximum Likelihood Inverse Reinforcement Learning
Universidad de Zaragoza(萨拉戈萨大学);Centro Universitario de la Defensa, Zaragoza(萨拉戈萨国防大学中心)
逆强化学习(IRL)解决了恢复任务描述的问题,给出了用于解决此类任务的最佳策略的演示。最优策略通常由专家或教师提供,使得IRL特别适合于学徒学习问题。任务描述以马尔可夫决策过程(MDP)的奖励函数的形式编码。已经提出了几种算法来找到对应于一组演示的奖励函数。在不同应用中提供最佳结果的算法之一是优化策略平方误差准则的梯度方法。在平行线的研究,其他作者最近提出了一个梯度近似的最大似然估计的奖励信号。一般来说,这两种方法在不同阶段近似梯度估计和准则,使算法易于处理和有效。在这项工作中,我们提供了一个详细的描述不同的方法,以突出奖励估计,政策相似性和计算成本方面的差异。我们还提供了实验结果,以评估性能的差异的方法。
2012-02-07 cs.LG
Inversely Learning Transferable Rewards via Abstracted States
THINC Lab, School of Computing University of Georgia(THINC实验室,计算学院,佐治亚大学);School of Computing and Institute for AI University of Georgia(计算学院和人工智能研究所,佐治亚大学)
提出一种通过行为轨迹逆向学习抽象奖励函数的方法,并在未见过的领域实例中验证其可迁移性。
2026-05-26 cs.LG cs.RO
IR$^3$: Contrastive Inverse Reinforcement Learning for Interpretable Detection and Mitigation of Reward Hacking
UC Davis(加州大学戴维斯分校);Virginia Tech(弗吉尼亚理工大学);Salesforce(Salesforce公司);Meta AI
IR3通过对比逆强化学习重建隐含奖励并修正模型,有效识别和缓解奖励黑客问题,提升模型对齐性能。
2026-02-23 cs.AI cs.LG
Multi-Agent Adversarial Inverse Reinforcement Learning
Stanford University(斯坦福大学)
强化学习智能体由于奖励错误指定而容易出现不期望的行为。在多智能体场景中,找到一组奖励函数来正确地指导智能体行为是特别具有挑战性的。逆强化学习提供了一个框架,自动获取合适的奖励功能,从专家的示范。然而,由于理性行为的概念更为复杂,将其扩展到多代理设置是困难的。在本文中,我们提出了MA-AIRL,一个新的框架,多智能体逆强化学习,这是有效的和可扩展的马尔可夫游戏的高维状态-动作空间和未知的动态。我们推导出我们的算法的基础上一个新的解决方案的概念和最大pseudolikestimation内的对抗性奖励学习框架。在实验中,我们证明了MA-AIRL可以恢复与地面实况高度相关的奖励函数,并且在策略模仿方面显着优于先前的方法。
2019-07-30 cs.LG stat.ML
Inverse Reinforcement Learning with the Average Reward Criterion
Georgia Institute of Technology(佐治亚理工学院)
本文针对平均奖励准则下的逆强化学习问题,提出平均奖励框架及随机策略镜像下降和逆策略镜像下降方法,并给出新的复杂度结果,通过MuJoCo等实验验证有效性。
2023-05-24 cs.AI cs.LG
TW-CRL: Time-Weighted Contrastive Reward Learning for Efficient Inverse Reinforcement Learning
Northwestern University(西北大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
提出时间加权对比奖励学习框架,利用成功与失败示范学习密集奖励,识别关键状态,避免陷阱状态并促进探索,在导航和机器人操作任务上超越现有方法。
2025-05-22 cs.AI cs.LG
Enhancing Inverse Reinforcement Learning through Encoding Dynamic Information in Reward Shaping
Department of Electrical and Computer Engineering(电气与计算机工程系);Northwestern University(西北大学);School of Electronics and Computer Science(电子与计算机科学学院);University of Southampton(南安普顿大学)
本文提出了一种通过在奖励塑造中编码动态信息来增强逆强化学习的方法,以解决随机环境中理论结果不成立和性能下降的问题,并在MuJoCo基准测试中展示了优越的性能和样本效率提升。
2026-02-10 cs.AI cs.LG
In-Trajectory Inverse Reinforcement Learning: Learn Incrementally Before An Ongoing Trajectory Terminates
Pennsylvania State University(宾夕法尼亚州立大学)
针对现有 IRL 必须等待完整轨迹的问题,提出轨迹内在线双层优化与元正则化增量学习算法,并证明次线性遗憾界。
2025-07-23 cs.LG
Model Selection for Inverse Reinforcement Learning via Structural Risk Minimization
Shanghai Jiao Tong University(上海交通大学);Zhejiang University(浙江大学)
本文通过引入结构风险最小化(SRM)框架解决逆强化学习中的模型选择权衡问题,利用策略梯度估计经验风险并以Rademacher复杂度上界作为模型惩罚,实现了最优奖励函数类的选择。
2025-03-31 cs.LG
Bellman Gradient Iteration for Inverse Reinforcement Learning
California Institute of Technology(加州理工学院)
本文提出了一种逆强化学习算法,旨在从观察到的行为的代理恢复的奖励函数。我们引入了一种策略来灵活地处理不同类型的行动与两个近似的贝尔曼最优性方程,和贝尔曼梯度迭代方法来计算梯度的Q值相对于奖励函数。这些方法允许我们在Q值和奖励函数之间建立可微关系,并使用梯度方法学习近似最优的奖励函数。我们在两个模拟环境中测试所提出的方法,通过评估不同的近似的准确性,并比较所提出的方法与现有的解决方案。结果表明,即使使用线性奖励函数,所提出的方法具有与采用非线性奖励函数的最先进的方法相当的精度,并且所提出的方法更灵活,因为它是根据观察到的动作而不是轨迹来定义的。
2017-07-24 cs.LG cs.RO
Decoding Rewards in Competitive Games: Inverse Game Theory with Entropy Regularization
Department of Electrical and Computer Engineering, Duke University(杜克大学电气与计算机工程系);Department of Statistics and Data Science, University of Pennsylvania(宾夕法尼亚大学统计与数据科学系);Department of Biostatistics and Bioinformatics, Duke University(杜克大学生物统计与生物信息学系);Department of Statistics and Data Science, Yale University(耶鲁大学统计与数据科学系)
本文研究了在竞争性游戏中通过逆向博弈论和熵正则化来恢复未知奖励函数的问题,提出了一种统一的框架,能够在静态和动态设置中学习奖励函数,并通过理论保证和数值实验验证了其有效性。
2026-05-18 cs.LG stat.ML
CLARE: Conservative Model-Based Reward Learning for Offline Inverse Reinforcement Learning
Tsinghua University(清华大学);Tongji University(同济大学);University of California, Davis(加州大学戴维斯分校);Arizona State University(亚利桑那州立大学);Ohio State University(俄亥俄州立大学);Zhongguancun Laboratory(中关村实验室)
这项工作旨在解决离线逆强化学习(IRL)中的一个主要挑战,即奖励外推误差,其中由于固有的协变量偏移,学习的奖励函数可能无法正确解释任务并在看不见的环境中误导智能体。利用专家数据和低质量的多样化数据,我们设计了一个原则性的算法(即CNOE),通过将“保守性”整合到学习的奖励函数中并利用估计的动态模型来有效地解决离线IRL。我们的理论分析提供了一个上限的学习政策和专家政策之间的回报差距,在此基础上,我们的特点的影响,协变量偏移通过检查微妙的双层之间的权衡剥削(专家和不同的数据)和勘探(估计的动态模型)。我们表明,BEE可以证明减轻奖励外推错误的打击正确的开发勘探平衡。大量实验证实了CLARE相对于MuJoCo连续控制任务(特别是对于小型离线数据集)的现有最先进算法的显着性能提升,并且所学到的奖励对于进一步学习具有很强的指导意义。
2023-02-21 cs.AI cs.LG
A Behavior-first approach to Multi-Intention Inverse Reinforcement Learning
Delft University of Technology(代尔夫特理工大学)
CoMI-IRL是一种基于Transformer的无监督框架,通过解耦行为表示与聚类,实现多意图逆强化学习,无需预先知识即可提升对新行为的适应能力。
2026-10-14 cs.LG
Interactive Inverse Reinforcement Learning of Interaction Scenarios via Bi-level Optimization
Department of Mechanical Engineering, Pennsylvania State University(宾夕法尼亚州立大学机械工程系);Department of Electrical Engineering, Pennsylvania State University(宾夕法尼亚州立大学电气工程系)
本文提出交互逆强化学习(IIRL)框架,通过双层优化解决学习者与专家互动中逆强化学习的问题,开发了BISIRL算法并验证其收敛性。
2026-05-01 cs.LG
From Language to Goals: Inverse Reinforcement Learning for Vision-Based Instruction Following
Google AI Research(谷歌人工智能研究院);Google AI(谷歌人工智能)
强化学习是解决控制问题的一个很有前途的框架,但它在实际情况中的使用受到奖励函数通常难以设计的事实的阻碍。自主机器(如机器人)的目标和任务是一个重大挑战:传统上,奖励函数和目标状态已被用于传达目标。但人们可以通过简单地描述或演示来相互传达目标。我们如何才能建立学习算法,让我们告诉机器我们想让他们做什么?在这项工作中,我们调查的问题接地语言命令作为奖励功能使用逆强化学习,并认为语言条件的奖励比语言条件的政策更可转移到新的环境。我们提出了语言条件奖励学习(LC-RL),它将语言命令作为由深度神经网络表示的奖励函数。我们证明,我们的模型学习奖励,转移到新的任务和环境中的现实,高维的视觉环境与自然语言命令,而直接学习的语言条件的政策导致性能不佳。
2019-02-20 cs.LG stat.ML
Reward Learning using Structural Motifs in Inverse Reinforcement Learning
University of Toronto(多伦多大学);Vector Institute(向量研究所)
逆强化学习(\textit{IRL})问题在过去几年中经历了快速的发展,在机器人、认知和健康等领域有着重要的应用。在这项工作中,我们探讨了目前的IRL方法在学习代理的奖励功能,从专家轨迹描绘长期的,复杂的顺序任务的无效性。我们假设,灌输IRL模型与结构图案捕捉底层任务可以使和提高他们的表现。随后,我们提出了一种新的IRL方法,SMIRL,首先学习的(近似)结构的任务作为一个有限状态自动机(FSA),然后使用的结构基序来解决IRL问题。我们测试我们的模型在离散网格世界和高维连续域环境。我们的经验表明,我们提出的方法成功地学习了所有四个复杂的任务,其中两个基本的IRL基线失败。我们的模型在一个简单的玩具任务上的样本效率也优于基线。我们进一步展示了有前途的测试结果,在一个修改后的连续域的任务与组合奖励函数。
2022-09-25 cs.AI cs.LG
Understanding Reward Ambiguity Through Optimal Transport Theory in Inverse Reinforcement Learning
Rochester Institute of Technology(罗切斯特理工学院)
本文利用最优传输理论中的Wasserstein距离建立几何框架,量化并应对高维逆强化学习中的奖励模糊性问题,通过识别奖励函数质心为鲁棒方法提供几何基础。
2023-10-18 cs.LG cs.SY eess.SY
How Private Is Your RL Policy? An Inverse RL Based Analysis Framework
IIIT Hyderabad(海得拉巴国际信息技术研究所)
强化学习(RL)使智能体能够从头开始学习如何执行各种任务。在自动驾驶、推荐系统等领域,如果学习到的最佳强化学习策略记住了私人奖励的任何部分,可能会导致隐私泄露。我们研究了一组现有的差异化私有RL策略,这些策略来自于各种RL算法,如值迭代,深度Q网络和Vanilla近端策略优化。我们提出了一个新的隐私感知逆RL(PRIL)分析框架,执行奖励重建作为一个对抗攻击的私人政策,代理可能会部署。为此,我们引入了奖励重建攻击,其中我们试图使用逆RL算法从隐私保护策略中重建原始奖励。如果代理使用严格的私有策略,对手在重建原始奖励函数方面一定做得很差。使用这个框架,我们经验性地测试了不同复杂度的FrozenLake域的多个实例上的私有算法所提供的隐私保证的有效性。基于所进行的分析,我们推断出当前提供的隐私标准与保护RL中奖励功能所需的隐私标准之间存在差距。我们这样做,通过量化的程度,每个私人政策保护的奖励功能,通过测量原始和重建的奖励之间的距离。
2021-12-10 cs.AI cs.LG
Generalizing Behavior via Inverse Reinforcement Learning with Closed-Form Reward Centroids
Politecnico di Milano(米兰理工学院)
研究将专家示范行为泛化到新环境的问题,提出一种基于可行集有界子集奖励质心的闭式表达式决策标准,并设计了仅用离线数据估计该质心的高效算法。
2025-09-15 cs.AI cs.LG
LS-IQ: Implicit Reward Regularization for Inverse Reinforcement Learning
German Research Center for AI (DFKI)(德国人工智能研究中心(DFKI));Centre for Cognitive Science(认知科学中心)
最近的模仿学习方法直接学习一个$Q$ -函数使用一个隐式的奖励公式,而不是一个显式的奖励函数。然而,这些方法通常需要隐式奖励正则化来提高稳定性,并且经常误处理吸收状态。以往的工作表明,平方范数正则化的隐式奖励函数是有效的,但没有提供一个理论分析的算法所产生的属性。在这项工作中,我们表明,使用这种正则化的混合分布的政策和专家提供了一个特别有启发性的观点:原来的目标可以被理解为平方贝尔曼误差最小化,相应的优化问题最大限度地减少了有界$χ^2$ -专家和混合分布之间的分歧。这种观点使我们能够解决不稳定性和正确对待吸收状态。我们表明,我们的方法,最小二乘逆Q学习(LS-IQ),优于最先进的算法,特别是在吸收状态的环境中。最后,我们建议使用逆动力学模型只从观察中学习。使用这种方法,我们在没有专家操作可用的设置中保持性能。
2023-03-01 cs.AI cs.LG cs.RO
Inverse Reinforcement Learning without an Optimal Demonstrator: A Feasible Reward Set Approach
MIT LIDS(麻省理工学院媒体实验室);University of Massachusetts, Amherst(马萨诸塞大学阿姆赫斯特分校);Adobe Research(Adobe研究院);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
针对多个非最优演示者数据,提出可行奖励集框架,通过线性约束联合可行集单调收缩,并给出恢复保证与高维环境离线算法。
2026-05-29 cs.AI cs.LG
Learning a Prior over Intent via Meta-Inverse Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校)
强化学习在现实世界中的实际应用面临的一个重大挑战是需要指定一个正确定义任务的Oracle奖励函数。反向强化学习(IRL)试图通过从专家行为中推断奖励函数来避免这一挑战。虽然吸引人,但收集涵盖现实世界中常见变化的演示数据集(例如打开任何类型的门)可能是不切实际的昂贵。因此,在实践中,IRL通常必须仅通过有限的一组演示来执行,其中明确地恢复奖励函数可能非常困难。在这项工作中,我们利用的洞察力,从其他任务的演示可以用来约束一组可能的奖励功能,通过学习一个“先验”,这是专门优化的能力,从有限数量的演示推断表达奖励功能。我们证明,我们的方法可以有效地从图像中恢复奖励,并提供直觉,我们的方法是如何类似于学习先验。
2019-10-14 cs.LG stat.ML
Efficient Exploration of Reward Functions in Inverse Reinforcement Learning via Bayesian Optimization
National University of Singapore(新加坡国立大学)
逆强化学习(IRL)问题与包括价值对齐和机器人学习在内的各种任务相关。尽管近年来在算法方面做出了重大贡献,但IRL的核心仍然是一个不适定问题;多个奖励函数与观察到的行为一致,并且在没有先验知识或补充信息的情况下,实际的奖励函数是不可识别的。本文提出了一个IRL框架称为贝叶斯优化IRL(BO-IRL),确定多个解决方案是一致的专家演示,有效地探索奖励函数空间。BO-IRL通过利用贝叶斯优化以及我们新提出的内核来实现这一点,该内核(a)将策略不变奖励函数的参数投影到潜在空间中的单个点,以及(b)确保潜在空间中的附近点对应于产生类似可能性的奖励函数。这种投影允许在潜在空间中使用标准的静态内核来捕获整个奖励函数空间中存在的相关性。在合成环境和现实环境(无模型和基于模型)上的实证结果表明,BO-IRL发现了多个奖励函数,同时最大限度地减少了昂贵的精确策略优化的数量。
2020-11-17 cs.AI cs.LG cs.RO
Deep PQR: Solving Inverse Reinforcement Learning using Anchor Actions
Princeton University(普林斯顿大学);Amazon(亚马逊)
我们提出了一个基于深度能量策略的逆强化学习的奖励函数估计框架。我们将我们的方法命名为PQR,因为它通过深度学习依次估计策略、$Q$函数和奖励函数。PQR并不认为奖励只取决于状态,相反,它允许依赖于行动的选择。此外,PQR允许随机状态转换。为了实现这一点,我们假设存在一个锚定动作,其奖励是已知的,通常是什么也不做的动作,不产生奖励。我们提出的PQR方法的估计和算法。当环境转移是已知的,我们证明了PQR奖励估计唯一恢复真实的奖励。对于未知的转移,我们限制了PQR的估计误差。最后,PQR的性能证明了合成和真实世界的数据集。
2020-08-15 cs.LG math.OC stat.ML
TROFI: Trajectory-Ranked Offline Inverse Reinforcement Learning
本文提出TROFI方法,通过从人类偏好中学习奖励函数来标注离线数据集,无需预定义奖励或最优轨迹即可有效训练策略,在D4RL基准和3D游戏环境中表现优于基线且媲美真实奖励。
2025-06-27 cs.AI cs.LG