Towards Interpretable Deep Reinforcement Learning Models via Inverse Reinforcement Learning
Dartmouth College(达特茅斯学院)
针对深度强化学习模型的黑箱问题,本文提出基于对抗逆强化学习的框架,通过总结决策过程为模型决策提供全局解释并揭示其直观倾向。
2024-03-01 cs.AI cs.LG
A Hierarchical Bayesian Approach to Inverse Reinforcement Learning with Symbolic Reward Machines
Boston University(波士顿大学)
在强化学习(RL)问题中,错误的奖励会降低样本效率并导致不期望的行为。我们提出了符号奖励机,将高层次的任务知识时,指定的奖励信号。符号奖励机通过允许转换携带谓词和符号奖励输出来增强现有的奖励机形式。这种形式主义很适合逆强化学习,其中的关键挑战是从一些专家演示中确定符号值的适当分配。我们提出了一个层次贝叶斯方法推断最有可能的任务,使具体化的奖励机可以区分专家演示的轨迹,从其他轨迹具有高精度。实验结果表明,学习奖励机可以显着提高复杂RL任务的训练效率,并在不同的任务环境配置之间具有很好的泛化能力。
2022-04-20 cs.AI cs.LG
Maximum Entropy Reinforcement Learning with Mixture Policies
Technion, Israel Institute of Technology(以色列理工学院)
混合模型是一种表达性的假设类,可以近似一组丰富的策略。然而,在最大熵(MaxEnt)框架中使用混合策略并不简单。混合模型的熵不等于其分量之和,在大多数情况下也没有封闭形式的表达式。因此,在MaxEnt算法中使用这样的策略需要构建混合熵的易处理的近似。在本文中,我们得到一个简单的,低方差混合熵估计。我们表明,它是密切相关的边际熵的总和。配备我们的熵估计,我们推导出一个算法的软演员批评(SAC)的混合策略的情况下,并评估它的一系列连续控制任务。
2021-03-18 cs.AI cs.LG
A proof of imitation of Wasserstein inverse reinforcement learning for multi-objective optimization
NEC Corporation(日本电气股份有限公司)
本文证明在多目标优化中,Wasserstein 逆向强化学习能在有限次迭代内使学习者的奖励值和最优解分别模仿专家的奖励值和最优解。
2023-05-18 cs.AI cs.LG stat.ML
Evaluating the Perceived Safety of Urban City via Maximum Entropy Deep Inverse Reinforcement Learning
Sichuan University(四川大学)
受城市感知专家评价策略的启发,提出了一种基于逆强化学习(IRL)的城市安全预测框架,并给出了相应的奖励函数.我们还提出了一种可扩展的状态表示方法,将预测问题建模为马尔可夫决策过程(MDP),并使用强化学习(RL)来解决问题。此外,我们基于众包方法建立了一个名为SmallCity的数据集来进行研究。据我们所知,这是首次将IRL方法引入城市安全感知和规划领域,帮助专家定量分析感知特征。我们的研究结果表明,IRL在这一领域有着广阔的前景。我们稍后将开放众包数据汇集网站和本文提出的模型。
2022-11-27 cs.AI cs.LG
Environment Design for Inverse Reinforcement Learning
The Alan Turing Institute(图灵研究所);Université de Neuchâtel(纳沙泰尔大学)
针对逆强化学习样本效率低、难适应环境动力学微小变化的问题,提出自适应环境设计框架,通过学习者主动选择环境与专家交互,在精确和近似推理下均提升了样本效率与鲁棒性。
2024-05-14 cs.AI cs.LG
Enforcing KL Regularization in General Tsallis Entropy Reinforcement Learning via Advantage Learning
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);Osaka University(大阪大学);Advanced Telecommunication Research(国际电气通信基础技术研究所)
强化学习中的最大Tsallis熵(Maximum Tsallis entropy,MTE)框架由于其灵活的建模选择(包括广泛使用的Shannon熵和稀疏熵)而近年来得到了广泛的应用。然而,非香农熵遭受近似误差和随后的表现不佳,无论是由于其敏感性或缺乏封闭形式的政策表达。为了提高灵活性和经验性能之间的权衡,我们建议通过在Munchausen DQN(MDQN)激励的MTE中执行隐式Kullback-Leibler(KL)正则化来加强其错误鲁棒性。我们这样做,通过绘制MDQN和优势学习之间的连接,MDQN被证明是失败的推广到MTE框架。经过大量实验验证,所提出的方法Tsallis优势学习(TAL)不仅在各种非封闭形式Tsallis熵方面显着改进了Tsallis-DQN,而且表现出与最先进的最大香农熵算法相当的性能。
2022-05-16 cs.AI cs.LG
A Comparative Theoretical Analysis of Entropy Control Methods in Reinforcement Learning
Shanghai Jiao Tong University(上海交通大学);Météo France/CNRS, Université de Toulouse, CNRM UMR 3589(法国气象局/法国国家科学研究中心,图卢兹大学,国家气象研究中心 UMR 3589)
本文比较了传统熵正则化与基于协方差的熵控制方法,揭示了熵变化由log-probabilities与logit更新的协方差决定,传统方法引入持续偏差导致次优策略,而基于协方差方法通过稀疏正则化实现无偏性。
2026-04-02 cs.AI cs.LG
An Entropy Regularization Free Mechanism for Policy-based Reinforcement Learning
ByteDance(字节跳动);Nankai University(南开大学)
基于策略的强化学习方法存在策略崩溃问题。我们发现基于值的强化学习方法具有ε-greedy机制,具有封闭多样性、不变性探索和自适应权衡三个特性,这有助于基于值的方法避免策略崩溃问题。然而,不存在一个并行的机制,基于策略的方法,实现所有三个特征。在本文中,我们提出了一个熵正则化的自由机制,设计的基于策略的方法,实现了封闭形式的多样性,不变性探索和自适应权衡。我们的实验表明,我们的机制是超级样本效率的基于策略的方法,并提高了基于策略的基线,以一个新的国家的最先进的街机学习环境。
2021-06-01 cs.AI cs.LG
Inverse-RLignment: Large Language Model Alignment from Demonstrations through Inverse Reinforcement Learning
Department of Applied Mathematics and Theoretical Physics, University of Cambridge, UK(剑桥大学应用数学与理论物理系)
针对现有LLM对齐方法面临的标签噪声和高成本问题,提出基于逆向强化学习的从示范中对齐(AfD)方法,通过散度最小化目标与高效算法,在多项任务上实现了优异的实证性能。
2025-01-25 cs.AI cs.LG
Tracking Drift: Variation-Aware Entropy Scheduling for Non-Stationary Reinforcement Learning
School of Future Technology, Southeast University, Nanjing, China(东南大学未来技术学院,南京,中国);School of Automation, Southeast University, Nanjing, China(东南大学自动化学院,南京,中国)
本文提出AES方法,通过动态调整熵系数以应对环境漂移,减少性能下降并加快恢复速度。
2026-07-15 cs.AI cs.LG
Receding Horizon Inverse Reinforcement Learning
National University of Singapore(新加坡国立大学)
逆强化学习(IRL)试图推断一个成本函数,解释专家演示的潜在目标和偏好。本文提出了滚动时域逆强化学习(RHIRL),一个新的IRL算法的高维,噪声,连续系统的黑箱动态模型。RHIRL解决了IRL的两个关键挑战:可伸缩性和健壮性。为了处理高维连续系统,RHIRL匹配诱导的最佳轨迹与专家演示本地在一个滚动的地平线的方式和“缝合”的本地解决方案一起学习的成本,从而避免了“维数灾难”。这与早期的算法形成鲜明对比,早期的算法在整个高维状态空间中与专家演示全局匹配。为了对不完美的专家论证和控制噪声具有鲁棒性,RHIRL在温和的条件下学习了一个从系统动力学中“解脱”出来的状态相关成本函数。基准任务的实验表明,RHIRL在大多数情况下优于几个领先的IRL算法。我们还证明了RHIRL的累积误差与任务持续时间线性增长。
2022-10-17 cs.AI cs.LG
Inverse Reinforcement Learning With Constraint Recovery
Indian Institute of Technology Delhi(印度理工学院德里分校)
针对CMDP问题提出IRL-CR算法,利用最大熵原理将同时推断奖励函数与约束的问题转化为交替约束优化问题,并用指数梯度下降求解,在网格世界环境中验证了有效性。
2023-05-14 cs.AI cs.LG
Tsallis Reinforcement Learning: A Unified Framework for Maximum Entropy Reinforcement Learning
Seoul National University(首尔国立大学);KAIST(韩国科学技术院);Kakao Brain
在本文中,我们提出了一类新的马尔可夫决策过程(MDP),称为Tsallis MDP,Tsallis熵最大化,推广现有的最大熵强化学习(RL)。Tsallis MDP为原始RL问题和具有各种类型熵的RL提供了统一的框架,包括著名的标准香农-吉布斯(SG)熵,使用额外的实值参数,称为熵指数。通过控制熵指数,我们可以产生各种类型的熵,包括SG熵,不同的熵会导致Tsallis MDP中不同类别的最优策略。我们还提供了Tsallis MDP的完整数学分析,包括最优性条件,性能误差界和收敛性。我们的理论结果使我们能够在RL中使用任何正熵指数。为了处理复杂和大规模的问题,我们提出了一个无模型的演员-评论家RL方法使用Tsallis熵最大化。我们评估了Tsallis熵的正则化效果与不同的熵指数值,并表明熵指数控制所提出的方法的探索趋势。对于不同类型的RL问题,我们发现,一个不同的值的熵指数是可取的。该方法使用MuJoCo模拟器进行评估,并达到了最先进的性能。
2019-02-07 cs.AI cs.LG stat.ML
Multiscale Inverse Reinforcement Learning using Diffusion Wavelets
KAIST(韩国科学技术院)
提出了一种多尺度框架来解决连续时间/状态随机系统的逆强化学习问题。我们利用相关的马尔可夫链的扩散小波表示抽象的状态空间。这不仅允许有效地处理大的(和几何复杂的)决策空间,但也提供了更多的可解释的表示演示状态轨迹,也由此产生的政策的IRL。在该框架中,问题被分为全局和局部IRL,其中最优价值函数的全局近似使用粗特征获得,局部细节使用细局部特征量化。一个复杂环境下机器人路径控制的数值例子验证了所提出的方法。
2016-11-24 cs.AI cs.LG
Toward Computationally Efficient Inverse Reinforcement Learning via Reward Shaping
Harvard University(哈佛大学);University of California, Berkeley(加州大学伯克利分校)
针对逆强化学习计算成本高、需求解多个强化学习子问题的痛点,提出用基于势函数的奖励塑形降低子问题计算量,作为概念验证为高效IRL研究提供启发。
2023-12-18 cs.AI cs.LG stat.ML
Count-Based Temperature Scheduling for Maximum Entropy Reinforcement Learning
University of California, Irvine(加利福尼亚大学欧文分校);University of California, Berkeley(加利福尼亚大学伯克利分校)
最大熵强化学习(MaxEnt RL)算法,如Soft Q-Learning(SQL)和Soft Actor-Critic权衡奖励和策略熵,这有可能提高训练稳定性和鲁棒性。然而,大多数MaxEnt RL方法使用恒定的权衡系数(温度),与直觉相反,温度应该在训练早期较高,以避免过度拟合噪声值估计,并在训练后期降低,因为我们越来越相信高值估计确实会带来良好的回报。此外,我们对价值估计的信心是依赖于状态的,每当我们使用更多的证据来更新估计时,信心就会增加。在本文中,我们提出了一个简单的基于状态的温度调度方法,并将其实例化为基于计数的软Q学习(CBSQL)的SQL。我们评估我们的方法在玩具领域以及在几个雅达利2600域,并显示出可喜的成果。
2021-11-28 cs.AI cs.LG
Demonstration-efficient Inverse Reinforcement Learning in Procedurally Generated Environments
Università degli Studi di Firenze(佛罗伦萨大学);University of Cambridge(剑桥大学)
深度强化学习在可以手动设计奖励函数的领域中取得了非常好的效果。与此同时,社区内越来越有兴趣使用基于程序内容生成(PCG)的游戏作为基准环境,因为这种类型的环境非常适合研究域转移下代理的过拟合和泛化。相反,反向强化学习(IRL)可以从专家演示中推断出奖励函数,即使在高维问题上也有很好的结果,但是没有将这些技术应用于过程生成环境的例子。这主要是由于找到一个好的奖励模型所需的演示数量。我们提出了一种基于对抗逆强化学习的技术,可以显着减少PCG游戏中对专家演示的需求。通过使用一组有限的初始种子水平的环境,加上一些修改来稳定训练,我们证明了我们的方法DE-AIRL是演示有效的,并且仍然能够外推推广到全过程域的奖励函数。我们证明了我们的技术在两个程序环境,MiniGrid和DeepCrawl,各种任务的有效性。
2020-12-04 cs.AI cs.LG
Inverse Reinforcement Learning by Estimating Expertise of Demonstrators
University of California, Santa Barbara(加州大学圣巴巴拉分校)
针对模仿学习中次优异构演示数据利用难的问题,提出无需演示者专业度先验的IRLEED框架,结合次优性模型与最大熵IRL改进算法,经多场景实验验证其适应性与有效性。
2024-12-13 cs.AI cs.LG
Maximum Entropy Diverse Exploration: Disentangling Maximum Entropy Reinforcement Learning
Binghamton University(宾汉姆顿大学);Yantai University(烟台大学)
两个迄今为止断开的研究线程,多样性探索(DE)和最大熵强化学习已经解决了强化学习算法通过表面上不同的机制所面临的广泛问题。在这项工作中,我们确定了这两种方法之间的联系。首先,提出了一个基于鉴别器的多样性目标,并将其与常用的发散性度量相连接。然后,我们将这个目标扩展到最大熵框架,并提出了一个算法最大熵多样性探索(MEDE),它提供了一个原则性的方法来学习不同的行为。理论研究表明,由MEDE学习的策略集捕获与最优最大熵策略相同的模态。实际上,所提出的算法将最大熵策略分解为不同的组成策略。实验表明,MEDE在学习高性能和多样化的策略方面优于现有技术。
2019-11-03 cs.AI cs.LG stat.ML
Rényi State Entropy for Exploration Acceleration in Reinforcement Learning
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Research Institute of Big Data(深圳大数据研究院)
深度强化学习最关键的挑战之一是保持智能体的长期探索能力。为了解决这个问题,最近有人提出为代理提供内在奖励以鼓励探索。然而,大多数现有的内在奖励为基础的方法在文献中提出的未能提供可持续的勘探激励,一个问题被称为消失的奖励。此外,这些常规方法在其学习过程中招致复杂的模型和额外的存储器,导致高计算复杂性和低鲁棒性。在这项工作中,提出了一种新的内在奖励模块的基础上的雷尼熵提供高质量的内在奖励。结果表明,所提出的方法实际上推广了现有的状态熵最大化方法。特别地,引入了$k$ -最近邻估计器进行熵估计,同时设计了$k$ -值搜索方法以保证估计精度。大量的仿真结果表明,所提出的Rényi熵为基础的方法可以实现更高的性能相比,现有的计划。
2022-03-08 cs.AI cs.LG
Inverse Reinforcement Learning from Non-Stationary Learning Agents
Duke University(杜克大学);US Air Force(美国空军);AFRL Division(空军研究实验室分部)
本文针对学习智能体在非平稳学习过程中的奖励函数估计问题,提出基于 bundle behavior cloning 的逆向强化学习方法,利用少量轨迹克隆策略并训练神经网络估计奖励,理论分析和实验验证了其优于标准行为克隆。
2024-10-18 cs.AI cs.LG
Recursive Deep Inverse Reinforcement Learning
Boston Dynamics AI Institute(波士顿动力AI研究院)
针对现有深度逆强化学习方法多为离线、收敛慢难适配实时场景的问题,提出基于序列二阶牛顿更新的在线递归深度逆强化学习方法,可快速还原对手代价函数,在基准任务上表现优于多种主流算法。
2026-07-27 cs.AI cs.LG
PsiPhi-Learning: Reinforcement Learning with Demonstrations using Successor Features and Inverse Temporal Difference Learning
University of Oxford(牛津大学);University of California, Berkeley(加州大学伯克利分校);Google Research(谷歌研究院);DeepMind(深度思维)
我们研究了强化学习(RL)与无奖励演示,在这种设置中,RL代理可以从其他代理与相同环境的交互中获得额外的数据。然而,它无法获得这些代理人的奖励或目标,他们的目标和专业知识水平可能差异很大。这些假设在多智能体环境中很常见,例如自动驾驶。为了有效地使用这些数据,我们转向后继特征的框架。这使我们能够将环境的共享特征和动态与特定于代理的奖励和政策分开。我们提出了一个多任务逆强化学习(IRL)算法,称为\emph{inverse temporal difference learning}(ITD),学习共享的状态特征,以及每个代理的后继特征和偏好向量,纯粹从没有奖励标签的演示。我们进一步展示了如何将ITD与在线环境交互的学习无缝集成,并通过演示实现了一种新的强化学习算法,称为$ΨΦ$ -学习(发音为“Sci-Fi”)。我们提供的$ΨΦ$学习的有效性的实证证据,作为一种方法,提高RL,IRL,模仿,和Few-Shot转移,并推导出最坏情况下的界限,其性能在zero-shot转移到新的任务。
2021-06-10 cs.AI cs.LG
Sample Efficient Social Navigation Using Inverse Reinforcement Learning
McGill University(麦吉尔大学);Samsung Electronics(三星电子)
在本文中,我们提出了一种算法,有效地学习社会兼容的导航政策,从人类轨迹的观察。随着移动机器人进入社交空间,它们必须考虑社交线索,并以符合社交的方式行事。我们专注于从例子中学习这些线索。我们描述了一种基于逆强化学习的算法,该算法从人类轨迹观察中学习,而不知道他们的具体行动。我们通过利用重放缓冲区的概念(在许多非策略强化学习方法中发现)来消除与逆强化学习相关的额外样本复杂性,从而提高了我们方法的样本效率。我们评估我们的方法通过训练代理使用公开的行人运动数据集,并将其与相关方法进行比较。我们表明,我们的方法产生更好的性能,同时也降低了训练时间和样本的复杂性。
2021-06-18 cs.AI cs.LG cs.RO
Implicit Policy for Reinforcement Learning
Columbia University(哥伦比亚大学)
我们引入了隐式策略,这是一类通用的表达策略,可以灵活地表示强化学习中的复杂动作分布,并具有计算熵正则化策略梯度的有效算法。我们的经验表明,尽管其简单的实施,熵正则化结合丰富的政策类可以达到理想的属性下显示最大熵强化学习框架,如鲁棒性和多模态。
2019-02-03 cs.AI cs.LG stat.ML
Neuroevolution-Based Inverse Reinforcement Learning
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
示教学习问题的目标是根据观察到的示例学习执行任务。示教学习的一种方法是反向强化学习,其中观察行为以推断奖励。这项工作结合了基于特征的状态评估方法,逆强化学习与神经进化,一个范例,修改神经网络的基础上,他们在一个给定的任务上的性能。神经网络用于从演示的专家策略中学习,并进化以生成与演示类似的策略。该算法进行了讨论,并对基于竞争特征的逆强化学习方法进行了评估。以执行时间为代价,神经网络允许状态评估中的特征的非线性组合。这些估值可以对应于州价值或州奖励。与使用线性组合相比,这导致更好地对应于观察到的示例。这项工作还扩展了现有的工作贝叶斯非参数特征构造逆强化学习通过使用非线性组合的中间数据,以提高性能。观察到该算法特别适合于线性可解的非确定性马尔可夫决策过程,其中多个奖励在状态空间中稀疏分散。评估算法之间的一个结论性的性能层次结构。
2016-08-09 cs.AI cs.LG cs.NE
Combining Reinforcement Learning and Inverse Reinforcement Learning for Asset Allocation Recommendations
AI Center of Excellence for Asset Management, Fidelity Investments(富达投资资产管理人工智能卓越中心)
我们提出了一种简单实用的方法,将人类和人工智能结合起来,学习基金经理的最佳投资实践,并提供改进建议。我们的方法是基于逆强化学习(IRL)和RL的组合。首先,IRL组件根据基金经理的交易历史来学习他们的意图,并恢复他们的隐含奖励函数。在第二步,直接RL算法使用该奖励函数来优化资产分配决策。我们表明,我们的方法是能够提高个人基金经理的业绩。
2022-01-06 cs.AI cs.LG q-fin.CP
Stochastic Inverse Reinforcement Learning
Nanyang Technological University(南洋理工大学)
逆强化学习(IRL)问题的目标是从专家演示中恢复奖励函数。然而,IRL问题像任何不适定的反问题一样,具有先天的缺陷,即策略可能对许多奖励函数是最优的,并且专家论证可能对许多策略是最优的。在这项工作中,我们将IRL问题推广到一个适定的期望优化问题随机逆强化学习(SIRL),以恢复奖励函数的概率分布。我们采用蒙特卡罗期望最大化(MCEM)方法估计的概率分布的参数作为第一个解决方案的SIRL问题。该解决方案是简洁的,强大的,可转移的学习任务,并可以生成替代解决方案的IRL问题。通过我们的公式,可以从全局的角度观察IRL问题的内在属性,并且我们的方法在对象世界上实现了相当大的性能。
2022-09-23 cs.AI cs.LG stat.ML
Ensuring Monotonic Policy Improvement in Entropy-regularized Value-based Reinforcement Learning
Graduate School of Science and Technology, Nara Institute of Science and Technology(奈良科学技术大学大学院科学技术研究科)
本文旨在建立一种基于熵正则化值的强化学习方法,保证每次策略更新时策略的单调改进。与以前提出的一般无限地平线MDPs的政策改进的下限,我们得到一个熵正则化意识的下限。由于我们的界限只需要估计预期的策略优势函数,它是可扩展的大规模(连续)的状态空间问题。我们提出了一种新的强化学习算法,利用这个下限作为一个标准,调整的程度,减轻政策的政策更新振荡。我们证明了我们的方法在离散状态迷宫和连续状态倒立摆任务中使用线性函数近似值估计的有效性。
2020-08-25 cs.AI cs.LG stat.ML
Policy Optimization Reinforcement Learning with Entropy Regularization
CreateAmind(CreateAmind(需确认具体中文译名,此处按原文保留))
熵正则化是强化学习中的一个重要思想,在最近的软Q网络(SQN)和软Actor-Critic(SAC 1)等算法中取得了巨大成功。在这项工作中,我们将这个想法扩展到政策领域。提出了基于策略的最大熵强化学习的软策略梯度定理(SPGT)。在SPGT的基础上,推导出了一系列新的策略优化算法,如SPG、SA 2C、SA 3C、SDDPG、STRPO、SPPO、SIMPAL等,并发现SDDPG与SAC 1是等价的。对于策略梯度,策略网络通常表示为具有全局动作方差的高斯分布,这损害了表示能力。我们在策略网络中引入了一个局部行为方差,发现它可以与熵正则化的思想协同工作。我们的方法在一系列基准任务上优于先前的工作。此外,我们的方法可以很容易地扩展到大规模的实验,具有很大的稳定性和并行性。
2020-10-16 cs.AI cs.LG stat.ML
Multi-agent Inverse Reinforcement Learning for Two-person Zero-sum Games
University of Virginia(弗吉尼亚大学);IBM Research(IBM研究院)
本文的重点是贝叶斯框架解决一类问题称为多智能体逆强化学习(MIRL)。与著名的逆强化学习(IRL)问题相比,MIRL是在随机博弈的背景下形式化的,它将马尔可夫决策过程推广到博弈论场景。我们建立了一个理论基础竞争的两个代理零和MIRL问题,并提出了一个贝叶斯解决方案的方法,其中生成模型是基于一个假设,即两个代理遵循极大极小双政策。数值结果比较贝叶斯MIRL方法与现有的两种方法的背景下,一个抽象的足球比赛。研究集中在先验信息的程度和学习奖励的质量之间的关系。结果表明,协方差结构比平均值更重要的奖励先验。
2019-07-30 cs.AI cs.GT cs.LG
Deep Inverse Reinforcement Learning for Structural Evolution of Small Molecules
化学库到药物发现管道的大小和质量对于开发新药或重新利用现有药物至关重要。现有的技术,如组合有机合成和高通量筛选通常使过程异常艰难和复杂,因为合成可行的药物的搜索空间是非常巨大的。虽然强化学习在文献中主要用于生成新化合物,但在某些复杂领域,设计简洁地表示学习目标的奖励函数的要求可能令人生畏。基于生成对抗网络的方法在训练后大多会丢弃训练集,并且可能很难训练。在这项研究中,我们提出了一个框架,用于训练一个复合发电机和学习一个可转移的奖励函数的基础上熵最大化逆强化学习范式。我们从实验中表明,逆强化学习路线提供了一个合理的替代方案,用于在奖励函数工程可能不太吸引人或不可能的领域中生成化合物,而表现出所需目标的数据很容易获得。
2020-10-01 cs.AI cs.LG q-bio.BM
Multi-class Generalized Binary Search for Active Inverse Reinforcement Learning
INESC-ID/Instituto Superior Técnico(INESC-ID/高等技术学院);INRIA Bordeaux Sud-Ouest(法国国立信息与自动化研究院波尔多西南分院)
本文讨论了从演示中学习任务的问题。我们采用逆强化学习的框架,其中任务以奖励函数的形式表示。我们的贡献是一种新的主动学习算法,使学习代理查询专家提供更多的信息演示,从而导致更多的样本有效的学习。对于这种新算法(广义二进制搜索逆强化学习,或GBS-IRL),我们提供了一个理论上的样本复杂度的界限,并说明其适用于几个不同的任务。据我们所知,GBS-IRL是第一个主动IRL算法与可证明的样本复杂度界。我们还讨论了我们的方法,在文献中的其他现有的方法和它的一般适用性,在多类分类问题。最后,由最近的工作在机器人的示教学习的动机,我们还讨论了如何不同形式的人类反馈可以集成在我们的学习框架中的一个透明的方式。
2013-01-23 cs.AI cs.LG stat.ML
OPIRL: Sample Efficient Off-Policy Inverse Reinforcement Learning via Distribution Matching
Tokyo Institute of Technology(东京工业大学);Mitsubishi Electric Corporation(三菱电机株式会社)
逆强化学习(IRL)在奖励工程可能很乏味的情况下很有吸引力。然而,先前的IRL算法使用策略上的转换,这需要从当前策略进行密集采样以获得稳定和最佳性能。这限制了现实世界中的IRL应用程序,其中环境交互可能变得非常昂贵。为了解决这个问题,我们提出了Off-Policy Inverse强化学习(OPIRL),它(1)采用off-policy数据分布而不是on-policy,并能够显着减少与环境的交互次数,(2)学习一个固定的奖励函数,该函数在动态变化时具有高度的泛化能力,(3)利用模式覆盖行为实现更快的收敛。我们证明了我们的方法是相当多的样本效率和推广到新的环境通过实验。我们的方法在政策性能基线上实现了更好或可比的结果,并且交互明显减少。此外,我们的经验表明,恢复的奖励函数一般化到不同的任务,现有技术容易失败。
2022-05-22 cs.AI cs.LG cs.RO
E-GRPO: High Entropy Steps Drive Effective Reinforcement Learning for Flow Models
Tsinghua University(清华大学)
E-GRPO通过增加SDE采样步骤的熵,提升流模型强化学习的效果,通过合并低熵步骤为高熵步骤并引入多步群体归一化优势,提高探索效率和奖励信号清晰度。
2026-01-01 cs.AI cs.CV cs.LG
Efficient Probabilistic Performance Bounds for Inverse Reinforcement Learning
University of Texas at Austin(德克萨斯大学奥斯汀分校)
在强化学习领域,最近在策略性能的安全性和高置信度界限方面取得了进展。然而,据我们所知,没有实际的方法存在确定高置信度的政策性能界限的逆强化学习设置-其中真正的奖励函数是未知的,只有专家行为的样本。我们提出了一种基于贝叶斯逆强化学习的抽样方法,该方法使用演示来确定$α$的实际高置信度上界-在专家未知的奖励函数下,任何评估策略与最优策略之间的预期收益的最差情况。我们评估了我们提出的标准网格导航任务和模拟驾驶任务的界限,并实现了更紧密,更准确的界限比基于特征计数的基线。我们还给出了如何利用我们提出的界限来执行风险感知政策选择和风险感知政策改进的例子。由于我们提出的界限需要几个数量级的示范比现有的高置信度的界限,这是第一个实用的方法,允许代理,从示范学习,以表达他们的学习政策的质量的信心。
2018-06-23 cs.AI cs.LG stat.ML
Learner-aware Teaching: Inverse Reinforcement Learning with Preferences and Constraints
Microsoft Research(微软研究院);MPI-SWS(马克斯·普朗克软件系统研究所);ETH Zurich(苏黎世联邦理工学院)
逆强化学习(IRL)使智能体能够通过观察(接近)最优策略的演示来学习复杂的行为。典型的假设是,学习者的目标是匹配教师的示范行为。在本文中,我们考虑的设置,学习者有自己的喜好,它另外考虑。例如,这些偏好可以捕获行为偏见,不匹配的世界观或物理约束。我们研究了两种教学方法:学习者不可知的教学,其中教师提供示范,从一个最佳的政策,忽略学习者的喜好,和学习者意识到的教学,其中教师占学习者的喜好。我们设计的学习者意识的教学算法,并表明显着的性能改善,可以实现学习者不可知的教学。
2019-10-29 cs.AI cs.LG stat.ML
Multi-task Maximum Entropy Inverse Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校)
多任务逆强化学习(IRL)是从专家论证中推断多个奖励函数的问题。以前的工作,建立在贝叶斯IRL,是无法扩展到复杂的环境中,由于计算的限制。本文在计算效率更高的最大因果熵(MCE)IRL框架下,提出了一种多任务IRL模型。实验表明,我们的方法可以执行一次性的模仿学习在网格世界环境中,单任务IRL算法需要数百个演示来解决。我们概述了初步工作,使用元学习扩展我们的方法,现代MCE IRL算法的函数逼近器设置。评估常见的模拟机器人基准的多任务变体,我们发现这些IRL算法的严重局限性,并得出结论,为进一步的工作提出建议。
2018-07-15 cs.AI cs.LG stat.ML
Rank-1 Approximation of Inverse Fisher for Natural Policy Gradients in Deep Reinforcement Learning
The University of Manchester(曼彻斯特大学);Aalto University(阿alto大学)
本文提出一种基于秩1近似的高效自然策略优化方法,通过理论证明其在收敛速度和样本复杂度上的优势,并在多种环境中验证了其优越性能。
2026-02-11 cs.AI cs.LG stat.ML
Inverse Concave-Utility Reinforcement Learning is Inverse Game Theory
Delft University of Technology(代尔夫特理工大学);University of Amsterdam(阿姆斯特丹大学)
针对凹效用强化学习CURL使经典Bellman方程失效、标准IRL理论不再适用的问题,论文利用CURL与平均场博弈的等价性,将I-CURL刻画为逆博弈论问题并重新定义可行奖励。
2024-08-01 cs.AI cs.GT cs.LG
Supervised Fine-Tuning as Inverse Reinforcement Learning
University of Cambridge(剑桥大学)
本文质疑偏好数据集的有效性,提出用示范数据对齐LLM,借鉴逆强化学习与模仿学习构建序贯决策框架,分析多种散度最小化方法及监督微调的优劣。
2024-03-18 cs.AI cs.CL cs.LG
Inverse Reinforcement Learning with Missing Data
NUS School of Computing(新加坡国立大学计算学院);MIT(麻省理工学院)
我们考虑的问题,恢复专家的奖励函数与逆强化学习(IRL)时,有丢失/不完整的状态动作对或观察演示轨迹。这种丢失轨迹数据或信息的问题发生在许多情况下,例如,来自在道路网络上移动的车辆的GPS信号是间歇性的。在本文中,我们提出了一个易于处理的方法来直接计算对数似然演示轨迹不完整/缺失的数据。我们的算法是有效的,在处理大量的缺失段演示的轨迹,因为它执行的训练与不完整的数据,通过求解一系列的线性方程组的系统,这样的系统的数量来解决不依赖于缺失段的数量。对真实数据集的实证评估表明,我们的训练算法优于其他传统技术。
2019-11-16 cs.AI cs.LG stat.ML
Soft Policy Gradient Method for Maximum Entropy Deep Reinforcement Learning
Tsinghua University(清华大学)
最大熵深度强化学习(RL)方法已经在一系列具有挑战性的连续任务上得到了证明。然而,现有的方法要么在训练大型非策略数据时存在严重的不稳定性,要么无法扩展到具有非常高的状态和动作维度的任务,例如3D人形运动。另外,对于非最优软价值函数,期望Boltzmann策略集的最优性也不具有说服力。本文首先推导了基于熵正则化期望回报目标的软策略梯度。然后,将软策略梯度与软Bellman方程相结合,提出了一种无策略、无模型的最大熵深度强化学习算法--深度软策略梯度(DSPG)。为了确保稳定的学习,同时消除两个单独的批评软价值函数的需要,我们利用双采样方法,使软贝尔曼方程易于处理。实验结果表明,我们的方法在性能上优于off-policy先验方法。
2019-09-07 cs.AI cs.LG stat.ML
Dialogue Generation: From Imitation Learning to Inverse Reinforcement Learning
University of Amsterdam(阿姆斯特丹大学);Microsoft Research AI(微软人工智能研究院)
对抗性对话生成模型的性能依赖于由机器人产生的奖励信号的质量。来自一个差的应答器的奖励信号可能非常稀疏和不稳定,这可能导致生成器陷入局部最优或产生无意义的应答。为了缓解第一个问题,我们首先将最近提出的对抗性对话生成方法扩展到对抗性模仿学习解决方案。然后,在对抗逆强化学习的框架下,我们提出了一种新的对话生成奖励模型,可以为生成器训练提供更加准确和精确的奖励信号。我们在两个注释设置中使用自动度量和人工评估来评估所得到的模型的性能。我们的实验结果表明,我们的模型可以产生更多的高质量的响应,并实现更高的整体性能比国家的最先进的。
2018-12-09 cs.AI cs.CL cs.LG
Off-Policy Adversarial Inverse Reinforcement Learning
McGill University(麦吉尔大学)
对抗性模仿学习(AIL)是强化学习(RL)中的一类算法,它试图在不从环境中获取任何奖励的情况下模仿专家,并且不将专家行为直接提供给策略训练。相反,代理学习策略分布,最大限度地减少与对抗环境中专家行为的差异。对抗性逆强化学习(AIRL)利用AIL的思想,将奖励函数近似与学习策略相结合,并显示了IRL在迁移学习设置中的实用性。但是,实现迁移学习的奖励函数近似器在模仿任务中表现不佳。我们提出了一种非策略对抗逆强化学习(Off-policy-AIRL)算法,该算法在连续控制任务中具有样本有效性,并且与现有的AIL算法相比具有良好的模仿性能。对于相同的奖励函数逼近器,我们显示了学习我们的算法AIL的实用性,通过使用学习的奖励函数重新训练的政策在一个任务下的显着变化,专家演示是缺席。
2020-05-03 cs.AI cs.LG cs.RO
Trajectory Modeling via Random Utility Inverse Reinforcement Learning
Federal University of Ceará(塞阿拉联邦大学)
本文提出基于随机效用理论的逆强化学习方法,通过扩展状态和确定性最优策略假设对驾驶员轨迹建模,并证明最大熵逆强化学习为其特例,最后用巴西真实轨迹数据验证了贝叶斯推断。
2023-01-11 cs.AI cs.LG stat.ML
Is Inverse Reinforcement Learning Harder than Standard Reinforcement Learning? A Theoretical Perspective
University of Science and Technology of China(中国科学技术大学);Princeton University(普林斯顿大学);Salesforce AI Research(Salesforce AI研究院)
本文从理论视角研究逆强化学习(IRL),首次在原始离线和在线设置下实现了使用多项式样本和运行时间的高效IRL算法,通过适应悲观主义原则在更强指标下提供保证,并证明了样本复杂度的近似最优性及奖励向目标MDP的迁移能力。
2024-02-10 cs.AI cs.LG stat.ML
Distributed Optimization of Modular Production Systems using Model-based Reinforcement Learning with Inverse Models
South Westphalia University of Applied Sciences(南威斯特法伦应用科学大学);Hochschule Düsseldorf University of Applied Sciences(杜塞尔多夫应用科学大学)
本文提出一种基于逆模型的模型强化学习框架,用于模块化制造系统的分布式优化,通过分离执行与状态动力学,提升训练速度与性能,尤其在离策略算法中效果显著。
2026-09-11 cs.AI cs.LG cs.SY
Entropy Regularized Reinforcement Learning Using Large Deviation Theory
University of Massachusetts Boston(马萨诸塞大学波士顿分校);San Jose State University(圣何塞州立大学)
本文通过建立熵正则化强化学习与非平衡统计力学中稀有事件条件下马尔可夫过程的映射,利用大偏差理论在长时间极限下推导出最优策略和动力学的精确解析解,并提出了一个经模拟验证的新框架。
2023-04-10 cond-mat.stat-mech cs.AI cs.LG
Efficient Reinforcement Learning with Semantic and Token Entropy for LLM Reasoning
National Key Laboratory for Novel Software Technology, Nanjing University(新型软件技术国家实验室,南京大学);China Mobile NineVerse Artificial Intelligence Technology (Beijing) Co., Ltd.(中国移动九章人工智能技术(北京)有限公司);Institute of Artificial Intelligence, NineVerse, Beijing(九章人工智能研究院,北京)
本文提出基于语义和token熵的高效强化学习框架,通过优化数据组织和算法设计缓解熵崩溃,提升大语言模型的推理能力。
2026-01-16 cs.AI
Adversarial Imitation via Variational Inverse Reinforcement Learning
University of California San Diego(加利福尼亚大学圣地亚哥分校);Georgia Institute of Technology(佐治亚理工学院)
我们考虑一个问题,学习奖励和政策,从专家的例子未知的动态。我们提出的方法建立在生成对抗网络的框架上,并引入授权正则化最大熵逆强化学习来学习接近最优的奖励和策略。基于授权的正则化防止策略过度拟合专家演示,这有利地导致更一般化的行为,从而导致学习接近最优的奖励。我们的方法同时通过变分信息最大化以及对抗学习公式下的奖励和策略来学习授权。我们评估我们的方法在各种高维复杂的控制任务。我们还在具有挑战性的迁移学习问题中测试我们的学习回报,其中训练和测试环境在动态或结构方面彼此不同。结果表明,我们提出的方法不仅学习接近最优的奖励和政策,是匹配专家的行为,但也表现出显着优于最先进的逆强化学习算法。
2019-02-22 cs.AI cs.LG cs.RO
Examining Policy Entropy of Reinforcement Learning Agents for Personalization Tasks
Lirio LLC(Lirio有限责任公司);Lirio AI Research(Lirio人工智能研究院);Behavioral Reinforcement Learning Lab(行为强化学习实验室)
本研究考察强化学习系统在个性化环境中的行为,发现Policy Optimization智能体训练时易产生低熵策略,而Q-Learning智能体通常保持高熵策略,并通过数值实验与理论证明这种熵差异源于学习算法类型。
2024-04-27 cs.AI cs.LG cs.NA
Inverse Delayed Reinforcement Learning
Northwestern University(西北大学);University of Southampton(南安普顿大学)
针对受延迟扰动影响的专家轨迹,本文提出离策略对抗式 IRL 框架,从增强延迟观测中提取奖励特征并恢复最优策略,实验与理论均证明其优于直接使用延迟观测。
2024-12-04 cs.AI cs.LG cs.SY