Towards Interpretable Deep Reinforcement Learning Models via Inverse Reinforcement Learning
Dartmouth College(达特茅斯学院)
针对深度强化学习模型的黑箱问题,本文提出基于对抗逆强化学习的框架,通过总结决策过程为模型决策提供全局解释并揭示其直观倾向。
2024-03-01 cs.AI cs.LG
Multiagent-based Participatory Urban Simulation through Inverse Reinforcement Learning
University College London(伦敦大学学院)
基于多主体的参与式仿真在城市规划中具有突出的特点,因为获得的模型被认为是领域和局部知识的混合系统。然而,为特定的社会现象产生现实的代理人的关键问题始终存在。现有的模型试图规定涉及人类行为的因素,这似乎是棘手的。本文引入逆强化学习(IRL)来解决这个问题。IRL是为人类行为的计算建模而开发的,并在机器人学,心理学和机器学习方面取得了巨大的成功。这种新风格的建模所提出的可能性得出的结论,并强调了这种建模的相对挑战。
2017-12-21 cs.AI cs.MA
A Hierarchical Bayesian Approach to Inverse Reinforcement Learning with Symbolic Reward Machines
Boston University(波士顿大学)
在强化学习(RL)问题中,错误的奖励会降低样本效率并导致不期望的行为。我们提出了符号奖励机,将高层次的任务知识时,指定的奖励信号。符号奖励机通过允许转换携带谓词和符号奖励输出来增强现有的奖励机形式。这种形式主义很适合逆强化学习,其中的关键挑战是从一些专家演示中确定符号值的适当分配。我们提出了一个层次贝叶斯方法推断最有可能的任务,使具体化的奖励机可以区分专家演示的轨迹,从其他轨迹具有高精度。实验结果表明,学习奖励机可以显着提高复杂RL任务的训练效率,并在不同的任务环境配置之间具有很好的泛化能力。
2022-04-20 cs.AI cs.LG
Combining Reinforcement Learning and Inverse Reinforcement Learning for Asset Allocation Recommendations
AI Center of Excellence for Asset Management, Fidelity Investments(富达投资资产管理人工智能卓越中心)
我们提出了一种简单实用的方法,将人类和人工智能结合起来,学习基金经理的最佳投资实践,并提供改进建议。我们的方法是基于逆强化学习(IRL)和RL的组合。首先,IRL组件根据基金经理的交易历史来学习他们的意图,并恢复他们的隐含奖励函数。在第二步,直接RL算法使用该奖励函数来优化资产分配决策。我们表明,我们的方法是能够提高个人基金经理的业绩。
2022-01-06 cs.AI cs.LG q-fin.CP
Evaluating the Perceived Safety of Urban City via Maximum Entropy Deep Inverse Reinforcement Learning
Sichuan University(四川大学)
受城市感知专家评价策略的启发,提出了一种基于逆强化学习(IRL)的城市安全预测框架,并给出了相应的奖励函数.我们还提出了一种可扩展的状态表示方法,将预测问题建模为马尔可夫决策过程(MDP),并使用强化学习(RL)来解决问题。此外,我们基于众包方法建立了一个名为SmallCity的数据集来进行研究。据我们所知,这是首次将IRL方法引入城市安全感知和规划领域,帮助专家定量分析感知特征。我们的研究结果表明,IRL在这一领域有着广阔的前景。我们稍后将开放众包数据汇集网站和本文提出的模型。
2022-11-27 cs.AI cs.LG
Environment Design for Inverse Reinforcement Learning
The Alan Turing Institute(图灵研究所);Université de Neuchâtel(纳沙泰尔大学)
针对逆强化学习样本效率低、难适应环境动力学微小变化的问题,提出自适应环境设计框架,通过学习者主动选择环境与专家交互,在精确和近似推理下均提升了样本效率与鲁棒性。
2024-05-14 cs.AI cs.LG
Sample Efficient Social Navigation Using Inverse Reinforcement Learning
McGill University(麦吉尔大学);Samsung Electronics(三星电子)
在本文中,我们提出了一种算法,有效地学习社会兼容的导航政策,从人类轨迹的观察。随着移动机器人进入社交空间,它们必须考虑社交线索,并以符合社交的方式行事。我们专注于从例子中学习这些线索。我们描述了一种基于逆强化学习的算法,该算法从人类轨迹观察中学习,而不知道他们的具体行动。我们通过利用重放缓冲区的概念(在许多非策略强化学习方法中发现)来消除与逆强化学习相关的额外样本复杂性,从而提高了我们方法的样本效率。我们评估我们的方法通过训练代理使用公开的行人运动数据集,并将其与相关方法进行比较。我们表明,我们的方法产生更好的性能,同时也降低了训练时间和样本的复杂性。
2021-06-18 cs.AI cs.LG cs.RO
Inverse-Inverse Reinforcement Learning. How to Hide Strategy from an Adversarial Inverse Reinforcement Learner
Cornell University(康奈尔大学);Lockheed Martin Advanced Technology Laboratories(洛克希德·马丁先进技术实验室)
逆强化学习(IRL)处理从代理的动作估计代理的效用函数。在本文中,我们考虑代理如何隐藏其策略并减轻对抗性IRL攻击;我们称之为逆IRL(I-IRL)。决策者应该如何选择其响应,以确保其战略的一个不良重建的对手执行IRL估计代理的战略?本文包括四个结果:第一,我们提出了一个对抗IRL算法,估计代理的策略,同时控制代理的效用函数。我们的I-IRL结果的第二个结果欺骗了对手使用的IRL算法。我们的I-IRL结果是基于微观经济学中的显示偏好理论。关键思想是代理人故意选择次优响应,充分掩盖其真实策略。第三,我们给出了一个样本的复杂性结果,我们的主要I-IRL的结果时,代理人有噪声估计的对手指定的效用函数。最后,我们说明了我们的I-IRL计划在雷达问题中的元认知雷达试图减轻敌对目标。
2022-05-22 cs.LG eess.SP
Demonstration Guided Multi-Objective Reinforcement Learning
University of Galway(高威大学)
针对多目标强化学习中偏好多样且策略从零训练困难的问题,提出 DG-MORL,利用示范、角点权重对齐和自进化机制提升性能,并证明其优势及样本复杂度上界。
2024-04-05 cs.AI cs.LG
Inverse-RLignment: Large Language Model Alignment from Demonstrations through Inverse Reinforcement Learning
Department of Applied Mathematics and Theoretical Physics, University of Cambridge, UK(剑桥大学应用数学与理论物理系)
针对现有LLM对齐方法面临的标签噪声和高成本问题,提出基于逆向强化学习的从示范中对齐(AfD)方法,通过散度最小化目标与高效算法,在多项任务上实现了优异的实证性能。
2025-01-25 cs.AI cs.LG
Learning Robust Rewards with Adversarial Inverse Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校)
强化学习为决策和控制提供了一个强大而通用的框架,但其在实践中的应用往往受到广泛特征和奖励工程需求的阻碍。深度强化学习方法可以消除对策略或值特征的显式工程的需要,但仍然需要手动指定的奖励函数。逆强化学习有望实现自动奖励获取,但已被证明非常难以应用于具有未知动态的大型高维问题。在这项工作中,我们提出了adverserial逆强化学习(AIRL),一个实用的和可扩展的逆强化学习算法的基础上的对抗奖励学习制定。我们证明了AIRL能够恢复对动态变化具有鲁棒性的奖励函数,即使在训练过程中看到的环境发生重大变化的情况下,我们也能够学习策略。我们的实验表明,AIRL大大优于以前的方法,在这些传输设置。
2018-08-13 cs.LG
Neuroevolution-Based Inverse Reinforcement Learning
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
示教学习问题的目标是根据观察到的示例学习执行任务。示教学习的一种方法是反向强化学习,其中观察行为以推断奖励。这项工作结合了基于特征的状态评估方法,逆强化学习与神经进化,一个范例,修改神经网络的基础上,他们在一个给定的任务上的性能。神经网络用于从演示的专家策略中学习,并进化以生成与演示类似的策略。该算法进行了讨论,并对基于竞争特征的逆强化学习方法进行了评估。以执行时间为代价,神经网络允许状态评估中的特征的非线性组合。这些估值可以对应于州价值或州奖励。与使用线性组合相比,这导致更好地对应于观察到的示例。这项工作还扩展了现有的工作贝叶斯非参数特征构造逆强化学习通过使用非线性组合的中间数据,以提高性能。观察到该算法特别适合于线性可解的非确定性马尔可夫决策过程,其中多个奖励在状态空间中稀疏分散。评估算法之间的一个结论性的性能层次结构。
2016-08-09 cs.AI cs.LG cs.NE
Receding Horizon Inverse Reinforcement Learning
National University of Singapore(新加坡国立大学)
逆强化学习(IRL)试图推断一个成本函数,解释专家演示的潜在目标和偏好。本文提出了滚动时域逆强化学习(RHIRL),一个新的IRL算法的高维,噪声,连续系统的黑箱动态模型。RHIRL解决了IRL的两个关键挑战:可伸缩性和健壮性。为了处理高维连续系统,RHIRL匹配诱导的最佳轨迹与专家演示本地在一个滚动的地平线的方式和“缝合”的本地解决方案一起学习的成本,从而避免了“维数灾难”。这与早期的算法形成鲜明对比,早期的算法在整个高维状态空间中与专家演示全局匹配。为了对不完美的专家论证和控制噪声具有鲁棒性,RHIRL在温和的条件下学习了一个从系统动力学中“解脱”出来的状态相关成本函数。基准任务的实验表明,RHIRL在大多数情况下优于几个领先的IRL算法。我们还证明了RHIRL的累积误差与任务持续时间线性增长。
2022-10-17 cs.AI cs.LG
Stochastic Inverse Reinforcement Learning
Nanyang Technological University(南洋理工大学)
逆强化学习(IRL)问题的目标是从专家演示中恢复奖励函数。然而,IRL问题像任何不适定的反问题一样,具有先天的缺陷,即策略可能对许多奖励函数是最优的,并且专家论证可能对许多策略是最优的。在这项工作中,我们将IRL问题推广到一个适定的期望优化问题随机逆强化学习(SIRL),以恢复奖励函数的概率分布。我们采用蒙特卡罗期望最大化(MCEM)方法估计的概率分布的参数作为第一个解决方案的SIRL问题。该解决方案是简洁的,强大的,可转移的学习任务,并可以生成替代解决方案的IRL问题。通过我们的公式,可以从全局的角度观察IRL问题的内在属性,并且我们的方法在对象世界上实现了相当大的性能。
2022-09-23 cs.AI cs.LG stat.ML
Inverse Reinforcement Learning With Constraint Recovery
Indian Institute of Technology Delhi(印度理工学院德里分校)
针对CMDP问题提出IRL-CR算法,利用最大熵原理将同时推断奖励函数与约束的问题转化为交替约束优化问题,并用指数梯度下降求解,在网格世界环境中验证了有效性。
2023-05-14 cs.AI cs.LG
Computably Continuous Reinforcement-Learning Objectives are PAC-learnable
MIT(麻省理工学院);Brown University(布朗大学)
该研究通过证明一致连续和可计算目标分别在样本与计算复杂度下是PAC可学习的,解决了非经典强化学习目标的PAC可学习性开放问题,并验证了三个文献目标,指导了新目标的设计。
2023-03-19 cs.AI cs.LG
Multiscale Inverse Reinforcement Learning using Diffusion Wavelets
KAIST(韩国科学技术院)
提出了一种多尺度框架来解决连续时间/状态随机系统的逆强化学习问题。我们利用相关的马尔可夫链的扩散小波表示抽象的状态空间。这不仅允许有效地处理大的(和几何复杂的)决策空间,但也提供了更多的可解释的表示演示状态轨迹,也由此产生的政策的IRL。在该框架中,问题被分为全局和局部IRL,其中最优价值函数的全局近似使用粗特征获得,局部细节使用细局部特征量化。一个复杂环境下机器人路径控制的数值例子验证了所提出的方法。
2016-11-24 cs.AI cs.LG
The Max-Min Formulation of Multi-Objective Reinforcement Learning: From Theory to a Model-Free Algorithm
School of Electical Engineering, Korea Advanced Institute of Science & Technology(韩国科学技术院电气工程学院);Faculty of Engineering, Bar-Ilan University(巴伊兰大学工程学院)
本文针对多目标强化学习提出最大-最小框架以保障多目标间的公平性,并给出相关理论及一种无模型算法,实验表明其性能显著优于现有基线方法。
2024-06-12 cs.AI cs.LG
Multi-Objective Reinforcement Learning for Water Management
Delft University of Technology(代尔夫特理工大学);Utrecht University(乌特勒支大学)
本文提出利用多目标强化学习解决尼罗河流域水资源管理问题,发现专门方法在实际应用中优于现有MORL算法,揭示了其在现实场景中的可扩展性问题。
2025-11-21 cs.AI cs.LG
Demonstration-efficient Inverse Reinforcement Learning in Procedurally Generated Environments
Università degli Studi di Firenze(佛罗伦萨大学);University of Cambridge(剑桥大学)
深度强化学习在可以手动设计奖励函数的领域中取得了非常好的效果。与此同时,社区内越来越有兴趣使用基于程序内容生成(PCG)的游戏作为基准环境,因为这种类型的环境非常适合研究域转移下代理的过拟合和泛化。相反,反向强化学习(IRL)可以从专家演示中推断出奖励函数,即使在高维问题上也有很好的结果,但是没有将这些技术应用于过程生成环境的例子。这主要是由于找到一个好的奖励模型所需的演示数量。我们提出了一种基于对抗逆强化学习的技术,可以显着减少PCG游戏中对专家演示的需求。通过使用一组有限的初始种子水平的环境,加上一些修改来稳定训练,我们证明了我们的方法DE-AIRL是演示有效的,并且仍然能够外推推广到全过程域的奖励函数。我们证明了我们的技术在两个程序环境,MiniGrid和DeepCrawl,各种任务的有效性。
2020-12-04 cs.AI cs.LG
Flexible Multiple-Objective Reinforcement Learning for Chip Placement
MediaTek Research(联发科研究院);MediaTek Inc.(联发科公司);National Taiwan University(台湾大学);Maxeda Technology Inc.(Maxeda科技公司)
最近,强化学习在芯片布局中的成功应用已经出现。预训练的模型对于提高效率和有效性是必要的。目前,客观指标的权重(例如,线长、拥塞和定时)在预训练期间是固定的。然而,固定权重的模型不能产生工程师所需的布局的多样性,以适应不断变化的要求,因为它们出现。本文提出了灵活的多目标强化学习(MORL),支持目标函数的推理时间可变的权重,使用一个单一的预训练模型。我们的宏观布局结果表明,MORL可以有效地产生多个目标的帕累托前沿。
2022-04-13 cs.AI cs.LG
Distributionally Robust Inverse Reinforcement Learning for Identifying Multi-Agent Coordinated Sensing
Cornell University(康奈尔大学)
本文提出一种极小极大分布鲁棒逆强化学习算法,通过在Wasserstein模糊集上最小化最坏预测误差来重构多智能体感知系统的效用函数,并证明了其与半无限优化的等价性且在认知雷达网络实验中验证了有效性。
2024-09-22 cs.LG cs.MA eess.SP
Inverse Reinforcement Learning by Estimating Expertise of Demonstrators
University of California, Santa Barbara(加州大学圣巴巴拉分校)
针对模仿学习中次优异构演示数据利用难的问题,提出无需演示者专业度先验的IRLEED框架,结合次优性模型与最大熵IRL改进算法,经多场景实验验证其适应性与有效性。
2024-12-13 cs.AI cs.LG
Multi-Objective Reinforcement Learning with Max-Min Criterion: A Game-Theoretic Approach
本文提出基于最大最小准则的多目标强化学习框架,通过博弈论重述和镜像下降算法实现全局收敛,并显著超越基线。
2025-10-23 cs.AI cs.LG
Interaction-limited Inverse Reinforcement Learning
Idiap Research Institute(伊迪亚普研究所);EPFL(洛桑联邦理工学院)
本文提出了一种逆强化学习(IRL)框架,当学习者-教师\textit{interaction}在训练过程中是\textit{limited}时,该框架可以加速学习。我们的设置是由现实的情况下,一个有用的老师是不可用的,或者当老师无法访问学生的学习动态的动机。我们提出了两种不同的培训策略:课程逆强化学习(CIRL)涵盖教师的角度,和自定进度逆强化学习(SPIRL)侧重于学习者的角度。使用模拟实验和实验与一个真正的机器人学习的任务,从一个人的演示,我们表明,我们的训练策略可以允许更快的训练比随机教师CIRL比一批学习者SPIRL。
2020-07-01 cs.LG stat.ML
Multi-agent Inverse Reinforcement Learning for Two-person Zero-sum Games
University of Virginia(弗吉尼亚大学);IBM Research(IBM研究院)
本文的重点是贝叶斯框架解决一类问题称为多智能体逆强化学习(MIRL)。与著名的逆强化学习(IRL)问题相比,MIRL是在随机博弈的背景下形式化的,它将马尔可夫决策过程推广到博弈论场景。我们建立了一个理论基础竞争的两个代理零和MIRL问题,并提出了一个贝叶斯解决方案的方法,其中生成模型是基于一个假设,即两个代理遵循极大极小双政策。数值结果比较贝叶斯MIRL方法与现有的两种方法的背景下,一个抽象的足球比赛。研究集中在先验信息的程度和学习奖励的质量之间的关系。结果表明,协方差结构比平均值更重要的奖励先验。
2019-07-30 cs.AI cs.GT cs.LG
Inverse Reinforcement Learning from Non-Stationary Learning Agents
Duke University(杜克大学);US Air Force(美国空军);AFRL Division(空军研究实验室分部)
本文针对学习智能体在非平稳学习过程中的奖励函数估计问题,提出基于 bundle behavior cloning 的逆向强化学习方法,利用少量轨迹克隆策略并训练神经网络估计奖励,理论分析和实验验证了其优于标准行为克隆。
2024-10-18 cs.AI cs.LG
Utility-Based Reinforcement Learning: Unifying Single-objective and Multi-objective Reinforcement Learning
Federation University Australia(澳大利亚联邦大学);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室);University of Galway(高威大学);Deakin University(迪肯大学);Linköping University(林雪平大学);Universidade do Vale do Rio dos Sinos(南里约 dos Sinos大学);Vrije Universiteit Brussel(布鲁塞尔自由大学)
本文提出将基于效用的范式从多目标强化学习扩展到单目标强化学习,以统一两者,并探讨其在多策略学习、风险感知、折扣和安全强化学习中的潜在益处及算法影响。
2024-02-05 cs.LG
Recursive Deep Inverse Reinforcement Learning
Boston Dynamics AI Institute(波士顿动力AI研究院)
针对现有深度逆强化学习方法多为离线、收敛慢难适配实时场景的问题,提出基于序列二阶牛顿更新的在线递归深度逆强化学习方法,可快速还原对手代价函数,在基准任务上表现优于多种主流算法。
2026-07-27 cs.AI cs.LG
Deep Inverse Reinforcement Learning for Structural Evolution of Small Molecules
化学库到药物发现管道的大小和质量对于开发新药或重新利用现有药物至关重要。现有的技术,如组合有机合成和高通量筛选通常使过程异常艰难和复杂,因为合成可行的药物的搜索空间是非常巨大的。虽然强化学习在文献中主要用于生成新化合物,但在某些复杂领域,设计简洁地表示学习目标的奖励函数的要求可能令人生畏。基于生成对抗网络的方法在训练后大多会丢弃训练集,并且可能很难训练。在这项研究中,我们提出了一个框架,用于训练一个复合发电机和学习一个可转移的奖励函数的基础上熵最大化逆强化学习范式。我们从实验中表明,逆强化学习路线提供了一个合理的替代方案,用于在奖励函数工程可能不太吸引人或不可能的领域中生成化合物,而表现出所需目标的数据很容易获得。
2020-10-01 cs.AI cs.LG q-bio.BM
Preference elicitation and inverse reinforcement learning
Frankfurt Institute for Advanced Studies(法兰克福高等研究院);EPFL(洛桑联邦理工学院)
我们陈述了逆强化学习在偏好诱导方面的问题,从而得到了一个原则性的(贝叶斯)统计公式。这概括了以前的工作贝叶斯逆强化学习,并允许我们获得一个后验分布代理的偏好,政策和可选的,获得的奖励序列,从观察。通过分析和实验结果,我们研究了所得方法与其他统计方法的关系。我们表明,偏好可以准确地确定,即使所观察到的代理的政策是次优相对于自己的喜好。在这种情况下,显着改善的政策,相对于代理的喜好,获得相比,其他方法和表现的政策。
2011-06-29 cs.LG stat.ML
Multi-Objective Deep Reinforcement Learning
University of Oxford(牛津大学)
我们提出了深度乐观线性支持学习(DOL)来解决高维多目标决策问题,其中目标的相对重要性事先未知。使用来自高维输入的特征,DOL计算包含目标的凸组合的所有潜在最优解的凸覆盖集。据我们所知,这是深度强化学习首次成功学习多目标策略。此外,我们还提供了一个测试平台,其中包含两个实验,可用作深度多目标强化学习的基准。
2016-10-09 cs.AI
Scalable Multi-Agent Inverse Reinforcement Learning via Actor-Attention-Critic
Mila, Quebec AI Institute(米拉-魁北克人工智能研究所);McGill University(麦吉尔大学)
多智能体对抗性逆强化学习(MA-AIRL)是一种最新的方法,它将单智能体AIRL应用于多智能体问题,我们寻求为我们的智能体恢复策略和奖励功能,以促进专家般的行为。虽然MA-AIRL在合作和竞争任务上有很好的效果,但它的样本效率很低,而且只在少量代理中进行了经验验证-它扩展到许多代理的能力仍然是一个悬而未决的问题。我们提出了一个多智能体逆RL算法,是更采样效率和可扩展性比以前的作品。具体来说,我们采用多智能体演员-注意-评论家(MAAC)-一个关闭政策的多智能体RL(MARL)方法-的RL内循环的逆RL过程。通过这样做,与最先进的基线相比,我们能够在小型和大型任务中提高样本效率。此外,在通过我们的方法恢复的奖励上训练的RL代理比在从基线获得的奖励上训练的RL代理更好地匹配专家。最后,我们的方法需要更少的代理环境的相互作用,特别是随着代理的数量增加。
2020-02-24 cs.LG cs.MA
TREX: Trajectory Explanations for Multi-Objective Reinforcement Learning
Trinity College Dublin(都柏林三一学院)
TREX通过轨迹归因框架为多目标强化学习策略提供解释,通过生成不同用户偏好下的轨迹并划分语义段,量化行为段对帕累托权衡的影响,实验验证了其在MuJoCo多目标环境中的有效性。
2026-03-23 cs.AI cs.LG
Safe and Balanced: A Framework for Constrained Multi-Objective Reinforcement Learning
Technical University of Munich(慕尼黑工业大学);Virginia Tech(弗吉尼亚理工大学);UC Berkeley(加州大学伯克利分校);Microsoft Research Asia(微软亚洲研究院)
针对安全关键系统中多目标与严格约束的平衡难题,提出基于原始框架的自然策略梯度操控方法,具备理论保证并在安全多目标任务上超越现有方法。
2024-05-26 cs.AI cs.LG
A Robust Policy Bootstrapping Algorithm for Multi-objective Reinforcement Learning in Non-stationary Environments
University of New South Wales(新南威尔士大学)
针对多目标强化学习难以适应非平稳环境的问题,本文提出在线探索偏好空间并鲁棒演化凸策略覆盖集的自举算法,在非平稳环境中显著优于现有方法。
2023-08-18 cs.AI cs.LG cs.RO
Designing a Multi-Objective Reward Function for Creating Teams of Robotic Bodyguards Using Deep Reinforcement Learning
University of Central Florida(中佛罗里达大学)
我们正在考虑一个场景,一组保镖机器人在拥挤的公共空间为VIP提供物理保护。我们使用深度强化学习来学习机器人要遵循的策略。由于机器人保镖需要遵循几个难以协调的目标,我们研究了几个原始和复合奖励函数及其对机器人保镖的整体行为的影响。
2019-01-28 cs.LG cs.MA
PsiPhi-Learning: Reinforcement Learning with Demonstrations using Successor Features and Inverse Temporal Difference Learning
University of Oxford(牛津大学);University of California, Berkeley(加州大学伯克利分校);Google Research(谷歌研究院);DeepMind(深度思维)
我们研究了强化学习(RL)与无奖励演示,在这种设置中,RL代理可以从其他代理与相同环境的交互中获得额外的数据。然而,它无法获得这些代理人的奖励或目标,他们的目标和专业知识水平可能差异很大。这些假设在多智能体环境中很常见,例如自动驾驶。为了有效地使用这些数据,我们转向后继特征的框架。这使我们能够将环境的共享特征和动态与特定于代理的奖励和政策分开。我们提出了一个多任务逆强化学习(IRL)算法,称为\emph{inverse temporal difference learning}(ITD),学习共享的状态特征,以及每个代理的后继特征和偏好向量,纯粹从没有奖励标签的演示。我们进一步展示了如何将ITD与在线环境交互的学习无缝集成,并通过演示实现了一种新的强化学习算法,称为$ΨΦ$ -学习(发音为“Sci-Fi”)。我们提供的$ΨΦ$学习的有效性的实证证据,作为一种方法,提高RL,IRL,模仿,和Few-Shot转移,并推导出最坏情况下的界限,其性能在zero-shot转移到新的任务。
2021-06-10 cs.AI cs.LG
On the Correctness and Sample Complexity of Inverse Reinforcement Learning
Purdue University(普渡大学)
逆强化学习(IRL)是寻找一个奖励函数的问题,该函数为给定的马尔可夫决策过程生成给定的最优策略。本文着眼于一个算法独立的几何分析的IRL问题的有限状态和行动。一个L1-正则化的支持向量机制定的IRL问题的几何分析的动机,然后提出了考虑到逆强化问题的基本目标:找到一个奖励函数,产生一个指定的最优策略。本文进一步分析了所提出的具有$n$状态和$k$动作的逆强化学习的公式,并显示了$O(n^2 \log (nk))$的样本复杂度,用于恢复生成满足关于真实转移概率的Bellman最优性条件的策略的奖励函数。
2019-06-02 cs.LG stat.ML
Multi-class Generalized Binary Search for Active Inverse Reinforcement Learning
INESC-ID/Instituto Superior Técnico(INESC-ID/高等技术学院);INRIA Bordeaux Sud-Ouest(法国国立信息与自动化研究院波尔多西南分院)
本文讨论了从演示中学习任务的问题。我们采用逆强化学习的框架,其中任务以奖励函数的形式表示。我们的贡献是一种新的主动学习算法,使学习代理查询专家提供更多的信息演示,从而导致更多的样本有效的学习。对于这种新算法(广义二进制搜索逆强化学习,或GBS-IRL),我们提供了一个理论上的样本复杂度的界限,并说明其适用于几个不同的任务。据我们所知,GBS-IRL是第一个主动IRL算法与可证明的样本复杂度界。我们还讨论了我们的方法,在文献中的其他现有的方法和它的一般适用性,在多类分类问题。最后,由最近的工作在机器人的示教学习的动机,我们还讨论了如何不同形式的人类反馈可以集成在我们的学习框架中的一个透明的方式。
2013-01-23 cs.AI cs.LG stat.ML
Multi-objective Reinforcement Learning: A Tool for Pluralistic Alignment
Institute of Innovation, Science and Sustainability(创新、科学与可持续发展研究所);Federation University Australia(澳大利亚联邦大学);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室);School of IT(信息技术学院);Deakin University(迪肯大学)
本文探讨了多目标强化学习(MORL)作为解决多冲突价值观或利益相关者对齐问题的工具,概述其在创建多元对齐AI系统中的作用。
2024-10-15 cs.AI cs.LG
Inverse Reinforcement Learning with Natural Language Goals
Amazon Alexa(亚马逊Alexa)
人类通常使用自然语言来相互传达任务要求。理想情况下,自然语言也应该可用于向自主机器传达目标(例如,机器人),以最大限度地减少任务规范中的摩擦。然而,理解和映射自然语言目标的状态和动作序列是具有挑战性的。具体地说,现有的工作沿着这些路线遇到了困难,在推广学习的政策,以新的自然语言的目标和环境。在本文中,我们提出了一种新的对抗逆强化学习算法来学习语言条件的政策和奖励函数。为了提高学习策略和奖励函数的泛化能力,我们使用变分目标生成器在训练过程中重新标记轨迹并对不同的目标进行采样。我们的算法在基于视觉的自然语言指令遵循数据集(Room-2-Room)上的性能大大优于多个基线,这表明在指定代理目标时使用自然语言指令是一个很有前途的进步。
2020-12-16 cs.AI cs.LG
A Function Approximation Method for Model-based High-Dimensional Inverse Reinforcement Learning
California Institute of Technology(加州理工学院)
该工作处理高维状态空间中的逆强化学习问题,其依赖于基于模型的高维强化学习问题的有效解决方案。为了解决计算量大的强化学习问题,我们提出了一种函数逼近方法来确保Bellman最优性方程始终成立,然后根据观察到的人类行为来估计逆强化学习问题的函数。该方法的时间复杂度与动作集的基数成线性关系,因此可以有效地处理高维甚至连续的状态空间。我们在模拟环境中测试了所提出的方法,以显示其准确性,以及三个临床任务,以显示它如何用于评估医生的熟练程度。
2017-08-23 cs.LG cs.RO
Using Logical Specifications of Objectives in Multi-Objective Reinforcement Learning
Brigham Young University(杨百翰大学);University of Southern California(南加利福尼亚大学)
众所周知,控制强化学习代理的行为非常困难。智能体经常学会利用环境或奖励信号,需要多次重新训练。多目标强化学习(MORL)框架将奖励函数分成多个目标。一个理想的MORL代理学习推广到新的目标组合,允许更好地控制代理的行为,而不需要重新训练。许多MORL方法使用权重向量来参数化每个目标的重要性。然而,这种方法缺乏表达性和可解释性。我们建议使用命题逻辑来指定多个目标的重要性。通过使用谓词直接对应于目标的逻辑,规范本质上更易于解释。另外,可以用形式语言表示的规范集是可以用权重向量表示的规范集的超集。本文定义了一种基于命题逻辑的具有定量语义的形式语言。我们使用递归神经网络对逻辑规范进行编码,并表明通过这些编码参数化的MORL代理能够概括为目标上的新规范,并实现与单目标基线相当的性能。
2021-09-05 cs.AI cs.LG stat.ML
A Practical Guide to Multi-Objective Reinforcement Learning and Planning
National University of Ireland Galway(爱尔兰国立高威大学);Vrije Universiteit Brussel(布鲁塞尔自由大学);Linköping University(林雪平大学);University of Amsterdam(阿姆斯特丹大学);University of Oxford(牛津大学);Deakin University(迪肯大学);University of Washington(华盛顿大学);Universidade do Vale do Rio dos Sinos(南里奥格兰德河谷大学);Politecnico di Milano(米兰理工大学);Federation University Australia(澳大利亚联邦大学)
现实世界的决策任务通常是复杂的,需要在多个往往相互冲突的目标之间进行权衡。尽管如此,大多数强化学习和决策理论规划的研究要么假设只有一个目标,要么假设多个目标可以通过简单的线性组合来充分处理。这种方法可能会过度简化潜在的问题,从而产生次优的结果。本文作为多目标方法应用于困难问题的指南,针对那些已经熟悉单目标强化学习和规划方法的研究人员,他们希望在研究中采用多目标视角,以及在实践中遇到多目标决策问题的从业者。它确定了可能影响所需解决方案的性质的因素,并举例说明这些因素如何影响复杂问题的多目标决策系统的设计。
2021-03-17 cs.AI cs.LG
Deep Adaptive Multi-Intention Inverse Reinforcement Learning
Eindhoven University of Technology(埃因霍温理工大学)
提出了一种深度逆强化学习(IRL)框架,该框架可以从未标记专家的演示中学习先验未知数量的非线性奖励函数。为此,我们使用狄利克雷过程的工具,并提出一种自适应方法来同时考虑复杂且未知数量的奖励函数。使用条件最大熵原理,我们将专家的多意图行为建模为潜在意图分布的混合,并推导出两种算法来估计深度奖励网络的参数以及来自未标记演示的专家意图的数量。所提出的算法进行评估的三个基准,其中两个已专门扩展在本研究中的多意图IRL,并与众所周知的基线。我们通过几个实验证明了我们的算法的优势,现有的方法和在线推断的好处,而不是事先固定,专家的意图的数量。
2021-07-14 cs.AI cs.LG
Provable Multi-Objective Reinforcement Learning with Generative Models
University of California, Los Angeles(加州大学洛杉矶分校);J. P. Morgan AI Research(摩根大通人工智能研究院)
多目标强化学习(MORL)是普通的单目标强化学习(RL)的扩展,适用于许多现实世界中存在多个目标而没有已知相对成本的任务。我们研究了单策略MORL问题,它学习目标偏好的最优策略。现有的方法需要强的假设,如多目标马尔可夫决策过程的确切知识,并在无限的数据和时间的限制进行分析。我们提出了一种新的算法称为基于模型的包络值迭代(EVI),它推广了杨等人的包络多目标$Q$ -学习算法,2019.我们的方法可以学习一个接近最优的价值函数多项式的样本复杂度和线性收敛速度。据我们所知,这是第一个有限样本分析MORL算法。
2021-01-11 cs.AI cs.LG math.OC
OPIRL: Sample Efficient Off-Policy Inverse Reinforcement Learning via Distribution Matching
Tokyo Institute of Technology(东京工业大学);Mitsubishi Electric Corporation(三菱电机株式会社)
逆强化学习(IRL)在奖励工程可能很乏味的情况下很有吸引力。然而,先前的IRL算法使用策略上的转换,这需要从当前策略进行密集采样以获得稳定和最佳性能。这限制了现实世界中的IRL应用程序,其中环境交互可能变得非常昂贵。为了解决这个问题,我们提出了Off-Policy Inverse强化学习(OPIRL),它(1)采用off-policy数据分布而不是on-policy,并能够显着减少与环境的交互次数,(2)学习一个固定的奖励函数,该函数在动态变化时具有高度的泛化能力,(3)利用模式覆盖行为实现更快的收敛。我们证明了我们的方法是相当多的样本效率和推广到新的环境通过实验。我们的方法在政策性能基线上实现了更好或可比的结果,并且交互明显减少。此外,我们的经验表明,恢复的奖励函数一般化到不同的任务,现有技术容易失败。
2022-05-22 cs.AI cs.LG cs.RO
A Multi-Objective Deep Reinforcement Learning Framework
School of Information Technology, Deakin University(迪肯大学信息技术学院);Institute for Intelligent Systems Research and Innovation, Deakin University(迪肯大学智能系统研究与创新学院);School of Science, Engineering and Information Technology, Federation University(联邦大学科学、工程与信息技术学院)
提出了一种基于深度Q网络的可扩展多目标深度强化学习(MODRL)框架。我们开发了一个高性能的MODRL框架,支持单策略和多策略策略,以及线性和非线性的方法来选择动作。两个基准问题(两目标深海宝藏环境和三目标山地车问题)的实验结果表明,该框架能够有效地找到Pareto最优解。所提出的框架是通用的和高度模块化的,它允许在不同的复杂问题域中集成不同的深度强化学习算法。因此,这克服了当前文献中涉及标准多目标强化学习方法的许多缺点。所提出的框架作为一个试验平台,加速MODRL的发展,解决日益复杂的多目标问题。
2020-06-19 cs.AI cs.LG stat.ML
Efficient Probabilistic Performance Bounds for Inverse Reinforcement Learning
University of Texas at Austin(德克萨斯大学奥斯汀分校)
在强化学习领域,最近在策略性能的安全性和高置信度界限方面取得了进展。然而,据我们所知,没有实际的方法存在确定高置信度的政策性能界限的逆强化学习设置-其中真正的奖励函数是未知的,只有专家行为的样本。我们提出了一种基于贝叶斯逆强化学习的抽样方法,该方法使用演示来确定$α$的实际高置信度上界-在专家未知的奖励函数下,任何评估策略与最优策略之间的预期收益的最差情况。我们评估了我们提出的标准网格导航任务和模拟驾驶任务的界限,并实现了更紧密,更准确的界限比基于特征计数的基线。我们还给出了如何利用我们提出的界限来执行风险感知政策选择和风险感知政策改进的例子。由于我们提出的界限需要几个数量级的示范比现有的高置信度的界限,这是第一个实用的方法,允许代理,从示范学习,以表达他们的学习政策的质量的信心。
2018-06-23 cs.AI cs.LG stat.ML
On the (In)Tractability of Reinforcement Learning for LTL Objectives
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Brown University(布朗大学)
近年来,研究人员在设计用于优化线性时态逻辑(LTL)目标和LTL类目标的并行学习算法方面取得了重大进展。尽管取得了这些进展,但解决这一问题的程度仍然存在根本性的限制。之前的研究已经提到了这一事实,但尚未深入研究。在本文中,我们从理论的角度来解决一般LTL目标的强化学习的易处理性。我们形式化的问题下的可能近似正确的学习马尔可夫决策过程(PAC-MDP)的框架,一个标准的框架测量样本的复杂性强化学习。在这种形式化中,我们证明了任何LTL公式的最优策略是PAC-MDP-learnable的,当且仅当该公式是在LTL层次结构中的最有限的类,由在有限范围内可判定的公式组成。实际上,我们的研究结果意味着,它是不可能的一个学习算法,以获得PAC-MDP保证其学习政策的性能后,许多相互作用与无约束的环境中的LTL目标是不可判定的有限范围内。
2022-06-24 cs.AI cs.FL cs.LG
Learner-aware Teaching: Inverse Reinforcement Learning with Preferences and Constraints
Microsoft Research(微软研究院);MPI-SWS(马克斯·普朗克软件系统研究所);ETH Zurich(苏黎世联邦理工学院)
逆强化学习(IRL)使智能体能够通过观察(接近)最优策略的演示来学习复杂的行为。典型的假设是,学习者的目标是匹配教师的示范行为。在本文中,我们考虑的设置,学习者有自己的喜好,它另外考虑。例如,这些偏好可以捕获行为偏见,不匹配的世界观或物理约束。我们研究了两种教学方法:学习者不可知的教学,其中教师提供示范,从一个最佳的政策,忽略学习者的喜好,和学习者意识到的教学,其中教师占学习者的喜好。我们设计的学习者意识的教学算法,并表明显着的性能改善,可以实现学习者不可知的教学。
2019-10-29 cs.AI cs.LG stat.ML
Versatile Inverse Reinforcement Learning via Cumulative Rewards
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
逆向强化学习从专家演示中推断出奖励函数,旨在对专家的行为和意图进行编码。目前的方法通常使用生成和单峰模型来实现这一点,这意味着它们编码单个行为。在常见的情况下,有各种解决方案的问题和专家表现出多才多艺的行为,这严重限制了这些方法的泛化能力。我们提出了一种新的逆强化学习方法,通过将恢复的奖励公式化为迭代训练的鉴别器的总和来克服这些问题。我们在模拟任务上表明,我们的方法能够恢复一般的,高质量的奖励函数,并产生与为通用行为设计的行为克隆方法相同质量的政策。
2021-11-15 cs.LG
Off-Policy Adversarial Inverse Reinforcement Learning
McGill University(麦吉尔大学)
对抗性模仿学习(AIL)是强化学习(RL)中的一类算法,它试图在不从环境中获取任何奖励的情况下模仿专家,并且不将专家行为直接提供给策略训练。相反,代理学习策略分布,最大限度地减少与对抗环境中专家行为的差异。对抗性逆强化学习(AIRL)利用AIL的思想,将奖励函数近似与学习策略相结合,并显示了IRL在迁移学习设置中的实用性。但是,实现迁移学习的奖励函数近似器在模仿任务中表现不佳。我们提出了一种非策略对抗逆强化学习(Off-policy-AIRL)算法,该算法在连续控制任务中具有样本有效性,并且与现有的AIL算法相比具有良好的模仿性能。对于相同的奖励函数逼近器,我们显示了学习我们的算法AIL的实用性,通过使用学习的奖励函数重新训练的政策在一个任务下的显着变化,专家演示是缺席。
2020-05-03 cs.AI cs.LG cs.RO