Sequential Policy Gradient for Adaptive Hyperparameter Optimization
Department of Computer Science（计算机科学系）；New York Institute of Technology（纽约理工学院）
本文提出序列策略梯度（SPG）方法，受DeepSeek-V3启发，通过单次前向生成轨迹实现轻量级在线超参数优化，在五个数据集上提升性能0.2~7%，计算成本低。
2025-06-18 cs.AI cs.LG
When are LLMs Sufficient Policy Optimizers for Sequential RL Tasks?
Department of Computer Science, Stanford University（计算机科学系，斯坦福大学）
提出PromptPO方法，利用LLM通过Python描述状态空间、动作空间和奖励函数，基于rollout反馈迭代生成和优化可执行策略，在多种环境中匹配或超越标准RL基线，但在细粒度连续控制任务中表现不足。
2026-06-29 cs.AI cs.LG
Representation Matters: Offline Pretraining for Sequential Decision Making
Google Research（谷歌研究院）
最近监督学习方法在越来越大的离线数据集上的成功激发了人们对强化学习（RL）领域的兴趣，以研究相同的范式是否可以转化为RL算法。这个研究领域被称为离线RL，主要集中在离线策略优化上，旨在完全从离线数据中找到回报最大化的策略。在本文中，我们考虑了一种稍微不同的方法，将离线数据纳入顺序决策。我们的目标是回答这样一个问题，即应用于离线数据集的无监督目标能够学习状态表示，从而提高下游任务的性能，这些下游任务是否是在线RL，专家演示的模仿学习，甚至是基于同一离线数据集的离线策略优化？通过利用标准离线RL数据集进行的各种实验，我们发现使用具有无监督学习目标的预训练可以显着提高策略学习算法的性能，否则这些算法本身的性能就很一般。广泛的消融进一步提供了对这些无监督目标的组成部分的了解-例如，奖励预测、连续或离散表示、预训练或微调--是最重要的，以及在哪些环境中。
2021-02-11 cs.AI cs.LG
How Private Is Your RL Policy? An Inverse RL Based Analysis Framework
IIIT Hyderabad（海得拉巴国际信息技术研究所）
强化学习（RL）使智能体能够从头开始学习如何执行各种任务。在自动驾驶、推荐系统等领域，如果学习到的最佳强化学习策略记住了私人奖励的任何部分，可能会导致隐私泄露。我们研究了一组现有的差异化私有RL策略，这些策略来自于各种RL算法，如值迭代，深度Q网络和Vanilla近端策略优化。我们提出了一个新的隐私感知逆RL（PRIL）分析框架，执行奖励重建作为一个对抗攻击的私人政策，代理可能会部署。为此，我们引入了奖励重建攻击，其中我们试图使用逆RL算法从隐私保护策略中重建原始奖励。如果代理使用严格的私有策略，对手在重建原始奖励函数方面一定做得很差。使用这个框架，我们经验性地测试了不同复杂度的FrozenLake域的多个实例上的私有算法所提供的隐私保证的有效性。基于所进行的分析，我们推断出当前提供的隐私标准与保护RL中奖励功能所需的隐私标准之间存在差距。我们这样做，通过量化的程度，每个私人政策保护的奖励功能，通过测量原始和重建的奖励之间的距离。
2021-12-10 cs.AI cs.LG
Translating the Rashomon Effect to Sequential Decision-Making Tasks
本文将拉什omon效应应用于序列决策任务，定义多个行为一致但结构不同的策略，并通过形式验证方法展示其在鲁棒性和计算效率上的优势。
2025-12-19 cs.AI cs.LG
OPIRL: Sample Efficient Off-Policy Inverse Reinforcement Learning via Distribution Matching
Tokyo Institute of Technology（东京工业大学）；Mitsubishi Electric Corporation（三菱电机株式会社）
逆强化学习（IRL）在奖励工程可能很乏味的情况下很有吸引力。然而，先前的IRL算法使用策略上的转换，这需要从当前策略进行密集采样以获得稳定和最佳性能。这限制了现实世界中的IRL应用程序，其中环境交互可能变得非常昂贵。为了解决这个问题，我们提出了Off-Policy Inverse强化学习（OPIRL），它（1）采用off-policy数据分布而不是on-policy，并能够显着减少与环境的交互次数，（2）学习一个固定的奖励函数，该函数在动态变化时具有高度的泛化能力，（3）利用模式覆盖行为实现更快的收敛。我们证明了我们的方法是相当多的样本效率和推广到新的环境通过实验。我们的方法在政策性能基线上实现了更好或可比的结果，并且交互明显减少。此外，我们的经验表明，恢复的奖励函数一般化到不同的任务，现有技术容易失败。
2022-05-22 cs.AI cs.LG cs.RO
Rank-1 Approximation of Inverse Fisher for Natural Policy Gradients in Deep Reinforcement Learning
The University of Manchester（曼彻斯特大学）；Aalto University（阿alto大学）
本文提出一种基于秩1近似的高效自然策略优化方法，通过理论证明其在收敛速度和样本复杂度上的优势，并在多种环境中验证了其优越性能。
2026-02-11 cs.AI cs.LG stat.ML
Off-Policy Adversarial Inverse Reinforcement Learning
McGill University（麦吉尔大学）
对抗性模仿学习（AIL）是强化学习（RL）中的一类算法，它试图在不从环境中获取任何奖励的情况下模仿专家，并且不将专家行为直接提供给策略训练。相反，代理学习策略分布，最大限度地减少与对抗环境中专家行为的差异。对抗性逆强化学习（AIRL）利用AIL的思想，将奖励函数近似与学习策略相结合，并显示了IRL在迁移学习设置中的实用性。但是，实现迁移学习的奖励函数近似器在模仿任务中表现不佳。我们提出了一种非策略对抗逆强化学习（Off-policy-AIRL）算法，该算法在连续控制任务中具有样本有效性，并且与现有的AIL算法相比具有良好的模仿性能。对于相同的奖励函数逼近器，我们显示了学习我们的算法AIL的实用性，通过使用学习的奖励函数重新训练的政策在一个任务下的显着变化，专家演示是缺席。
2020-05-03 cs.AI cs.LG cs.RO
Reinforcement Learning for POMDP: Partitioned Rollout and Policy Iteration with Application to Autonomous Sequential Repair Problems
Arizona State University（亚利桑那州立大学）；Massachusetts Institute of Technology（麻省理工学院）
本文研究了具有有限状态空间和控制空间，部分状态观测的无限时域折扣动态规划问题。我们讨论了一个算法，使用多步前瞻，截断推出一个已知的基本政策，和终端成本函数近似。该算法还用于近似策略迭代方案中的策略改进，其中通过使用神经网络分类器来近似连续的策略。我们的方法的一个新的特点是，它非常适合分布式计算，通过扩展的信念空间配方和使用分区架构，这是训练与多个神经网络。我们应用我们的方法在模拟一类顺序修复问题，机器人检查和修复管道与潜在的几个破裂部位下的部分信息的管道的状态。
2020-02-11 cs.AI cs.RO
Sequential Cohort Selection under Uncertainty
研究不确定性下公平队列选择问题，提出结合结果概率建模与策略梯度方法的框架，在顺序设置中联合更新策略和模型，实验表明自适应策略在预期效用上优于静态基线。
2026-07-07 cs.LG
Convergence of a model-free entropy-regularized inverse reinforcement learning algorithm
Swiss Data Science Center（瑞士数据科学中心）
本文提出一种无模型熵正则化逆强化学习算法，结合随机梯度下降和随机软策略迭代更新，证明了在生成模型下能以特定样本复杂度恢复近似最优奖励并逼近专家策略。
2025-03-03 cs.AI cs.LG
Off-Policy Evaluation in Partially Observed Markov Decision Processes under Sequential Ignorability
Stanford University（斯坦福大学）
本文针对部分可观测马尔可夫决策过程提出部分历史重要性加权估计器，证明其一致性与极小极大收敛速率，表明该问题难度介于完全可观测MDP与无模型评估之间。
2023-05-09 cs.LG math.ST stat.ME
IV-Posterior: Inverse Value Estimation for Interpretable Policy Certificates
Heriot-Watt University（赫瑞-瓦特大学）；University of Edinburgh（爱丁堡大学）
无模型强化学习（RL）是一种强大的工具，可以学习广泛的机器人技能和策略。然而，缺乏政策的可解释性可能会抑制其在下游应用中的成功部署，特别是当环境条件的差异可能导致不可预测的行为或泛化失败时。因此，机器学习越来越强调在模型中包含更强的归纳偏差，以提高泛化能力。本文提出了一种替代策略，可解释策略证书的逆值估计（IV-后验），旨在识别预训练策略已经持有的归纳偏差或理想化操作条件，然后使用这些信息来指导它们的部署。IV-后验使用MaskedAutoregressive Flows来拟合一组条件或环境参数的分布，其中策略可能是有效的。然后，此分发可以用作下游应用程序中的策略证书。我们说明了在两个环境中使用IV后验，并表明，当政策选择包含这些政策持有的归纳偏见的知识时，可以获得可观的性能增益。
2020-11-30 cs.AI cs.LG cs.RO
SeqPO-SiMT: Sequential Policy Optimization for Simultaneous Machine Translation
The Chinese University of Hong Kong（香港中文大学）；Bytedance（字节跳动）；Stanford University（斯坦福大学）
提出SeqPO-SiMT框架，将同声传译视为顺序决策问题，通过定制奖励优化策略，在六个数据集上显著提升翻译质量并降低延迟，其7B模型效果媲美高性能离线翻译。
2025-05-27 cs.AI cs.CL cs.LG
Learning Skills to Navigate without a Master: A Sequential Multi-Policy Reinforcement Learning Algorithm
Indian Institute of Science（印度科学学院）
使用强化学习解决复杂问题需要将问题分解为可管理的任务和学习策略来解决这些任务。反过来，这些策略必须由执行高层决策的主策略控制。因此，学习策略涉及分层决策结构。然而，在实践中训练这样的方法可能会导致泛化能力差，子策略执行动作的时间步长太少，或者完全退化为单个策略。在我们的工作中，我们引入了一种替代方法来顺序学习这些技能，而不使用一个总体的分层政策。我们提出这种方法的环境中，学习代理的目标的一个主要组成部分是尽可能长时间地延长发作。我们把我们提出的方法称为序贯软期权批判。我们展示了我们的方法在我们开发的灵活的模拟3D导航环境中的导航和基于目标的任务的实用性。我们还表明，我们的方法在各种环境中的性能优于先前的方法，如Soft Actor-Critic和Soft Option Critic，包括Atari River Raid环境和Gym-Duckietown自动驾驶汽车模拟器。
2022-08-07 cs.AI cs.RO
Efficient Probabilistic Performance Bounds for Inverse Reinforcement Learning
University of Texas at Austin（德克萨斯大学奥斯汀分校）
在强化学习领域，最近在策略性能的安全性和高置信度界限方面取得了进展。然而，据我们所知，没有实际的方法存在确定高置信度的政策性能界限的逆强化学习设置-其中真正的奖励函数是未知的，只有专家行为的样本。我们提出了一种基于贝叶斯逆强化学习的抽样方法，该方法使用演示来确定$α$的实际高置信度上界-在专家未知的奖励函数下，任何评估策略与最优策略之间的预期收益的最差情况。我们评估了我们提出的标准网格导航任务和模拟驾驶任务的界限，并实现了更紧密，更准确的界限比基于特征计数的基线。我们还给出了如何利用我们提出的界限来执行风险感知政策选择和风险感知政策改进的例子。由于我们提出的界限需要几个数量级的示范比现有的高置信度的界限，这是第一个实用的方法，允许代理，从示范学习，以表达他们的学习政策的质量的信心。
2018-06-23 cs.AI cs.LG stat.ML
Loop-Free Inverse Reinforcement Learning via Sequential Value Recovery with Q-Score Matching
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；University of Auckland（奥克兰大学）
本文提出无循环逆强化学习（LFIRL），通过扩散策略编码的动作梯度结构，将奖励学习转化为顺序价值恢复问题，消除策略优化循环，实现2-3倍加速并保持高质量奖励恢复。
2026-10-01 cs.AI cs.LG
Reinforcement Learning for Sequential Solar PV Policy Design under Uncertainty: An Agent-Based Approach
School of Computer Science, University of Galway（戈尔韦大学计算机科学学院）
本研究将光伏政策设计建模为序列决策问题，结合强化学习与基于智能体模型，通过PPO等算法学习不同权衡的政策，其生成的政策权衡结构清晰且优于静态基准，可用于不确定性下的自适应政策设计。
2026-09-07 cs.AI
Sequential Triggers for Watermarking of Deep Reinforcement Learning Policies
Kansas State University（堪萨斯州立大学）
提出了一种新的深度强化学习（DRL）策略水印方案。该方案提供了一种机制，用于将唯一标识符以其对指定的状态转换序列的响应的形式集成在策略内，同时对策略的标称性能产生最小的影响。该水印方案的应用包括检测专有策略的未授权复制，以及使授权实体能够优雅地中断或终止DRL活动。我们证明了我们的建议的可行性，通过实验评估水印的DQN政策在Cartpole环境中训练。
2019-06-03 cs.AI cs.CR cs.LG
Policy Continuation with Hindsight Inverse Dynamics
The Chinese University of Hong Kong（香港中文大学）；Peking University（北京大学）
面向目标的任务求解是强化学习中一个重要而又具有挑战性的问题。对于这样的任务，奖励往往是稀疏的，使得很难有效地学习策略。为了解决这个困难，我们提出了一种新的方法，称为政策延续与后见之明逆动力学（PCHID）。该方法基于后见之明经验重放从后见之明逆动力学学习，使得学习过程以自我模仿的方式进行，因此可以用监督学习进行训练。这项工作还将其扩展到策略延续的多步骤设置。该方法具有通用性，既可以独立工作，也可以与其他策略内和策略外算法相结合。在GridWorld和FetchReach两个多目标任务上，PCHID显著提高了样本效率和最终性能。
2019-11-01 cs.LG stat.ML
Sequential Search with Off-Policy Reinforcement Learning
JD.com Silicon Valley R&D Center（京东硅谷研发中心）
近年来，人们对顺序推荐（SR）产生了极大的兴趣，SR旨在理解和建模用户的顺序行为以及用户与项目之间的交互。令人惊讶的是，尽管顺序推荐已经取得了巨大的成功，但很少有关于顺序搜索（SS）的研究，这是一个孪生学习任务，除了考虑用户的当前和过去的搜索查询之外，还考虑了历史查询会话上的行为。对于大多数电子商务公司来说，由于其更大的在线服务需求和流量，SS学习任务甚至比对应的SR任务更重要。为此，我们提出了一个高度可扩展的混合学习模型，该模型由一个RNN学习框架和一个注意力模型组成，RNN学习框架利用了短期用户-项目交互中的所有功能，注意力模型利用了长期交互中选定的仅项目功能。作为一个新的优化步骤，我们通过动态解决贪婪背包问题，在一个训练批内的单个RNN通道中拟合多个短用户序列。此外，我们探讨了使用政策外的强化学习在多会话个性化搜索排名。具体来说，我们设计了一个成对的深度确定性策略梯度模型，有效地捕捉用户的长期奖励的成对分类错误。广泛的消融实验表明，每个组件在各种离线和在线指标上都对其最先进的基线进行了显著改进。
2022-02-01 cs.IR cs.LG
Bayesian Sequential Optimal Experimental Design for Nonlinear Models Using Policy Gradient Reinforcement Learning
University of Michigan（密歇根大学）
本文提出一种基于POMDP和策略梯度强化学习的贝叶斯序贯最优实验设计（sOED）框架，利用深度神经网络和演员-评论家方法求解最优设计策略，并在基准和污染源反演问题中验证了其优于批量和贪婪设计的性能。
2022-03-20 cs.LG stat.CO stat.ME
Solving Bayesian inverse problems with diffusion priors and off-policy RL
Mila, Université de Montréal（米拉-蒙特利尔大学）；KAIST（韩国科学技术院）；Jagiellonian University（雅盖隆大学）；Ciela Institute（西拉研究所）；Dreamfold（德雷姆福尔德公司）；Recursion（递归公司）；CIFAR（加拿大高级研究院）；University of Edinburgh（爱丁堡大学）
该研究将离策略 RL 目标 RTB 与扩散先验结合，从无条件预训练模型训练条件后验，并揭示免训练扩散后验方法在潜空间推断中的偏差局限。
2025-03-12 cs.AI cs.LG stat.ML
Towards Safe Policy Improvement for Non-Stationary MDPs
University of Massachusetts（马萨诸塞大学）；Adobe Research（奥多比研究院）；University of Alberta（阿尔伯塔大学）；Amii（Amii（阿尔伯塔机器智能研究所））
许多现实世界中的序贯决策问题涉及具有金融风险和人类生命风险的关键系统。虽然在过去的几个作品已经提出了方法，是安全的部署，他们假设的根本问题是固定的。然而，许多现实世界的问题表现出非平稳性，当风险很高时，与错误的平稳性假设相关的成本可能是不可接受的。我们采取的第一步，以确保安全性，高信心，平稳变化的非平稳决策问题。我们提出的方法扩展了一种安全的算法，称为Seldonian算法，通过合成的无模型强化学习与时间序列分析。安全性是确保使用顺序假设检验的政策的预测性能，并获得置信区间使用野生自助。
2020-12-17 cs.AI cs.LG
SOAP-RL: Sequential Option Advantage Propagation for Reinforcement Learning in POMDP Environments
Visual Geometry Group（视觉几何组）；University of Oxford（牛津大学）
本文提出PPOEM和SOAP两种算法解决POMDP中无监督学习时间一致选项的挑战，SOAP通过扩展GAE传播选项优势，在Atari等基准上表现最优。
2024-10-11 cs.AI cs.LG
Solving General Noisy Inverse Problem via Posterior Sampling: A Policy Gradient Viewpoint
Meta AI；Yale University（耶鲁大学）；University of Maryland（马里兰大学）
提出扩散策略梯度方法，通过策略梯度视角估计引导得分函数，利用预训练扩散模型解决含噪图像逆问题，在多个数据集上提升恢复质量。
2024-03-15 cs.AI cs.CV cs.LG
Rewriting History with Inverse RL: Hindsight Inference for Policy Improvement
Carnegie Mellon University（卡内基梅隆大学）；UC Berkeley（加州大学伯克利分校）；Google Brain（谷歌大脑）
多任务强化学习（RL）旨在同时学习解决多个任务的策略。几个先前的工作已经发现，用不同的奖励函数重新标记过去的经验可以提高样本效率。重新标记方法通常会问：如果事后我们假设我们的经验对某些任务是最优的，那么它对什么任务是最优的？在本文中，我们证明了后见之明重新标记是逆RL，这一观察表明，我们可以使用逆RL串联RL算法，以有效地解决许多任务。我们使用这个想法来概括目标重新标记技术从以前的工作，以任意类的任务。我们的实验证实，使用逆RL重新标记数据可以加速一般多任务设置中的学习，包括目标达成、具有离散奖励集的域以及具有线性奖励函数的域。
2020-02-25 cs.AI cs.LG cs.RO
Multi-Task Generative Adversarial Nets with Shared Memory for Cross-Domain Coordination Control
Institute of Automation, Chinese Academy（中国科学院自动化研究所）；FUJITSU（富士通）；China Academy of Telecommunication Research of MIIT（工业和信息化部电信研究院）
从大量的测量过程数据中生成顺序决策过程，充分利用这些在线或离线过程数据直接设计灵活的决策策略，并进行性能评估，是协同工厂自动化的未来研究方向。序贯决策过程面临的主要挑战是在线直接生成序贯决策策略，以及跨任务域的知识传递。在离散时间非线性系统中，大多数多任务策略生成算法都存在不能充分生成跨任务共享结构的问题。针对离散非线性系统，提出了一种多任务共享记忆生成对抗网络，该网络能够直接从所有任务的原始感知输入中生成顺序决策策略，并在线评估系统行为的性能。实验已经使用部署在中国潍柴动力智能工厂内的专业柔性制造测试平台进行。对三组离散时间非线性控制任务的仿真结果表明，该模型可以有效地提高任务的性能，并与其他相关任务相结合。
2018-07-01 cs.AI cs.DC cs.LG
Verifying Memoryless Sequential Decision-making of Large Language Models
Simula Research Laboratory（Simula研究实验室）
本文提出一种自动化验证工具，通过增量构建MDP可达状态并利用Storm检查PCTL安全属性，验证LLM策略在无记忆序贯决策中的安全性，实验表明开源LLM可验证但逊于强化学习基线。
2025-10-08 cs.AI
OptionGAN: Learning Joint Reward-Policy Options using Generative Adversarial Inverse Reinforcement Learning
School of Computer Science, McGill University（麦吉尔大学计算机科学学院）；Department of Electrical, Computer, and Software Engineering, McGill University（麦吉尔大学电气、计算机与软件工程系）
强化学习在学习策略方面显示出了解决复杂问题的前景。然而，手动指定一个好的奖励函数可能很困难，特别是对于复杂的任务。逆强化学习提供了一个有用的范例，可以直接从专家演示中学习潜在的奖励函数。然而，在现实中，演示的语料库可能包含的轨迹产生于一组不同的潜在奖励功能，而不是一个单一的。因此，在逆强化学习中，考虑这样的分解是有用的。强化学习中的选项框架专门设计用于以类似的方式分解策略。因此，我们扩展的选项框架，并提出了一种方法，同时恢复奖励选项，除了政策选项。我们利用对抗方法来学习联合奖励政策选项，只使用观察到的专家状态。我们证明了这种方法在简单和复杂的连续控制任务中都能很好地工作，并且在一次性迁移学习中表现出显着的性能提高。
2017-11-24 cs.LG
Guided Cost Learning: Deep Inverse Optimal Control via Policy Optimization
University of California, Berkeley（加州大学伯克利分校）
强化学习可以从高级规范中获取复杂的行为。然而，定义可以有效优化并编码正确任务的成本函数在实践中具有挑战性。我们探讨如何逆最优控制（IOC）可以用来学习行为的演示，应用到高维机器人系统的扭矩控制。我们的方法解决了逆最优控制中的两个关键挑战：第一，需要信息特征和有效的正则化来对成本施加结构，第二，学习高维连续系统的未知动态下的成本函数的困难。为了解决前一个挑战，我们提出了一个算法，能够学习任意的非线性成本函数，如神经网络，没有细致的特征工程。为了解决后一个挑战，我们制定了一个有效的基于样本的近似MaxEnt IOC。我们评估我们的方法上的一系列模拟任务和现实世界中的机器人操作问题，表现出显着的改进，无论是在任务的复杂性和样本效率方面比以前的方法。
2016-05-27 cs.AI cs.LG cs.RO
Sequential Bayesian Optimal Experimental Design in Infinite Dimensions via Policy Gradient Reinforcement Learning
School of Mathematics, Georgia Institute of Technology（数学系，佐治亚理工学院）；School of Computational Science and Engineering, Georgia Institute of Technology（计算科学与工程系，佐治亚理工学院）
本文提出了一种基于策略梯度强化学习的方法，用于在无限维空间中实现序列贝叶斯最优实验设计，通过维度缩减和神经算子替代模型实现了高效的实验设计策略，显著提升了计算效率和物理可解释性。
2026-01-09 cs.LG math.OC
Continuous Inverse Optimal Control with Locally Optimal Examples
Stanford University（斯坦福大学）
逆最优控制（英语：Inverse optimal control），又称逆强化学习（英语：Inverse reinforcement learning），是一个在马尔可夫决策过程中，从专家对最优策略的演示中恢复未知奖励函数的问题。我们引入了一个概率逆最优控制算法，优雅地与任务维度的规模，是适合于大型，连续的领域，甚至计算一个完整的政策是不切实际的。通过使用奖励函数的局部近似，我们的方法也可以放弃演示是全局最优的假设，只需要局部最优。这允许它从不适合先前方法的示例中学习。
2012-06-18 cs.AI cs.LG stat.ML
MEReQ: Max-Ent Residual-Q Inverse RL for Sample-Efficient Alignment from Intervention
University of California, Berkeley（加州大学伯克利分校）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Sony AI（索尼人工智能）
MEReQ通过推断残差奖励函数并采用残差Q学习，实现从人类干预中样本高效地对齐机器人行为与人类偏好。
2025-10-24 cs.AI cs.LG cs.RO
Sequential Anomaly Detection using Inverse Reinforcement Learning
Columbia University（哥伦比亚大学）
异常检测中最有趣的应用场景之一是针对连续数据的情况。例如，在安全关键环境中，至关重要的是要有一个自动检测系统来筛选监控传感器收集的流数据，并在实时检测到异常观察结果时报告。通常情况下，当这些潜在的异常是故意的或目标导向的时，风险要高得多。我们提出了一个端到端的框架顺序异常检测使用逆强化学习（IRL），其目标是确定决策代理的底层功能，触发他/她的行为。所提出的方法需要的目标代理（和可能的其他Meta信息）的动作序列作为输入。代理的正常行为，然后理解的奖励功能，这是通过IRL推断。我们使用一个神经网络来表示一个奖励函数。使用学习的奖励函数，我们评估来自目标代理的新观察是否遵循正常模式。为了构建一个可靠的异常检测方法，并考虑到预测的异常得分的置信度，我们采用贝叶斯方法IRL。公开的真实世界数据的实证研究表明，我们提出的方法是有效的，在识别异常。
2020-04-22 cs.LG stat.ML
Deceptive Sequential Decision-Making via Regularized Policy Optimization
Georgia Institute of Technology（佐治亚理工学院）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；United States Military Academy（美国军事学院）
本文提出三种正则化策略，用于在策略优化中主动欺骗对手关于系统奖励的误解，从而在保持高累积奖励的同时误导对手。
2026-01-21 cs.LG math.OC
From Outcome to Representation: Tracing Reasoning Mechanisms through Integrated Policy Gradient
Independent Researcher（独立研究者）；ShanghaiTech University（上海科技大学）
本文提出集成策略梯度框架，通过反向传播复合结果信号，实现对大语言模型推理行为的精确解释与控制。
2026-11-05 cs.AI cs.CL cs.LG
Co-training for Policy Learning
California Institute of Technology（加州理工学院）；Jet Propulsion Laboratory, California Institute of Technology（加州理工学院喷气推进实验室）
我们研究了在多个状态-动作表示的环境中学习顺序决策策略的问题。这样的设置自然出现在许多领域，例如规划（例如，多个整数规划公式）和各种组合优化问题（例如，具有整数编程和基于图形的公式化的那些）。受经典的分类协同训练框架的启发，本文研究了策略学习的协同训练问题。我们提出了充分的条件下，学习从两个视图可以提高学习从一个单一的视图。受这些理论见解的启发，我们提出了一个元算法，用于顺序决策的协同训练。我们的框架是兼容的强化学习和模仿学习。我们验证了我们的方法在广泛的任务，包括离散/连续控制和组合优化的有效性。
2019-07-03 cs.AI cs.LG stat.ML
Off-Policy Evaluation for Sequential Persuasion Process with Unobserved Confounding
Department of Systems Engineering, Cornell University（系统工程系，康奈尔大学）；School of Civil and Environmental Engineering, Cornell University（土木与环境工程学院，康奈尔大学）
本文扩展贝叶斯说服框架，考虑未观测混杂因素，将其建模为POMDP，证明最优观测策略等价于最优信号策略，并利用近端学习实现仅凭观测数据进行离线策略评估。
2025-08-07 cs.AI cs.GT cs.SY
Optimal Expert Annotation for Evaluating Sequential Decision Policies from Text Records
University of Southern California（南加州大学）；University of California, Berkeley（加州大学伯克利分校）；University of Washington, Seattle（华盛顿大学西雅图分校）
针对离线策略评估，提出方差最优的顺序标注概率方法，利用有限标注预算实现双稳健估计，在模拟和真实数据上显著降低RMSE。
2026-10-30 cs.LG stat.ME stat.ML
Sequential Attacks on Agents for Long-Term Adversarial Goals
Max-Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Saarland University（萨尔兰大学）
强化学习（RL）在过去几年中随着在策略网络上使用有效的深度神经网络（DNN）而取得了很大的进步。随着DNN的巨大有效性出现了严重的脆弱性问题，即输入上的小对抗性扰动可能会改变网络的输出。一些研究已经指出，具有DNN策略网络的学习代理可以通过对输入状态的一系列小扰动来操纵，以实现原始任务。在本文中，我们进一步证明了通过一系列攻击对受害者策略网络施加任意对抗性奖励也是可能的。我们的方法涉及最新的对抗攻击技术，对抗性Transformer网络（ATN），它学习生成攻击，并且很容易集成到策略网络中。由于我们的攻击，受害者代理被误导，随着时间的推移优化对抗性奖励。我们的结果暴露了无人机、医学分析和自动驾驶汽车等安全关键系统中RL应用的严重安全威胁。
2018-07-05 cs.AI cs.CR cs.CV
Analyzing sequential activity and travel decisions with interpretable deep inverse reinforcement learning
The Singapore-MIT Alliance for Research and Technology（新加坡-麻省理工学院研究与技术联盟）；University of Florida（佛罗里达大学）；McGill University（麦吉尔大学）；The University of Hong Kong（香港大学）；Massachusetts Institute of Technology（麻省理工学院）；Institute for Data, Systems, and Society, Massachusetts Institute of Technology（麻省理工学院数据、系统与社会研究所）
本文提出可解释深度逆强化学习框架，利用对抗式IRL推断并解释活动—出行决策的策略与奖励，从而揭示行为模式、群体差异及活动序列效用。
2025-03-17 cs.AI
Trust Region Inverse Reinforcement Learning: Explicit Dual Ascent using Local Policy Updates
Technical University of Darmstadt（达姆斯塔特技术大学）；Lund University（隆德大学）；German Research Center for AI (DFKI)（人工智能研究中心（DFKI））；Robotics Institute Germany (RIG)（德国机器人研究所（RIG））；Huawei, Noah’s Ark Lab（华为诺亚实验室）；University College London（伦敦大学学院）
本文提出TRIRL算法，通过信任区域优化策略更新，实现奖励函数的单调改进，避免对抗方法的不稳定性，提升多任务表现。
2026-07-03 cs.AI cs.LG cs.RO
Weighted Maximum Entropy Inverse Reinforcement Learning
Singapore Management University（新加坡管理大学）；Massachusetts Institute of Technology（麻省理工学院）
我们研究了逆强化学习（IRL）和模仿学习（IM），即从专家演示的轨迹中恢复奖励或策略函数的问题。我们提出了一种新的方法来改善学习过程，通过增加一个权重函数的最大熵框架，具有学习和恢复的随机性（或有限理性）的专家政策的能力的动机。我们的框架和算法允许学习奖励（或策略）函数和添加到马尔可夫决策过程的熵项的结构，从而增强学习过程。我们的数值实验，使用人类和模拟演示和离散和连续的IRL/IM任务表明，我们的方法优于以前的算法。
2022-08-20 cs.LG
COSAC: Counterfactual Credit Assignment in Sequential Cooperative Teams
Adobe Research（Adobe研究）
COSAC提出一种无批评者策略梯度方法，通过单个岭回归分解团队奖励，计算每个代理的反事实优势，实现低方差和可控的信用分配，适用于顺序合作团队。
2026-05-09 cs.AI cs.LG cs.MA
Sequential Beats Joint: On the Interplay between On-Policy Distillation and RLVR
New York University（纽约大学）；University of Chicago（芝加哥大学）；University of Waterloo（滑铁卢大学）；University of Alberta（阿尔伯塔大学）；NYU Shanghai（纽约大学上海分校）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所）
该研究提出OPD-then-RL的两阶段方案，在逻辑与数学推理基准上优于纯OPD、纯RLVR及联合基线，为结合两种后训练方法提供了实用方案。
2026-09-07 cs.AI cs.CL cs.LG
Towards Generalized Inverse Reinforcement Learning
University of Pittsburgh（匹兹堡大学）；Amazon（亚马逊公司）
本文研究了马尔可夫决策过程中可能非最优观测下的广义逆强化学习问题，通过量化策略差异并数学刻画不可观测组件，提出了相应的数学公式化与快速启发式算法，在有限和无限状态问题上验证了其有效性。
2024-02-11 cs.LG
Rethinking Adversarial Inverse Reinforcement Learning: Policy Imitation, Transferable Reward Recovery and Algebraic Equilibrium Proof
本文重新审视 AIRL 面临的三项批评，通过引入 SAC 改进策略模仿，提出 PPO-AIRL + SAC 混合框架恢复可迁移奖励，并从代数理论角度重审均衡证明。
2024-10-27 cs.LG stat.ML
Offline Multi-agent Reinforcement Learning via Sequential Score Decomposition
School of Data Science, The Chinese University of Hong Kong, Shenzhen, China（香港中文大学（深圳）数据科学学院）；School of Computer Science, Tongji University, Shanghai, China（同济大学计算机科学学院）；Vector Institute（向量研究所）
针对离线合作多智能体强化学习中联合动作空间高维和异质行为数据导致的策略分布偏移问题，提出序列得分函数分解方法，利用扩散模型从多模态离线数据中学习每个智能体的正则化信号，指导策略更新至高分、分布内区域，在多个粒子环境和多智能体MuJoCo基准上实现最先进性能。
2026-05-28 cs.LG cs.MA
Your Offline Policy is Not Trustworthy: Bilevel Reinforcement Learning for Sequential Portfolio Optimization
MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University, China（人工智能教育部重点实验室、人工智能研究院、上海交通大学）；Department of Computer Science, University of Illinois Chicago, USA（计算机科学系、伊利诺伊大学芝加哥分校）
针对传统离线强化学习在序列投资组合优化中泛化性差、易受市场非平稳性影响的问题，提出采用双层框架与最坏情况时序差分的MetaTrader方法，在公开股票数据集上表现优于现有方法。
2025-05-19 cs.LG
Servant of Many Masters: Shifting priorities in Pareto-optimal sequential decision-making
University of California, Berkeley（加州大学伯克利分校）
通常认为，代理人代表具有不同效用函数的两个或多个委托人做出决策应该采用{ \em帕累托最优}策略，即，一项政策，如果不为另一个代理人做出牺牲，就不可能为一个代理人改进。海萨尼的一个著名定理表明，当委托人对所有策略的结果分布有一个共同的先验时，代理人的帕累托最优策略是最大化委托人效用的固定加权线性组合的策略。在本文中，我们表明，海萨尼的定理不成立的校长与不同的先验，并得出一个更精确的推广，这并举行，这构成了我们的主要结果。在这种更一般的情况下，赋予每个委托人效用的相对权重应该随着时间的推移而变化，这取决于代理人的观察结果与委托人的先验知识的一致程度。这一结果对合同、条约、合资企业和机器人的设计都有影响。
2017-10-31 cs.AI
Preference elicitation and inverse reinforcement learning
Frankfurt Institute for Advanced Studies（法兰克福高等研究院）；EPFL（洛桑联邦理工学院）
我们陈述了逆强化学习在偏好诱导方面的问题，从而得到了一个原则性的（贝叶斯）统计公式。这概括了以前的工作贝叶斯逆强化学习，并允许我们获得一个后验分布代理的偏好，政策和可选的，获得的奖励序列，从观察。通过分析和实验结果，我们研究了所得方法与其他统计方法的关系。我们表明，偏好可以准确地确定，即使所观察到的代理的政策是次优相对于自己的喜好。在这种情况下，显着改善的政策，相对于代理的喜好，获得相比，其他方法和表现的政策。
2011-06-29 cs.LG stat.ML
Inverse Design of Grating Couplers Using the Policy Gradient Method from Reinforcement Learning
University of California, Berkeley（加利福尼亚大学伯克利分校）；Hewlett Packard Labs（惠普实验室）；Hewlett Packard Enterprise（慧与科技）；HPE Belgium（HPE比利时分部）
我们提出了一种概念验证技术，用于由强化学习中的策略梯度方法激励的电磁设备的逆向设计，称为PHORCED（使用增强设计的增强标准的语音优化）。该技术使用概率生成神经网络与电磁解算器接口，以帮助设计光子器件，如光栅耦合器。我们表明，PHORCED通过伴随方法获得比基于局部梯度的逆设计性能更好的光栅耦合器设计，同时可能提供比竞争最先进的生成方法更快的收敛。作为该方法的益处的另一个示例，我们使用PHORCED实现了迁移学习，证明了训练以优化8个$^\circ$光栅耦合器的神经网络然后可以在具有交替散射角的光栅耦合器上重新训练，同时需要比对照情况少>10个$\times$的模拟。
2021-10-12 cs.LG physics.comp-ph physics.optics
Learn to Exceed: Stereo Inverse Reinforcement Learning with Concurrent Policy Optimization
University of Texas（德克萨斯大学）；Department of Electrical and Computer Engineering（电气与计算机工程系）；San Antonio, TX 78249（圣安东尼奥，德克萨斯州78249）
在本文中，我们研究的问题，获得一个控制策略，可以模仿，然后优于专家演示马尔可夫决策过程中的奖励函数是未知的学习代理。一种主要的相关方法是逆强化学习（IRL），其主要关注于从专家演示中推断奖励函数。然而，IRL及其相关算法所获得的控制策略很难优于专家演示。为了克服这一限制，我们提出了一种新的方法，使学习代理，通过一个新的并发奖励和行动策略学习方法优于演示。特别是，我们首先提出了一个新的立体效用定义，旨在解决专家演示的解释偏见。然后，我们提出了一个损失函数的学习代理学习奖励和行动的政策，同时使学习代理可以胜过专家演示。所提出的方法的性能首先在OpenAI环境中证明。进一步的努力进行实验验证所提出的方法通过室内无人机飞行场景。
2020-09-22 cs.LG cs.RO stat.ML
