Partial Policy Gradients for RL in LLMs
Adobe Research（Adobe研究）
本文提出了一种在大语言模型中使用部分策略梯度的方法，通过优化未来奖励的子集来建模和比较不同策略类别，展示了不同策略在不同任务中的表现差异。
2026-03-06 cs.AI cs.LG
Training Transition Policies via Distribution Matching for Complex Tasks
The Ohio State University（俄亥俄州立大学）
人类将新的复杂任务分解为更简单的任务，以利用先前学到的技能。类似地，分层强化学习试图利用简单任务的低层策略来解决复杂任务。然而，由于每个较低级别的策略引起不同的状态分布，因此从一个较低级别的策略转换到另一个较低级别的策略可能会由于意外的起始状态而失败。我们引入了过渡政策，通过产生与下一个政策所期望的相匹配的状态和动作的分布来平滑地连接较低级别的政策。训练过渡策略具有挑战性，因为自然奖励信号-下一个策略是否可以成功执行其子任务-是稀疏的。通过对抗性逆强化学习训练转换策略来匹配预期状态和动作的分布，我们避免了依赖基于任务的奖励。为了进一步提高性能，我们使用带有二进制动作空间的深度Q学习来确定何时从过渡策略切换到下一个预先训练的策略，并使用下一个子任务的成功或失败作为奖励。虽然奖励仍然稀疏，但由于简单的二元动作空间，问题不那么严重。我们展示了我们的方法，连续双足运动和手臂操作任务，需要不同的技能。我们表明，它平滑地连接较低级别的政策，实现更高的成功率比以前的方法，搜索成功的轨迹的基础上的奖励函数，但不匹配的状态分布。
2022-03-11 cs.AI cs.LG
Efficient Symbolic Policy Learning with Differentiable Symbolic Expression
SKL of Processors, Institute of Computing Technology, CAS（中国科学院计算技术研究所处理器芯片全国重点实验室）；Intelligent Software Research Center, Institute of Software, CAS（中国科学院软件研究所智能软件研究中心）；University of Science and Technology of China, USTC（中国科学技术大学）；Cambricon Technologies（寒武纪科技）；Shanghai Innovation Center for Processor Technologies, SHIC（上海处理器技术创新中心）；University of Chinese Academy of Sciences, UCAS（中国科学院大学）
针对深度强化学习神经网络策略复杂难部署、现有符号策略训练低效且仅适用于单任务的问题，提出基于可微符号表达式的ESPL方法，可端到端从零学习符号策略，还可扩展到元强化学习，在单任务和元强化学习中均实现更优性能与效率，兼具可解释潜力。
2023-11-02 cs.AI cs.LG
Policy Gradient Optimization of Thompson Sampling Policies
Columbia University（哥伦比亚大学）
我们研究了使用策略梯度算法优化一类广义Thompson抽样策略。我们的核心观点是将Thompson采样的后验参数视为一种伪作用。策略梯度方法然后可以被可追踪地应用于在一类采样策略上进行搜索，其确定伪动作上的概率分布（即，采样参数）作为观测数据的函数。我们还提出和比较专门贝叶斯强盗问题的策略梯度估计。数值实验表明，直接策略搜索的汤普森采样自动纠正了一些算法的已知缺点，并提供了有意义的改进，即使在长时间的问题，标准的汤普森采样是非常有效的。
2020-06-30 cs.AI cs.LG stat.ML
Kernel Metric Learning for In-Sample Off-Policy Evaluation of Deterministic RL Policies
KAIST（韩国科学技术院）；UC Berkeley（加州大学伯克利分校）；Hanyang Univ.（汉阳大学）；KIAS（韩国高等研究院）
针对连续动作空间中确定性策略的离线评估，提出用核松弛目标策略并学习最优核度量以最小化TD更新误差，实验证明该方法显著提升评估精度。
2024-05-29 cs.AI cs.LG
ARMOR: A Model-based Framework for Improving Arbitrary Baseline Policies with Offline Data
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Washington（华盛顿大学）；Microsoft Research（微软研究院）
我们提出了一个新的基于模型的离线强化学习框架，称为离线强化学习的对抗模型（ARMOR），它可以鲁棒地学习策略，以改进任意基线策略，而不管数据覆盖率如何。基于相对悲观的概念，ARMOR被设计为在面对不确定性时，最坏情况下的相对性能进行优化。在理论上，我们证明了ARMOR学习策略在任何可接受的超参数下都不会降低基线策略的性能，并且当超参数调得很好且基线策略得到数据支持时，可以学习在数据覆盖范围内与最佳策略竞争.这种强大的策略改进属性使ARMOR特别适合构建真实世界的学习系统，因为在实践中，在考虑学习带来的任何好处之前，确保性能不下降是必不可少的。
2022-11-08 cs.AI cs.LG
Learning Perturbation Robust Policies for LLM Agents with Stable Optimization
University of Arizona（亚利桑那大学）
针对LLM智能体策略对扰动敏感的问题，提出SPrPO方法，在RL训练中引入自适应敏感性感知扰动，在ALFWorld和WebShop上验证了其提升鲁棒性并保持稳定优化。
2026-11-11 cs.AI cs.LG
Evaluating Interpretable Reinforcement Learning by Distilling Policies into Programs
Université de Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；Centrale Lille（里尔中央理工学院）；TU Darmstadt（达姆施塔特工业大学）
本文提出一种基于可模拟性代理指标、无需人类参与的策略可解释性评估方法，通过将专家网络蒸馏为小型程序进行大规模实证评估，发现提高可解释性未必降低性能，且不存在跨任务普适的最优策略类别。
2025-03-11 cs.AI cs.LG
Beyond State-Wise Mirror Descent: Offline Policy Optimization with Parametric Policies
Nanjing University（南京大学）；UIUC（伊利诺伊大学）
本文研究了在一般函数逼近下离线强化学习的理论方面，扩展了理论保证到大或连续动作空间上的参数策略类，并提出了基于上下文耦合的新型分析和算法见解。
2026-10-12 cs.AI cs.LG
On the Use of Non-Stationary Policies for Stationary Infinite-Horizon Markov Decision Processes
Inria（法国国家信息与自动化研究所）
我们考虑无限时域平稳$γ$折扣马尔可夫决策过程，它是已知的，存在一个平稳的最优策略。使用在每次迭代时具有一些误差$ε$的值和策略迭代，众所周知，可以计算$\frac{2γ}{(1-γ)^2}ε$最优的固定策略。在认为这种保证是紧的，我们开发的变化值和政策迭代计算非平稳的政策，可以达到$\frac{2γ}{1-γ}ε$ -最优的，这构成了一个显着的改善通常情况下，当$γ$接近1。令人惊讶的是，这表明“计算近最优非平稳策略”的问题比“计算近最优平稳策略”的问题简单得多。
2012-11-29 cs.AI cs.LG
Learning General Parameterized Policies for Infinite Horizon Average Reward Constrained MDPs via Primal-Dual Policy Gradient Algorithm
Purdue University（普渡大学）；Indian Institute of Technology Kanpur（坎普尔印度理工学院）
针对无限时域平均回报约束马尔可夫决策过程，首次开展通用参数化策略下的遗憾与约束违反分析，提出原对偶策略梯度算法，实现低遗憾全局最优策略及对应约束违反界保障。
2024-10-30 cs.AI cs.LG
Statistical Tractability of Off-policy Evaluation of History-dependent Policies in POMDPs
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文研究了POMDPs中依赖历史策略的离策略评估问题，证明了无模型方法在多种设定下的信息论困难性，并提出一种简单的基于模型的算法来规避部分困难，证明了无模型与基于模型方法间的可证明分离。
2025-03-03 cs.AI cs.LG
Co-Activation Graph Analysis of Safety-Verified and Explainable Deep Reinforcement Learning Policies
Simula Research Laboratory（西穆拉研究院）
本文结合RL策略模型检查与共激活图分析，解释经过安全验证的深度强化学习策略的内部机制，并通过多类实验验证该方法的适用性。
2025-01-06 cs.AI cs.LG
Lifelong Policy Gradient Learning of Factored Policies for Faster Training Without Forgetting
University of Pennsylvania（宾夕法尼亚大学）；University of Western Ontario（西安大略大学）
策略梯度方法在高维动力系统的控制策略学习中取得了成功。它们最大的缺点是在产生高性能政策之前需要进行大量的探索。在终身学习环境中，智能体在其生命周期中面临多个连续的任务，重用以前看到的任务的信息可以大大加快新任务的学习。我们提供了一种新的终身策略梯度学习方法，直接通过策略梯度训练终身函数逼近器，使代理受益于整个训练过程中积累的知识。我们的经验表明，我们的算法学习速度更快，收敛到更好的政策比单任务和终身学习基线，并完全避免了灾难性遗忘在各种具有挑战性的领域。
2020-10-21 cs.AI cs.LG stat.ML
Optimizing Minimax Regret in Uncertain MDPs with Small Sets of Policies
针对不确定马尔可夫决策过程的策略数量约束问题，提出k-自适应策略合成算法KAPS，可优化小策略集的极小极大遗憾，实验显示从1个策略增至2个时遗憾降幅最大。
2026-08-04 cs.AI cs.LG
Learning Policies through Quantile Regression
ETH Zurich（苏黎世联邦理工学院）
结合神经网络的基于策略梯度的强化学习算法已经在无模型连续动作空间控制设置中成功地学习复杂策略。然而，显式参数化策略受到所选参数概率分布范围的限制。我们表明，替代的可能性为基础的策略梯度，相关的目标可以通过优势加权分位数回归优化。我们的方法在网络中隐式地对策略进行建模，这使得代理可以自由地近似每个动作维度中的任何分布，而不会将其功能限制在常用的单峰高斯参数化。这种更广泛的政策，使我们的算法适用于问题的高斯政策不能适合的最佳政策。此外，我们在MuJoCo物理模拟器基准测试上的结果与最先进的政策方法相当或更好。
2019-09-27 cs.AI cs.LG stat.ML
Bottom-up Policy Optimization: Your Language Model Policy Secretly Contains Internal Policies
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Tencent AI Lab（腾讯AI实验室）
本文通过分解Transformer残差流中的内部层策略和内部模块策略，提出自底向上策略优化（BuPO）方法，通过早期优化内部层来重建LLM的推理基础，在复杂推理基准上验证了有效性。
2026-05-29 cs.AI cs.CL cs.LG
Discovering a set of policies for the worst case reward
DeepMind
我们研究如何构建一组可以组合在一起的策略来解决一组强化学习任务的问题。每个任务都是一个不同的奖励函数，定义为已知特征的线性组合。我们考虑一类特定的政策组合，我们称之为集改进政策（SIP）：给定一组政策和一组任务，SIP是前者的任何组合，其性能至少与其成分在所有任务中一样好。我们专注于SIP的最保守的实例化，设置最大策略（SMP），所以我们的分析扩展到任何SIP。这包括已知的策略组合操作符，如广义策略改进。我们的主要贡献是一个政策迭代算法，建立了一套政策，以最大限度地提高最坏情况下的性能所产生的SMP的一组任务。该算法的工作原理是连续添加新的策略集。我们表明，所得到的SMP严格提高在每次迭代的最坏情况下的性能，该算法只停止时，不存在一个政策，导致性能提高。我们在网格世界和DeepMind控制套件的一组域上对我们的算法进行了经验评估。我们证实了我们的理论结果单调提高我们的算法的性能。有趣的是，我们还表明，经验的算法计算的政策集是不同的，导致不同的轨迹在网格世界和非常独特的运动技能的控制套件。
2021-12-10 cs.AI cs.LG
Preventing Imitation Learning with Adversarial Policy Ensembles
UC Berkeley（加州大学伯克利分校）
模仿学习可以通过观察专家来复制策略，这带来了关于策略隐私的问题。策略，如人类或部署机器人的策略，都可以在未经所有者同意的情况下克隆。我们如何防止外部观察者克隆我们的专有策略？为了回答这个问题，我们引入了一个新的强化学习框架，在这里我们训练一个接近最优的政策，其演示保证是无用的外部观察员。我们制定这个想法的约束优化问题，其目标是提高专有政策，并在同一时间恶化的虚拟政策的最终外部观察员。通过对标准策略梯度算法的改进，设计了一个易于处理的算法来解决这个新的优化问题。我们的表述可以从保密性和对抗性行为的角度来解释，这使得这项工作有了更广泛的视角。我们证明了存在“非克隆”的合奏，提供了一个解决方案，上述优化问题，这是我们的修改后的策略梯度算法计算。据我们所知，这是强化学习中关于策略保护的第一项工作。
2020-08-02 cs.AI cs.LG stat.ML
Optimal Mixture Weights for Off-Policy Evaluation with Multiple Behavior Policies
Tsinghua University（清华大学）
离线策略评估是强化学习的一个关键组成部分，它利用从行为策略中收集的离线数据来评估目标策略。它是迈向安全强化学习的关键一步，已被用于广告、推荐系统和许多其他应用。在这些应用程序中，有时会从多个行为策略中收集离线数据。以前的作品认为数据从不同的行为政策平等。然而，一些行为策略更好地产生良好的估计，而其他人则不是。本文首先讨论了如何正确地混合不同行为策略产生的估计量。当所有子估计量均无偏或渐近无偏时，我们提出了三种减小混合估计量方差的方法。此外，在模拟推荐系统上的实验表明，我们的方法是有效的，在减少估计的均方误差。
2020-11-29 cs.LG
Learning Policies from Self-Play with Policy Gradients and MCTS Value Estimates
Maastricht University（马斯特里赫特大学）
近年来，最先进的博弈代理通常涉及在自我博弈过程中训练的策略，其中蒙特卡罗树搜索（MCTS）算法和训练的策略迭代地相互改进。最强的结果已经获得时，政策的训练，以模仿MCTS的搜索行为，最大限度地减少交叉熵损失。由于多边贸易体制在设计上包含了探索的成分，以这种方式训练的政策也可能表现出类似的探索程度。在本文中，我们感兴趣的是学习政策的项目与未来的目标，包括提取可解释的策略，而不是国家的最先进的游戏性能。对于这些目标，我们认为，这种程度的探索是不可取的，我们提出了一个新的目标函数的培训政策，不是探索性的。我们推导出一个策略梯度表达式最大化这个目标函数，这可以估计使用MCTS值估计，而不是MCTS访问计数。我们经验性地评估各种属性的政策，在各种棋盘游戏。
2019-05-14 cs.AI cs.LG stat.ML
Diverse Exploration via Conjugate Policies for Policy Gradient Methods
Binghamton University（宾厄姆顿大学）；Yantai University（烟台大学）
我们解决的挑战，有效的勘探，同时保持良好的性能，在策略梯度方法。作为一种解决方案，我们提出了通过共轭政策的多样性探索（DE）。DE学习和部署一组共轭策略，这些策略可以作为共轭梯度下降的副产品方便地生成。我们提供的理论和实证结果表明，DE在实现探索，提高政策绩效的有效性，DE的优势，探索随机政策扰动。
2019-02-10 cs.LG stat.ML
Environment Probing Interaction Policies
Carnegie Mellon University（卡内基梅隆大学）；Facebook AI Research（脸书人工智能研究院）
强化学习（RL）的一个关键挑战是环境泛化：在一个环境中训练解决任务的策略通常无法在稍微不同的测试环境中解决相同的任务。一个常见的方法来改善环境间的转移是学习的测试环境的分布不变的政策。然而，我们认为，而不是不变的，该政策应确定环境的具体细微差别，并利用它们来实现更好的性能。在这项工作中，我们提出了“环境探测”的互动（EPI）政策，一个政策，探测一个新的环境，以提取一个隐含的理解，环境的行为。一旦获得此特定于环境的信息，它将用作特定于任务的策略的附加输入，该策略现在可以执行环境调节的操作以解决任务。为了学习这些EPI策略，我们提出了一个基于转换可预测性的奖励函数。具体来说，如果EPI策略生成的轨迹可以用于更好地预测转换，则会给出更高的奖励。我们的实验表明，EPI条件的特定任务的政策显着优于常用的策略泛化方法在新的测试环境。
2019-07-26 cs.AI cs.LG cs.RO
Policy composition in reinforcement learning via multi-objective policy optimization
DeepMind（深度思维）；Sony AI（索尼人工智能）
本文提出在多目标策略优化中引入教师策略作为额外目标，使智能体能组合并扩展教师策略以加速学习并提升任务性能，尤其在人形行走任务中通过控制教师选择获得更优奖励。
2023-08-30 cs.LG
Diversity-Inducing Policy Gradient: Using Maximum Mean Discrepancy to Find a Set of Diverse Policies
Harvard University（哈佛大学）
标准的强化学习方法旨在掌握解决任务的一种方法，而可能存在多个接近最优的策略。能够识别这种接近最优策略的集合可以允许领域专家有效地探索合理解决方案的空间。不幸的是，现有的方法，量化政策的不确定性，并不最终相关的政策与定性不同的行为。在这项工作中，我们正式的政策之间的差异，作为每个政策，鼓励国家访问和行动选择方面的多样性诱导的轨迹分布之间的差异。我们得出一个基于梯度的优化技术，可以与现有的策略梯度方法相结合，现在确定不同的集合表现良好的政策。我们展示了我们的基准和医疗保健任务的方法。
2019-05-31 cs.LG stat.ML
Linear Convergence of Natural Policy Gradient Methods with Log-Linear Policies
FAIR, Meta AI（Meta AI基础人工智能研究院）；LTCI, Télécom Paris（巴黎电信学院）；Institut Polytechnique de Paris（巴黎理工学院）；University of Washington（华盛顿大学）；CCM, Flatiron Institute（弗莱提荣研究所）
考虑无限时域折扣马尔可夫决策过程，研究了自然策略梯度（NPG）方法和具有对数线性策略类的Q-NPG方法的收敛速度。使用兼容函数近似框架，具有对数线性策略的两种方法都可以写成策略镜像下降（PMD）方法的不精确版本。我们表明，这两种方法达到线性收敛速度和$\tilde{\mathcal{O}}(1/ε^2)$样本的复杂性，使用一个简单的，非自适应的几何增加的步长，而不诉诸熵或其他强凸正则化。最后，作为一个副产品，我们得到了次线性收敛速度为任意常数步长的方法。
2023-02-21 cs.AI cs.LG math.OC
Metric Policy Representations for Opponent Modeling
Peking University（北京大学）
在多智能体强化学习中，由于其他智能体的行为所导致的环境固有的非平稳性，使得智能体很难独立地学习到一个好的策略。处理非平稳性的一种方法是对手建模，通过这种方法，代理考虑到其他代理策略的影响。大多数现有的工作依赖于预测其他代理的行动或目标，或区分不同的政策。然而，这样的建模无法同时捕捉政策之间的相似性和差异性，从而无法提供足够的有用信息时，推广到看不见的代理。为了解决这个问题，我们提出了一个通用的方法来学习其他代理的政策表示，这样的政策之间的距离是故意反映的距离表示之间的距离，而政策的距离是从训练过程中的采样联合行动分布推断。我们的经验表明，代理条件的学习政策表示可以很好地推广到看不见的代理在三个多智能体任务。
2022-06-21 cs.AI cs.LG cs.MA
Policy gradient methods for ordinal policies
Essilor International（依视路国际）
针对softmax策略无法利用动作顺序信息的问题，提出基于序数回归模型的策略参数化方法，在真实应用和连续动作任务中验证了其有效性。
2025-06-23 cs.LG
Policy Evaluation Networks
Mila - McGill University（Mila - 麦吉尔大学）；DeepMind；Mila - University of Montreal（Mila - 蒙特利尔大学）
许多强化学习算法使用价值函数来指导搜索更好的策略。这些方法估计单个策略的价值，同时在许多州进行推广。本文的核心思想是推翻这一惯例，并估计许多政策的价值，为一组国家。这种方法开辟了在政策空间中执行直接梯度上升而无需看到任何新数据的可能性。这种方法的主要挑战是找到一种方法来表示复杂的策略，以促进学习和推广。为了解决这个问题，我们引入了一个可扩展的，可区分的指纹识别机制，保留在一个简洁的嵌入基本的政策信息。我们的实证结果表明，结合这三个元素（学习的策略评估网络，策略指纹，梯度上升）可以产生优于那些生成训练数据的策略，以zero-shot的方式。
2020-02-26 cs.AI cs.LG stat.ML
Hierarchical Reinforcement Learning for Concurrent Discovery of Compound and Composable Policies
Istituto Italiano di Tecnologia（意大利技术研究院）；Università di Genova（热那亚大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
处理复杂任务的昂贵的强化学习（RL）的一个常见策略是将它们分解为一系列子任务，这些子任务通常更容易学习，并且可用于新问题。然而，当机器人学习这些子任务的策略时，常见的方法单独对待每个策略学习过程。因此，在通过策略组合处理复杂任务的学习过程之前，需要学习所有这些单独的（可组合的）策略。此外，这种单个策略的组合通常是顺序执行的，这不适合需要并发执行子任务的任务。在本文中，我们提出了一组组合高斯政策对应于这些子任务使用一组激活向量，从而在一个复杂的高斯政策，这是一个函数的手段和协方差矩阵的组合政策。此外，我们提出了一种算法，用于学习复合和组合政策在同一个学习过程中，利用从复合政策产生的政策外的数据。该算法建立在最大熵RL方法的基础上，有利于学习过程中的探索。实验结果表明，收集的经验与复合政策允许不仅要解决复杂的任务，但也获得有用的组合策略，成功地执行在其相应的子任务。
2019-08-01 cs.AI cs.LG cs.RO
Doubly Robust Off-Policy Value and Gradient Estimation for Deterministic Policies
Cornell University（康奈尔大学）；Harvard University（哈佛大学）
离线强化学习，其中使用由固定行为策略记录的非策略数据来评估和学习新策略，在实验有限的应用中至关重要，例如医学。本文研究了当行为连续时，确定性策略的策略值和梯度的估计问题。确定性策略的目标是至关重要的，因为最佳策略总是确定性的（直到领带）。在这种情况下，标准的重要性采样和双稳健估计策略值和梯度失败，因为密度比不存在。为了避免这个问题，我们提出了几个新的双重鲁棒估计基于不同的核化方法。我们分析的渐近均方误差，这些温和的利率条件下滋扰估计。具体来说，我们演示了如何获得一个利率是独立的地平线长度。
2020-06-06 cs.LG math.OC stat.ML
Agent Probing Interaction Policies
Carnegie Mellon University（卡内基梅隆大学）
多智能体系统中的强化学习是困难的，因为这些系统本质上是非平稳的。在这种情况下，识别对方的类型是至关重要的，可以帮助我们解决这个非静止的环境。我们已经研究了我们是否可以采用一些探测政策，帮助我们更好地识别环境中的其他代理的类型。我们做了一个简化的假设，即另一个智能体有一个固定的策略，我们的探测策略试图近似。我们的工作扩展了环境探测互动政策框架，以处理多代理环境。
2019-12-13 cs.AI cs.LG cs.MA
Game and Reference: Policy Combination Synthesis for Epidemic Prevention and Control
Nanjing University of Post and Telecommunication（南京邮电大学）
针对流行病防控政策制定中极端决策和历史政策次优问题，提出政策组合合成模型，结合对抗与对比学习，在真实数据上验证有效性。
2024-03-16 cs.AI
Parameter-Based Value Functions
The Swiss AI Lab IDSIA, USI, SUPSI（瑞士IDSIA人工智能实验室，瑞士意大利语区大学，瑞士南部应用科学大学）
传统的非策略行为者-批评者强化学习（RL）算法学习单个目标策略的价值函数。然而，当更新价值函数以跟踪学习的策略时，它们会忘记关于旧策略的潜在有用信息。我们引入一类称为基于参数的价值函数（PBVF）的价值函数，其输入包括策略参数。它们可以在不同的政策之间进行推广。PBVF可以评估给定状态、状态-动作对或RL代理初始状态分布的任何策略的性能。首先，我们将展示PBVF如何产生新的政策外策略梯度定理。然后，我们推导出基于蒙特卡洛或时间差分方法训练的PBVF的非策略演员-评论家算法。我们展示了如何学习PBVF可以zero-shot学习新的政策，在训练过程中看到优于任何政策。最后，我们的算法进行评估，选择离散和连续控制任务，使用浅的政策和深神经网络。它们的性能与最先进的方法相当。
2021-08-13 cs.AI cs.LG stat.ML
Efficient Evaluation of Natural Stochastic Policies in Offline Reinforcement Learning
Cornell University（康奈尔大学）
我们研究了自然随机策略的有效离策略评估，这些策略是根据与行为策略的偏差定义的。这是一个偏离文献的政策外的评价，其中大多数工作考虑明确规定的政策的评价。至关重要的是，具有自然随机策略的离线强化学习可以帮助缓解弱重叠问题，导致基于当前实践的政策，并提高政策在实践中的可实施性。与经典的情况下，一个预先指定的评估政策，评估自然随机政策时，效率界，衡量最佳可实现的估计误差，膨胀，因为评估政策本身是未知的。在本文中，我们推导出两种主要类型的自然随机政策：倾斜政策和修改的治疗政策的效率界。然后，我们提出了有效的非参数估计，在非常宽松的条件下达到效率界。这些也享有（部分）双重鲁棒性属性。
2020-11-03 cs.LG math.OC stat.ML
Fat-to-Thin Policy Optimization: Offline RL with Sparse Policies
Cranberry-Lemon University（蔓越莓柠檬大学）；University of the Witwatersrand（威特沃特斯兰德大学）
针对离线强化学习中稀疏策略难以优化的问题，提出Fat-to-Thin策略优化算法，利用肥尾提议策略向稀疏策略注入知识，在安全关键模拟和MuJoCo基准上验证有效。
2025-01-24 cs.LG
Noisy-Space Policy Gradient for Diffusion Policies in Offline Reinforcement Learning
TRATON CV AB（特拉顿CV公司）；KTH Royal Institute of Technology（瑞典皇家理工学院）
针对扩散策略与强化学习整合的挑战，提出噪声空间Q函数和策略梯度（NSPG），通过KL正则化回归形式优化噪声潜在变量，在D4RL和OGBench基准上验证了有效性。
2026-09-09 cs.AI cs.LG cs.RO
Efficient Multi-Policy Evaluation for Reinforcement Learning
University of Virginia（弗吉尼亚大学）
本文提出一种定制化行为策略，通过共享样本降低多目标策略评估的方差，在理论上证明其样本效率优于同策略评估，并在多种环境中取得最优性能。
2024-12-25 cs.LG
An Optimal Online Method of Selecting Source Policies for Reinforcement Learning
迁移学习通过利用来自先前经验的相关知识来显著加速强化学习过程。在学习过程中如何选择最优的源策略是一个非常重要而又具有挑战性的问题。对这个问题的理论分析很少。在本文中，我们开发了一个最佳的在线方法来选择源策略的强化学习。该方法将在线源策略选择问题转化为多臂强盗问题，并通过策略重用增强Q学习。我们提供了理论保证的最优选择过程和收敛到最优策略。此外，我们进行实验，基于网格的机器人导航域，以证明其效率和鲁棒性，通过比较国家的最先进的迁移学习方法。
2017-09-24 cs.AI cs.LG stat.ML
DR-APO: Decoupled-Representation Advantage-Guided Policy Optimization from Continuous Control to Embodied Navigation
DEEP Robotics（深度机器人公司）；Zhejiang University（浙江大学）
DR-APO为高斯、扩散、流匹配策略提供统一优化原则，在MuJoCo任务中具竞争力，NavDP后训练显著提升仿真与真实导航的成功率。
2026-10-14 cs.LG cs.RO
Towards an Understanding of Default Policies in Multitask Policy Optimization
Gatsby Unit, UCL（伦敦大学学院盖茨比计算神经科学中心）；Inria（法国国家信息与自动化研究所）；Oxford University（牛津大学）；Microsoft Research（微软研究院）
最近深度强化学习的大部分成功都是由正则化策略优化（RPO）算法驱动的，这些算法在多个领域都具有强大的性能。在这一系列的方法中，智能体被训练来最大化累积奖励，同时惩罚偏离某些参考或默认策略的行为。除了经验上的成功，还有一个强大的理论基础来理解RPO方法应用于单一任务，与自然梯度，信赖域和变分方法的连接。然而，有有限的正式了解理想的属性默认政策的多任务设置，一个越来越重要的领域，该领域转向培训更普遍的能力代理。在这里，我们通过正式地将默认策略的质量与其对优化的影响联系起来，迈出了填补这一空白的第一步。使用这些结果，然后，我们推导出一个原则性的RPO算法多任务学习具有很强的性能保证。
2022-03-23 cs.LG
Exploring Equity of Climate Policies using Multi-Agent Multi-Objective Reinforcement Learning
Delft University of Technology（代尔夫特理工大学）
本文提出Justice框架，结合多目标多智能体强化学习与整合评估模型，以生成兼顾公平性与气候经济目标的政策建议。
2025-11-30 cs.LG
Learning Optimal Deterministic Policies with Stochastic Policy Gradients
Politecnico di Milano（米兰理工大学）
本文针对实践中将学习的随机策略部署为确定性策略的做法，提出新框架并在弱梯度支配假设下证明其全局收敛性，同时定量比较了基于动作与基于参数的探索，为调整探索水平优化样本复杂度与策略性能权衡提供了理论依据。
2024-05-30 cs.LG
MDP Planning as Policy Inference
Offtopia
将周期性马尔可夫决策过程规划视为贝叶斯推断，通过策略作为隐变量，利用策略最优性的非归一化概率构建后验分布，结合变分序列蒙特卡洛方法近似后验分布，通过策略一致性扫面和粒子间转移随机性耦合避免模拟噪声干扰，最终通过后验预测采样生成随机控制策略。
2026-08-18 cs.LG
Sequential Triggers for Watermarking of Deep Reinforcement Learning Policies
Kansas State University（堪萨斯州立大学）
提出了一种新的深度强化学习（DRL）策略水印方案。该方案提供了一种机制，用于将唯一标识符以其对指定的状态转换序列的响应的形式集成在策略内，同时对策略的标称性能产生最小的影响。该水印方案的应用包括检测专有策略的未授权复制，以及使授权实体能够优雅地中断或终止DRL活动。我们证明了我们的建议的可行性，通过实验评估水印的DQN政策在Cartpole环境中训练。
2019-06-03 cs.AI cs.CR cs.LG
Counterfactual Learning with General Data-generating Policies
Yale University（耶鲁大学）；Northwestern University（西北大学）；Mercari, Inc.（Mercari 株式会社）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
脱离策略评估（OPE）尝试使用来自不同策略的日志数据来预测反事实策略的性能。我们扩展了它的适用性，通过开发一个OPE的方法为一类完全支持和不足的支持日志记录政策的上下文强盗设置。该类包括确定性的强盗（如置信上限）以及基于监督和无监督学习的确定性决策。我们证明，我们的方法的预测收敛概率的真实表现的反事实的政策作为样本量的增加。我们验证我们的方法与实验部分和完全确定性的日志记录政策。最后，我们应用它来评估一个主要的在线平台的优惠券定位政策，并展示如何改进现有的政策。
2022-12-04 cs.AI cs.LG econ.EM
The Mirage of Optimizing Training Policies: Monotonic Inference Policies as the Real Objective for LLM Reinforcement Learning
Tianjin University（天津大学）；Alibaba（阿里巴巴）
针对LLM强化学习中训练-推理概率不一致导致的策略不稳定问题，提出单调推理策略改进（MIPI）目标及两阶段框架MIPU，通过推理侧间隙代理选择候选更新，提升推理性能与训练稳定性。
2026-06-28 cs.LG
Diverse Exploration for Fast and Safe Policy Improvement
Binghamton University（宾汉姆顿大学）；Yantai University（烟台大学）；Assured Information Security（Assured Information Security（Assured Information Security公司））
我们研究了一个重要但未得到充分解决的问题，即快速安全地改善在线强化学习领域的政策。作为其解决方案，我们提出了一种新的探索策略-多样化的探索（DE），它学习和部署一组多样化的安全策略来探索环境。我们提供DE理论解释为什么多样性的行为政策，使有效的勘探，而不牺牲剥削。我们的实证研究表明，在线策略改进算法框架实现DE策略可以实现快速的策略改进和安全的在线性能。
2018-02-22 cs.LG
Verifiable Reinforcement Learning via Policy Extraction
MIT（麻省理工学院）；CSAIL（计算机科学与人工智能实验室）
虽然深度强化学习已经成功地解决了许多具有挑战性的控制任务，但其现实世界的适用性受到无法确保学习策略安全性的限制。我们提出了一种通过训练决策树策略来实现可验证强化学习的方法，该策略可以表示复杂的策略（因为它们是非参数的），但可以使用现有技术进行有效验证（因为它们是高度结构化的）。挑战在于决策树策略很难训练。我们提出了VIPER算法，该算法结合了模型压缩和模仿学习的思想，以学习由DNN策略（称为oracle）及其Q函数指导的决策树策略，并表明它的性能大大优于两个基线。我们使用VIPER（i）学习一个可证明的强大的决策树政策的Atari乒乓球的一个变种的符号状态空间，（ii）学习一个决策树政策的玩具游戏的基础上乒乓球，可证明永远不会输，和（iii）学习一个可证明的稳定决策树政策的cart-pole。在每种情况下，决策树策略都实现了与原始DNN策略相等的性能。
2019-01-24 cs.LG stat.ML
Advanced Policies: A First-Principles Path from Policy Gradient to Q-Learning
本文通过熵增强奖励与相对熵正则化构建单参数高级策略族，推导出高级演员-评论家算法，统一了策略梯度与Q学习，并在离散与连续动作上验证了有效性。
2026-09-29 cs.LG stat.ML
Smoothing Policies and Safe Policy Gradients
Universitat Pompeu Fabra（庞培法布拉大学）；Meta；Politecnico di Milano（米兰理工大学）
策略梯度（PG）算法是强化学习在现实世界控制任务（如机器人）中备受期待的应用的最佳候选者之一。然而，每当学习过程本身必须在物理系统上执行或涉及任何形式的人机交互时，这些方法的试错性质就会带来安全问题。在本文中，我们解决了一个特定的安全配方，其中目标和危险都编码在一个标量奖励信号和学习代理的约束，永远不会恶化其性能，衡量为预期的奖励总和。通过研究演员只有策略梯度从随机优化的角度来看，我们建立了改善保证一类参数的政策，推广现有的结果高斯政策。这一点，再加上新的上界的方差的策略梯度估计，使我们能够确定元参数的时间表，保证单调改善的概率很高。两个关键元参数是参数更新的步长和梯度估计的批量大小。通过联合，自适应选择这些元参数，我们得到了一个策略梯度算法的单调改善保证。
2022-06-17 cs.LG stat.ML
Single or Multiple Policies for Phase-Structured Reinforcement Learning?
Imperial College London（伦敦帝国学院）
本研究探讨阶段结构强化学习中单一共享策略与多策略的优劣，提出基于机制持续时间的阶段分解方法，并通过实验验证四个关键假设。
2026-10-05 cs.AI cs.LG cs.SY
Non-Markovian policies occupancy measures
Microsoft Research Montréal（微软研究院蒙特利尔）；MILA（蒙特利尔学习算法研究所）；McGill University（麦吉尔大学）
强化学习（RL）的一个中心研究对象是马尔可夫策略，其中代理的行为是从无记忆概率分布中选择的，仅以其当前状态为条件。马尔可夫政策家族的范围足够广，令人感兴趣，但又足够简单，便于分析。然而，强化学习往往涉及更复杂的政策：政策的合奏，政策的选择，政策更新在线等，我们的主要贡献是证明，任何非马尔可夫政策的占用措施，即，与它一起收集的过渡样本的分布可以等效地由马尔可夫策略生成。这个结果允许定理的马尔可夫政策类直接扩展到其非马尔可夫对应，大大简化了证明，特别是那些涉及重放缓冲区和数据集。我们在强化学习领域提供了各种应用实例。
2022-05-27 cs.LG cs.SY eess.SY
Optimizing over a Restricted Policy Class in Markov Decision Processes
University of Waterloo（滑铁卢大学）；Adobe Research（奥多比研究院）；DeepMind（深度思维）；Netflix（网飞）
我们解决的问题，找到一个最佳的政策在马尔可夫决策过程下的限制政策类定义的凸包的一组基本政策。这个问题是非常感兴趣的应用程序中，一些合理的好（或安全）的政策是已知的，我们只感兴趣的优化在其凸包。我们表明，这个问题是NP-难的精确解决以及近似到任意精度。然而，在一个条件下，这是类似于占用措施的基本政策有很大的重叠，我们表明，存在一个有效的算法，找到一个政策，几乎是最好的凸组合的基本政策。该算法的运行时间与状态数成线性关系，与基本策略数成多项式关系。在实践中，我们证明了一个有效的实现大型状态的问题。与传统的策略梯度方法相比，该方法的优点在于，除了需要计算一些基本策略的占用测度外，迭代法在优化过程中不需要与环境交互。这在复杂的系统中尤其重要，在复杂的系统中，估计策略的价值可能是一个耗时的过程。
2018-02-26 cs.LG stat.ML
