Let Offline RL Flow: Training Conservative Agents in the Latent Space of Normalizing Flows
Tinkoff（Tinkoff公司）
离线强化学习的目标是在预先记录和固定的数据集上训练策略，而无需任何额外的环境交互。在此设置中存在两个主要挑战：（1）由近似未被训练数据很好地覆盖的状态-动作对的值引起的外推误差，以及（2）行为和推理策略之间的分布移位。解决这些问题的一种方法是诱导保守主义--即，使学习到的策略更接近行为策略。为了实现这一点，我们建立在最近的工作学习策略在潜在的行动空间，并使用一种特殊形式的规范化流来构建一个生成模型，我们使用作为一个保守的行动编码器。这个Normalizing Flows动作编码器在离线数据集上以监督的方式进行预训练，然后通过强化学习训练额外的策略模型-潜在空间中的控制器。这种方法避免了查询训练数据集之外的动作，因此不需要对数据集之外的动作进行额外的正则化。我们在各种运动和导航任务上评估了我们的方法，证明我们的方法在大部分数据集上优于最近提出的具有生成动作模型的算法。
2023-01-30 cs.AI cs.LG cs.NE
Mitigation of Adversarial Policy Imitation via Constrained Randomization of Policy (CRoP)
SAIL Lab（SAIL实验室）；University of New Haven（纽黑文大学）
深度强化学习（DRL）策略容易受到未经授权的复制攻击，其中对手利用模仿学习从观察到的行为中复制目标策略。在本文中，我们提出了约束随机化的政策（CRoP）作为缓解这种攻击的技术。CRoP导致在性能损失约束下随机执行次优动作。我们提出了一个参数分析的CRoP，解决CRoP的最优性，并建立理论界的对抗预算和损失的期望。此外，我们报告了在Atari环境下的对抗性模仿的CRoP的实验评估，证明了我们提出的方法对策略复制攻击的有效性和可行性。
2021-09-29 cs.AI cs.LG
Graph World Models for Constrained Epidemic Policy Planning
Virginia Tech（弗吉尼亚理工大学）
提出EpiMind图世界模型框架，通过图分解状态空间模型和ADMM优化实现跨区域受限流行病政策规划，显著降低预测误差并保证资源可行性。
2026-10-12 cs.AI cs.LG
Learning General Parameterized Policies for Infinite Horizon Average Reward Constrained MDPs via Primal-Dual Policy Gradient Algorithm
Purdue University（普渡大学）；Indian Institute of Technology Kanpur（坎普尔印度理工学院）
针对无限时域平均回报约束马尔可夫决策过程，首次开展通用参数化策略下的遗憾与约束违反分析，提出原对偶策略梯度算法，实现低遗憾全局最优策略及对应约束违反界保障。
2024-10-30 cs.AI cs.LG
Data-Efficient Hierarchical Goal-Conditioned Reinforcement Learning via Normalizing Flows
ArenaX Labs（ArenaX实验室）
本文提出基于归一化流的分层隐式Q学习框架，通过提升策略表达能力与数据效率，实现更稳健的长周期任务学习。
2026-02-11 cs.AI cs.LG cs.RO
Boosting Trust Region Policy Optimization by Normalizing Flows Policy
Columbia University（哥伦比亚大学）
我们提出了改进的信赖域策略搜索与规范化流的政策。我们说明了当信任区域由KL发散约束构造时，规范化流策略生成远离前一策略的“中心”的样本，这可能使更好的探索，并有助于避免坏的局部最优。通过广泛的比较，我们表明，规范化流政策显着改善基线架构，特别是在高维任务与复杂的动态。
2019-02-01 cs.AI cs.LG stat.ML
A Continuous-Time Actor-Critic Framework for Jump-Diffusion Controls with Normalizing Flows
Yau Mathematical Sciences Center, Tsinghua University（清华大学丘成桐数学科学中心）；Department of Mathematics, Tsinghua University（清华大学数学系）；Department of Mathematics, University of California, Santa Barbara（加州大学圣塔芭芭拉分校数学系）；Department of Statistics and Applied Probability, University of California, Santa Barbara（加州大学圣塔芭芭拉分校统计与应用概率系）；Yanqi Lake Beijing Institute of Mathematical Sciences and Applications（北京雁栖湖应用数学研究院）
本文提出一个无网格求解器，用于解决熵正则化控制问题和具有跳跃的随机博弈，通过时间非齐性小q函数和适当的职业测度，结合条件归一化流参数化Actor，实现灵活的非高斯策略，并在多个金融和博弈场景中验证了方法的有效性。
2026-10-27 cs.LG math.OC
Conformal Constrained Policy Optimization for Cost-Effective LLM Agents
本文提出Conformal Constrained Policy Optimization方法，通过结合约束策略优化、离策略强化学习和在线符合预测技术，在保证可靠性的同时实现30%的成本降低。
2026-03-23 cs.AI cs.LG
COptiDICE: Offline Constrained Reinforcement Learning via Stationary Distribution Correction Estimation
KAIST（韩国科学技术院）；DeepMind（深度思维）
我们考虑离线约束强化学习（RL）问题，其中智能体的目标是计算一个政策，最大化预期收益，同时满足给定的成本约束，学习只从预先收集的数据集。这种问题设置在许多现实世界的场景中是有吸引力的，在这些场景中，与环境的直接交互是昂贵的或有风险的，并且由此产生的策略应该符合安全约束。然而，计算保证满足离线RL设置中的成本约束的策略具有挑战性，因为偏离策略的评估本质上存在估计误差。在本文中，我们提出了一个离线约束RL算法，优化的政策在空间的平稳分布。我们的算法，COptiDICE，直接估计的平稳分布校正的最优策略的回报，同时限制成本上界，与实际的约束满足产生一个成本保守的政策的目标。实验结果表明，COptiDICE算法在约束满足和收益最大化方面均优于基准算法.
2022-04-19 cs.AI cs.LG
Robust off-policy Reinforcement Learning via Soft Constrained Adversary
Kyoto University（京都大学）；Honda R&D Corp.（本田研发公司）
本文针对离策略鲁棒强化学习中策略与最优对抗者相互依赖及扰动假设局限的问题，提出基于f-散度约束和先验分布知识的对抗框架，推导出两种攻击及鲁棒学习方法，并在样本高效离策略RL中验证了其优异性能。
2024-08-31 cs.AI cs.LG
First Order Constrained Optimization in Policy Space
New York University（纽约大学）；UC San Diego（加州大学圣地亚哥分校）；New York University Shanghai（上海纽约大学）
在强化学习中，智能体试图通过与环境的交互来学习高性能的行为，这些行为通常以奖励函数的形式量化。然而，行为的某些方面--比如那些被认为是不安全的和应该避免的--最好通过约束来捕捉。我们提出了一种新的方法，称为一阶约束优化策略空间（FOCOPS），最大限度地提高代理的整体回报，同时确保代理满足一组成本约束。使用从当前策略生成的数据，FOCOPS首先通过在非参数化策略空间中求解约束优化问题来找到最优更新策略。FOCOPS然后将更新策略投射回参数策略空间。我们的方法在整个训练过程中对最坏情况下的约束违反有一个近似的上限，并且本质上是一阶的，因此易于实现。我们提供的经验证据表明，我们的简单的方法实现了更好的性能在一组受约束的机器人机车任务。
2020-10-25 cs.AI cs.LG stat.ML
Reward Constrained Policy Optimization
Technion Israel Institute of Technology（以色列理工学院）；DeepMind（深度思维）
在强化学习中解决任务并不容易。由于智能体的目标是最大化累积的奖励，它经常学会利用奖励信号中的漏洞和错误指定，从而导致不必要的行为。虽然约束可以解决这个问题，但对于一般约束没有封闭形式的解决方案。在这项工作中，我们提出了一种新的多时间尺度的约束策略优化方法，称为“奖励约束策略优化”（RCPO），它使用一个替代的惩罚信号，以指导政策对一个约束满足。我们证明了我们的方法的收敛性，并提供了经验证据，它的能力，训练约束满足政策。
2018-12-26 cs.AI cs.LG stat.ML
APC-RL: Exceeding Data-Driven Behavior Priors with Adaptive Policy Composition
Department of Computer Science Örebro University（计算机科学系 Örebro大学）
APC-RL通过自适应策略组合方法，有效整合稀疏、次优或不一致的演示数据，提升强化学习的效率与鲁棒性。
2026-01-27 cs.AI cs.LG
Detector-Evasive LLM Paraphrasing via Constrained Policy Optimization
School of ECEE, Arizona State University（亚利桑那州立大学电子工程与计算机科学学院）；Department of Computer Science, University of California, Santa Barbara（加州大学圣巴巴拉分校计算机科学系）
提出DEPO算法，将检测器规避的LLM释义建模为约束马尔可夫决策过程，通过拉格朗日对偶强化学习在保持语义的同时实现高效规避。
2026-05-29 cs.AI cs.LG
Incentivizing Safer Actions in Policy Optimization for Constrained Reinforcement Learning
Indian Institute of Technology Kharagpur（印度理工学院克拉格浦尔分校）；Synopsys（Synopsys公司）
针对约束强化学习中策略优化在约束边界附近不稳定的问题，提出带自适应激励和增量惩罚的IP3O算法，在基准上优于现有安全RL算法，并提供最坏情况误差的理论保证。
2025-09-11 cs.AI cs.LG
Joint Synthesis of Safety Certificate and Safe Control Policy using Constrained Reinforcement Learning
Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）；Shanghai Qizhi Institute（上海期智研究院）
安全性是利用强化学习控制复杂动力系统的主要考虑因素，其中安全证书可以提供可证明的安全性保证。有效的安全证书是指示安全状态具有低能量的能量函数，并且存在允许能量函数总是耗散的对应的安全控制策略。安全认证与安全控制政策是两个紧密相关的概念，两者的综合都具有挑战性。因此，现有的基于学习的研究将它们中的任何一个视为先验知识来学习另一个，这限制了它们对一般未知动态的适用性。本文提出了一种新的方法，同时合成基于能量函数的安全证书和学习的安全控制策略与CRL。我们不依赖于现有的基于模型的控制器或完美的安全证书的先验知识。特别是，我们制定了一个损失函数，以优化安全证书参数，最大限度地减少能源的增加。通过将此优化过程作为外循环添加到基于拉格朗日的约束强化学习（CRL）中，我们联合更新策略和安全证书参数，并证明它们将收敛到各自的局部最优值、最优安全策略和有效的安全证书。我们评估我们的算法在多个安全关键的基准环境。结果表明，该算法学习可证明安全的策略，没有违反约束。通过数值计算验证了综合安全证书的有效性和可行性。
2022-05-26 cs.AI cs.LG
Constrained Policy Optimization via Bayesian World Models
ETH Zurich（苏黎世联邦理工学院）
在高风险的现实世界应用中部署强化学习时，提高样本效率和安全性是至关重要的挑战。我们提出了LAMBDA，一种新的基于模型的方法，通过约束马尔可夫决策过程建模的安全关键任务的政策优化。我们的方法利用贝叶斯世界模型，并利用由此产生的不确定性，以最大限度地提高乐观的任务目标的上限，以及悲观的安全约束的上限。我们展示了LAMBDA的安全健身房基准套件在样本效率和约束违反方面的最先进的性能。
2022-02-06 cs.AI cs.LG cs.RO
ACPO: A Policy Optimization Algorithm for Average MDPs with Constraints
University of Southern California（南加州大学）；Google DeepMind（谷歌DeepMind）
针对平均准则约束MDP，提出ACPO算法，基于信赖域与敏感性理论，提供性能保证，并在OpenAI Gym环境中优于现有方法。
2024-05-24 cs.AI cs.LG
Autoregressive Policy Optimization for Constrained Allocation Tasks
Munich Center for Machine Learning, LMU Munich（慕尼黑机器学习中心，慕尼黑大学）
针对受约束分配任务中动作空间受限导致策略学习困难的问题，提出基于自回归过程顺序采样分配方案并引入去偏机制的新方法，在多项任务上优于多种CRL方法。
2024-09-27 cs.AI cs.LG
MUSBO: Model-based Uncertainty Regularized and Sample Efficient Batch Optimization for Deployment Constrained Reinforcement Learning
Princeton University（普林斯顿大学）
在诸如医疗保健、金融、机器人和推荐系统的许多当代应用中，用于数据汇集和在线学习的新策略的连续部署要么成本低要么不切实际。我们考虑一种介于纯离线强化学习（RL）和纯在线RL之间的设置，称为部署约束RL，其中用于数据采样的策略部署的数量是有限的。为了解决这个具有挑战性的任务，我们提出了一个新的算法学习框架，称为基于模型的不确定性正则化和样本有效批量优化（MUSBO）。我们的框架为每个部署发现新颖且高质量的样本，以实现高效的数据汇集。在每个离线训练会话中，我们通过量化收集的数据中的不确定性来引导策略更新。在高支持区域（低不确定性），我们通过采取积极的更新来鼓励我们的政策。在低支持区域（高不确定性），当政策引导到分布外区域时，我们通过估计的不确定性量化来降低权重。实验结果表明，MUSBO在部署受限的RL设置中实现了最先进的性能。
2021-06-03 cs.AI cs.LG
BCPPO: Bachelier-Inspired Constrained Proximal Policy Optimization for Tail-Risk-Aware Safe Reinforcement Learning
Southern University of Science and Technology（南方科技大学）
该研究提出BCPPO算法，通过带随机样本掩码的成本预测网络分歧结合巴舍利耶公式生成平滑惩罚，在175次运行的多任务测试中，其平均回报更高、平均CVaR更低，实现了奖励与安全的实用平衡。
2026-09-01 cs.AI cs.LG
Towards Painless Policy Optimization for Constrained MDPs
Simon Fraser University（西蒙弗雷泽大学）；SAIT AI Lab（SAIT人工智能实验室）；Amii（阿尔伯塔机器智能研究所）；University of Alberta（阿尔伯塔大学）；DeepMind（深度思维）；Mila（米拉人工智能研究所）；McGill University（麦吉尔大学）
研究了无限时域$γ$ -折扣约束马尔可夫决策过程（CMDP）中的策略优化问题.我们的目标是返回一个策略，实现大的预期回报与一个小的约束违反。我们认为在线设置与线性函数近似，并假设全球访问相应的功能。我们提出了一个通用的原始-对偶框架，使我们能够约束奖励次优和约束违反任意算法的原始和对偶遗憾在线线性优化问题。我们实例化这个框架使用硬币投注算法，并提出硬币投注Politex（CBP）算法。假设动作-价值函数是$\varepsilon_b$ -接近$d$维状态-动作特征的跨度并且没有采样误差，我们证明了CBP的$T$迭代导致$O\left(\frac{1}{(1 - γ)^3 \sqrt{T}} + \frac{\varepsilon_b\sqrt{d}}{(1 - γ)^2} \right)$奖励次优和$O\left(\frac{1}{(1 - γ)^2 \sqrt{T}} + \frac{\varepsilon_b \sqrt{d}}{1 - γ} \right)$约束违反。重要的是，与梯度下降-上升和其他最近的方法不同，CBP不需要广泛的超参数调整。通过在合成环境和Cartpole环境下的实验，我们证明了CBP的有效性和鲁棒性。
2022-04-11 cs.AI cs.LG
Safe Reinforcement Learning for Autonomous Vehicles through Parallel Constrained Policy Optimization
Tsinghua University（清华大学）；University of Michigan（密歇根大学）
强化学习（RL）由于其解决复杂分类和控制问题的潜力，在自动驾驶领域引起了越来越多的关注。然而，现有的强化学习算法很少应用于真实车辆，主要有两个问题：行为无法解释，并且它们无法保证新场景下的安全性。本文提出了一种安全的RL算法，称为并行约束策略优化（PCPO），两个自动驾驶任务。PCPO将目前常见的行动者-批评者结构扩展为一个三组件学习框架，其中三个神经网络分别用于逼近策略函数、价值函数和一个新添加的风险函数。同时，信任域约束的加入，允许大的更新步骤，而不打破单调改善条件。为了保证安全约束问题的可行性，采用同步并行学习器探索不同的状态空间，加快了学习和策略更新。对自动驾驶汽车的两种场景的模拟证实了我们可以在确保安全的同时实现快速学习。
2020-03-03 cs.AI cs.LG stat.ML
Quantile Constrained Reinforcement Learning: A Reinforcement Learning Framework Constraining Outage Probability
KAIST（韩国科学技术院）
约束强化学习（Reinforcement Learning，RL）是强化学习的一个分支，其目标是在满足给定约束的前提下，找到一个最大化期望累积收益的最优策略。以往的约束强化学习算法大多将期望累积和成本作为约束条件。然而，具有该约束的优化不能保证累积和成本超过给定阈值的中断事件的目标概率。本文提出了一个框架，名为分位数约束RL（QCRL），限制的分位数的分布的累积和成本，这是一个必要和充分条件，以满足中断约束。这是第一个工作，解决的问题，适用于分位数的策略梯度定理，并提供了近似梯度的分位数的理论结果。在此基础上，利用拉格朗日乘子技术，构造了一种分位数约束策略优化算法（QCPO）。我们使用分布强化学习与大偏差原则（LDP）估计分位数和尾部概率的累积和成本的实施QCPO。所实现的算法在训练期后满足中断概率约束。
2022-11-28 cs.AI cs.LG
Robust Lagrangian and Adversarial Policy Gradient for Robust Constrained Markov Decision Processes
Agency for Science, Technology and Research（新加坡科技研究局）；CFAR（新加坡未来城市实验室）
针对鲁棒约束马尔可夫决策过程现有RCPG方法的缺陷，提出两种改进算法，经理论推导与扰动实验验证，性能优于传统变体与消融模型，其中对抗式RCPG表现尤为突出。
2024-05-15 cs.AI cs.LG cs.NE
Novel Policy Seeking with Constrained Optimization
Shanghai AI Lab（上海人工智能实验室）
在解决问题的过程中，我们人类可以对同一个问题提出多种新颖的解决方案。然而，强化学习算法只能产生一组单调的策略，使累积奖励最大化，但缺乏多样性和新颖性。在这项工作中，我们解决了在强化学习任务中生成新策略的问题。而不是遵循现有方法中使用的多目标框架，我们建议重新考虑约束优化的新视角下的问题。我们首先引入了一个新的度量来评估策略之间的差异，然后根据新的视角设计了两个实用的新策略生成方法。两种方法，即约束任务新平分线（CTNB）和内部政策差异（IPD），来自可行方向法和内点法，通常已知的约束优化文献。MuJoCo控制套件上的实验比较表明，我们的方法可以实现大幅改善，比以前的新颖性寻求方法的新颖性的政策和他们的表现在原始任务。
2022-10-29 cs.AI cs.LG stat.ML
Constrained Policy Improvement for Safe and Efficient Reinforcement Learning
Bar-Ilan University（巴伊兰大学）；UC Berkeley（加州大学伯克利分校）
提出了一种强化学习（RL）的策略改进算法--重路由行为改进（RBI）。RBI被设计为考虑Q函数的评估误差。当从有限的过去经验数据学习$Q$值时，这种错误在RL中是常见的。忽略这些错误的贪婪策略或甚至受约束的策略优化算法可能遭受改进惩罚（即，负策略改进）。为了最小化改进惩罚，RBI的想法是衰减低概率动作的快速策略变化，这些动作的采样频率较低。这种方法被证明可以避免灾难性的性能下降，并减少后悔时，从一批过去的经验学习。通过一个双臂强盗高斯分布的奖励的例子，我们表明，它也提高了数据的效率时，最佳的行动有一个高的方差。我们在Atari学习环境中的两项任务中评估RBI：（1）从多个行为策略的观察中学习和（2）迭代RL。我们的研究结果表明，RBI的优势，贪婪的政策和其他有约束的政策优化算法作为一个安全的学习方法，并作为一个通用的数据有效的学习算法。我们的RBI实现的匿名Github存储库可以在https://github.com/eladsar/rbi找到。
2019-07-10 cs.AI cs.LG stat.ML
PINF: Continuous Normalizing Flows for Physics-Constrained Deep Learning
Beihang University（北京航空航天大学）；Zhongguancun Laboratory（中关村实验室）
针对 Fokker-Planck 方程的概率密度归一化难题，提出 Physics-Informed Normalizing Flows（PINF），将扩散通过特征线方法融入连续归一化流，实现无网格、无因果依赖的高维含时与稳态方程高效求解。
2023-09-26 cs.AI cs.LG
Policy Optimization for Constrained MDPs with Provable Fast Global Convergence
Texas A&M University（得克萨斯农工大学）
我们解决的问题，找到一个有约束的马尔可夫决策过程（CMDP）使用梯度下降为基础的算法的最优策略。以前的结果表明，原始-对偶方法可以实现$\mathcal{O}(1/\sqrt{T})$全局收敛速度的最优性差距和约束违反。我们提出了一种新的算法称为策略镜像下降原始对偶（PMD-PD）算法，可以证明实现更快的$\mathcal{O}(\log(T)/T)$收敛速度的最优性差距和约束违反。对于原始（策略）更新，PMD-PD算法利用修改的价值函数并执行自然的策略梯度步骤，其等效于具有适当正则化的镜像下降步骤。对于双重更新，PMD-PD算法使用修改的拉格朗日乘子，以确保更快的收敛速度。我们还提出了这种方法的两个扩展的设置与零约束违反和基于样本的估计。实验结果表明，与现有的基于策略梯度的算法相比，PMD-PD算法具有更快的收敛速度和更好的性能。
2022-02-03 cs.AI cs.LG math.OC
Robust Constrained-MDPs: Soft-Constrained Robust Policy Optimization under Model Uncertainty
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））
在本文中，我们专注于问题的鲁棒性强化学习（RL）算法与模型的不确定性。事实上，在基于模型的RL的框架中，我们建议将约束马尔可夫决策过程（CMDP）理论与鲁棒马尔可夫决策过程（RMDP）理论相结合，从而形成鲁棒约束MDP（RCMDP）。这个公式，简单的本质上，使我们能够设计RL算法，是强大的性能，并提供约束满足保证，相对于系统的状态转移概率的不确定性。对RCMPD的需求对于RL的实际应用非常重要。例如，这样的公式化可以在安全关键应用中从模拟到现实世界（Sim2Real）的策略转移中发挥重要作用，这将受益于相对于模型不确定性而言稳健的性能和安全保证。我们首先提出了一般的问题公式下的概念RCMDP，然后提出了一个拉格朗日公式的最优问题，导致鲁棒约束的策略梯度RL算法。最后，我们验证了这一概念的库存管理问题。
2020-10-10 cs.LG
Constrained Policy Optimization
UC Berkeley（加州大学伯克利分校）；OpenAI
对于强化学习的许多应用，指定奖励函数和约束可能更方便，而不是试图通过奖励函数设计行为。例如，与人类或人类周围进行物理交互的系统应该满足安全约束。策略搜索算法的最新进展（Mnih等人，2016年，Schulman等人，2015年，Lillicrap等人，2016年，Levine等人，2016）已经在高维控制中启用了新的功能，但不考虑约束设置。我们提出了约束策略优化（CPO），约束强化学习的第一个通用策略搜索算法，保证在每次迭代时接近约束满足。我们的方法使我们能够训练神经网络政策的高维控制，同时保证政策的行为在整个培训。我们的保证是基于一个新的理论结果，这是独立的利益：我们证明了一个绑定的预期回报的两个政策之间的平均分歧。我们证明了我们的方法在模拟机器人运动任务的有效性，代理必须满足安全性的约束。
2017-05-30 cs.LG
Constrained Policy Gradient Method for Safe and Fast Reinforcement Learning: a Neural Tangent Kernel Based Approach
Chalmers University of Technology（查尔姆斯理工大学）
本文提出了一种有约束的策略梯度算法。我们通过以下步骤引入安全学习的约束。首先，放慢学习（惰性学习），使得可以借助于策略梯度定理和神经切线核来计算偶发策略改变。然后，这也使我们能够在任意状态下评估策略。本着同样的精神，学习可以被引导，通过用规定了期望动作概率的状态来增加事件批次来确保安全性。最后，可以在这些特定的状态-动作对处计算未来奖励（回报）的外生贴现和，使得策略网络满足约束。计算回报是基于求解线性方程组（等式约束）或约束二次规划（不等式约束，区域约束）。仿真结果表明，加入约束（外部信息）的学习，可以提高学习的速度和透明度合理，如果适当地选择约束。约束学习的效率在Cartpole和Lunar Lander OpenAI健身房环境中用浅而宽的ReLU网络进行了证明。本文的主要创新之处在于给出了神经切线核在强化学习中的实际应用。
2022-01-21 cs.LG
f-Divergence constrained policy improvement
为了保证学习的稳定性，最先进的广义策略迭代算法增加了策略改进步骤与约束的信息损失的信任域约束。信赖域的大小通常由Kullback-Leibler（KL）散度决定，它不仅很好地捕捉了距离的概念，而且还产生了封闭形式的解。在本文中，我们考虑了一类更一般的f-分歧，并推导出相应的政策更新规则。通有解通过凸共轭函数对f的导数表示，并包括KL解作为特例。在f-分歧类中，我们进一步关注一个单参数的$α$ -分歧族，研究分歧的选择对政策改进的影响。对于不同的$α$值，出现了以前已知的以及新的策略更新。我们发现，每一种类型的政策更新都有一个兼容的政策评估所选择的f-发散。有趣的是，均方贝尔曼误差最小化是密切相关的政策评估与皮尔逊$χ^2$发散惩罚，而KL发散的结果在软最大的政策更新和对数和指数的批评。我们进行渐近分析的解决方案，为不同的值的$α$和演示使用不同的发散函数的影响，对多臂强盗问题和常见的标准强化学习问题。
2018-04-04 cs.AI cs.LG stat.ML
Escaping from Zero Gradient: Revisiting Action-Constrained Reinforcement Learning via Frank-Wolfe Policy Optimization
National Yang Ming Chiao Tung University（国立阳明交通大学）；Facebook AI（脸书人工智能）；Academia Sinica（中央研究院）
约束强化学习（RL）是一种在各种现实世界应用中广泛使用的方法，例如具有资源约束的网络系统中的调度和具有运动约束的机器人的控制。虽然现有的基于投影的方法确保零约束违反，但由于策略梯度和投影的紧密耦合，它们可能遭受零梯度问题，这导致样本低效的训练和缓慢的收敛。为了解决这个问题，我们提出了一个学习算法，利用状态明智的Frank-Wolfe和基于回归的策略更新方案，从策略参数更新的动作约束。此外，我们表明，该算法在表格的情况下，以及推广流行的DDPG算法的动作约束RL在一般情况下，具有收敛性和政策改进性能。通过实验，我们证明了该算法显着优于各种控制任务的基准方法。
2021-08-02 cs.LG
Do You Need the Entropy Reward (in Practice)?
Horizon Robotics（地平线机器人（Horizon Robotics））
最大熵（MaxEnt）RL最大化原始任务奖励和熵奖励的组合。据信，熵对策略改进和策略评估施加的正则化共同有助于学习策略的良好探索、训练收敛和鲁棒性。本文通过对MaxEnt RL的流行代表软演员-评论家（SAC）进行各种消融研究，进一步研究熵作为内在奖励。我们的研究结果表明，在一般情况下，熵奖励应谨慎应用于政策评估。一方面，熵奖励，像任何其他内在奖励一样，如果管理不当，可能会掩盖主要任务奖励。我们确定了一些失败的情况下，特别是在情节马尔可夫决策过程（MDPs），它可能会导致政策过于乐观或悲观的熵奖励。另一方面，我们的大规模实证研究表明，在政策改进中单独使用熵正则化，比在政策改进和政策评估中使用熵正则化带来相当甚至更好的性能和鲁棒性。基于这些观察结果，我们建议将熵奖励标准化为零均值（SACZero），或者简单地将其从策略评估中删除（SACLite）以获得更好的实际结果。
2022-01-28 cs.AI cs.LG cs.RO
Towards Optimal Pricing of Demand Response -- A Nonparametric Constrained Policy Optimization Approach
University of Washington（华盛顿大学）
针对需求响应中定价策略难以保证稳定性和最优性的问题，提出一种非参数约束策略优化方法，通过推导闭式最优策略更新和actor-critic算法，在确保稳定性的同时提升了性能。
2023-06-24 cs.AI cs.LG cs.SY
Evolving Constrained Reinforcement Learning Policy
Southern University of Science and Technology（南方科技大学）；Research Institute of Trustworthy Autonomous Systems（可信自主系统研究院）
针对约束强化学习中回报与约束违反难以平衡的问题，提出 ECRL 算法，结合随机排序与带约束缓冲区的 Lagrange 系数维护，在机器人控制基准上性能优于现有方法。
2023-04-19 cs.AI cs.LG cs.NE
UNIFY: a Unified Policy Designing Framework for Solving Constrained Optimization Problems with Machine Learning
University of Bologna（博洛尼亚大学）
机器学习（ML）和约束优化（CO）之间的相互作用最近已经成为越来越多的兴趣的主题，导致一个新的和多产的研究领域，涵盖（例如）决策聚焦学习与约束强化学习。这种方法致力于解决多个阶段的不确定性下的复杂决策问题，涉及显式（成本函数，约束）和隐式知识（来自数据），并可能受到执行时间的限制。虽然已经取得了很大程度的成功，但现有的方法在适用性和有效性方面仍然存在局限性。对于这类问题，我们提出了一个统一的框架来设计复杂决策问题的解决方案。我们的方法依赖于将策略巧妙地分解为两个阶段，即无约束ML模型和CO问题，以利用每种方法的优势，同时弥补其弱点。通过一点设计工作，CRAYY可以概括几种现有的方法，从而扩展它们的适用性。我们证明了两个实际问题，即能源管理系统和设置多覆盖随机覆盖要求的方法的有效性。最后，我们强调了我们的方法和未来的研究方向，可以受益于这两个领域的交叉施肥的一些当前的挑战。
2022-10-25 cs.AI cs.LG math.OC
Successive Convex Approximation Based Off-Policy Optimization for Constrained Reinforcement Learning
Peking University（北京大学）；Zhejiang University（浙江大学）
提出了一种基于连续凸逼近的离线优化算法（SCAOPO）来解决一般的约束强化学习问题，该问题被表示为平均成本下的约束马尔可夫决策过程（CMDP）. SCAOPO是基于解决一系列的凸目标/可行性优化问题，通过替换目标和约束函数在原来的问题与凸代理函数。在每次迭代中，即使策略参数为高维函数，凸代理问题也可以通过拉格朗日对偶方法有效地求解。此外，SCAOPO能够重用以前更新中的旧经验，从而在部署到需要在线学习环境的真实工程系统中时，显着降低了实施成本。尽管存在时变的状态分布和离策略学习带来的随机偏差，具有可行初始点的SCAOPO仍几乎必然收敛于原问题的KKT点.
2021-05-26 cs.LG
Proactive Constrained Policy Optimization with Preemptive Penalty
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Microsoft Research AI4Science（微软研究院AI4Science）；University College London（伦敦大学学院）
提出主动约束策略优化（PCPO），通过预防性惩罚机制和约束感知内在奖励，在策略接近边界时施加代价并引导探索，建立理论界并采用策略迭代，实验表明其稳定且稳健地解决安全强化学习中的约束违反问题。
2025-08-06 cs.LG
Discrete and Continuous Action Representation for Practical RL in Video Games
Ubisoft La Forge（育碧La Forge）
虽然目前强化学习（RL）的大多数研究都集中在提高算法在受控环境中的性能，但很少研究在视频游戏行业中遇到的约束下使用RL。在这样的约束下操作，我们提出了混合SAC，软演员批评算法的扩展，能够处理离散，连续和参数化的行动，在原则上的方式。我们表明，混合SAC可以成功地解决了高速驾驶任务在我们的游戏之一，是有竞争力的最先进的参数化行动基准任务。我们还探讨了使用规范化流的影响，以最小的计算成本来丰富的政策的表现力，并确定一个潜在的不期望的SAC与规范化流时，可以通过优化不同的目标来解决的影响。
2019-12-23 cs.AI cs.LG stat.ML
LTL-Constrained Policy Optimization with Cycle Experience Replay
UC Berkeley（加州大学伯克利分校）；Latitude AI（纬度人工智能公司）；UT Austin（德克萨斯大学奥斯汀分校）；Penn State University（宾夕法尼亚州立大学）
提出循环经验回放（CyclER）奖励塑形技术，利用LTL约束结构引导策略满足约束，理论保证近最优满足概率，实验证明优于现有方法。
2025-03-24 cs.AI cs.FL cs.LG
A policy gradient approach for Finite Horizon Constrained Markov Decision Processes
Indian Institute of Science（印度科学学院）
针对现有约束强化学习仅研究无限时域场景的不足，提出首个带函数近似的有限时域约束MDP策略梯度算法，证明收敛性且实验表现优于知名算法。
2025-03-20 cs.LG
Adversarial Constrained Policy Optimization: Improving Constrained Reinforcement Learning by Adapting Budgets
Shanghai Jiao Tong University（上海交通大学）；ParisTech Elite Institute of Technology, Shanghai Jiao Tong University（上海交通大学巴黎卓越工程师学院）；AI Institute, Shanghai Jiao Tong University（上海交通大学人工智能研究院）
针对约束强化学习难以平衡性能与安全、易陷入过度保守或违约局部最优的问题，本文提出ACPO，通过对抗式交替优化实现奖励提升与成本预算自适应，并在Safety Gymnasium和四足运动任务中验证其优于常用基线。
2024-10-28 cs.LG cs.RO
Constrained Policy Optimization for Controlled Self-Learning in Conversational AI Systems
Amazon Alexa AI（亚马逊Alexa人工智能部门）
本研究提出一种基于用户定义约束和元梯度学习的可扩展框架，用于对话式AI的自学习，在策略价值与约束满足间取得最佳平衡。
2022-09-17 cs.AI cs.CL cs.LG
Graph-Constrained Policy Learning for Extreme Clinical Code Prediction
研究针对临床代码预测任务，提出图约束遍历策略，将其转换为有限时域决策过程。单一语言模型逐层选节点得叶代码，实现极端多标签预测到子集决策的转换。实验表明该策略优于平面基线，增加监督数据可提升性能，简单图约束策略学习效果良好。
2026-07-15 cs.AI cs.IR cs.LG
Entropic Risk Constrained Soft-Robust Policy Optimization
University of New Hampshire（新罕布什尔大学）
在强化学习中，拥有一个完美的模型来计算最优策略通常是不可行的。在高风险领域，量化和管理由模型不确定性引起的风险是非常重要的。熵风险测度是一种基于指数效用的凸风险测度，它满足许多合理的性质。在本文中，我们提出了一个熵风险约束的策略梯度和演员评论家算法，是风险厌恶的模型的不确定性。我们证明了我们的算法在几个问题域的有用性。
2020-06-20 cs.LG math.OC stat.ML
Learning to Constrain Policy Optimization with Virtual Trust Region
Applied AI Institute, Deakin University（迪肯大学应用人工智能研究所）
我们介绍了一种策略梯度强化学习的约束优化方法，该方法使用虚拟信任域来调节每次策略更新。除了使用一个单一的旧政策作为正常的信任区域的接近度，我们建议形成第二个信任区域，通过另一个虚拟的政策，代表了广泛的过去的政策。然后，我们强制执行新策略，使其更接近虚拟策略，这在旧策略性能不佳时是有益的。更重要的是，我们提出了一种机制，自动建立虚拟的政策，从过去的政策的记忆，提供了一个新的能力，在优化过程中动态学习适当的虚拟信任区域。我们提出的方法，被称为内存约束策略优化（MCPO），在不同的环境中，包括机器人运动控制，导航与稀疏奖励和雅达利游戏，一贯表现出竞争力的性能对最近的政策约束策略梯度方法。
2022-09-16 cs.LG
Constrained Variational Policy Optimization for Safe Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；Nuro Inc.（Nuro公司）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
安全强化学习（RL）旨在学习满足某些约束的策略，然后将其部署到安全关键应用程序。以前的原始-对偶风格的方法遭受不稳定性问题，缺乏最优性保证。本文从概率推理的角度克服了这一问题。我们引入了一种新的期望最大化方法，自然地将约束条件的策略学习：1）可证明的最佳非参数变分分布可以计算在一个凸优化（E-step）后，在封闭的形式; 2）在信任区域的基础上的最佳变分分布（M-step）的策略参数进行了改进。该算法将安全强化学习问题分解为凸优化阶段和监督学习阶段，从而获得更稳定的训练性能。对连续机器人任务的大量实验表明，与基线相比，该方法具有更好的约束满足性能和更好的样本效率。该代码可在https://github.com/liuzuxin/cvpo-safe-rl上获得。
2022-06-17 cs.AI cs.LG cs.RO
Last-Iterate Convergent Policy Gradient Primal-Dual Methods for Constrained MDPs
University of Pennsylvania（宾夕法尼亚大学）；University of Virginia（弗吉尼亚大学）；University of Maryland, College Park（马里兰大学帕克分校）
本文针对约束马尔可夫决策过程，提出RPG-PD和OPG-PD两种单时间尺度策略梯度原始-对偶算法，首次建立了策略末迭代的非渐近收敛性结果。
2024-01-17 cs.LG cs.SY eess.SY
Learning Deterministic Policies with Policy Gradients in Constrained Markov Decision Processes
Politecnico di Milano（米兰理工大学）
本文提出与探索方式无关的约束策略梯度算法 C-PG，证明其在梯度占优和随机扰动噪声模型下可全局收敛至最优确定性策略，并通过 C-PGAE 与 C-PGPE 实验验证有效性。
2025-06-06 cs.LG
Rectified Robust Policy Optimization for Model-Uncertain Constrained Reinforcement Learning without Strong Duality
针对鲁棒约束强化学习中强对偶性不成立的问题，提出仅原始算法RRPO，直接优化原始问题并给出收敛保证，实验证明其在模型不确定性下能实现鲁棒安全性能。
2025-09-19 cs.LG
Model-based Safe Deep Reinforcement Learning via a Constrained Proximal Policy Optimization Algorithm
Indian Institute of Science（印度科学学院）
在大多数强化学习（RL）算法的初始训练迭代期间，代理执行大量随机探索步骤。在现实世界中，这可能会限制这些算法的实用性，因为它可能导致潜在的危险行为。因此，安全探索是在现实世界中应用RL算法的一个关键问题。这个问题最近在约束马尔可夫决策过程（CMDP）框架下得到了很好的研究，其中除了单阶段奖励外，代理还根据状态转换接收单阶段成本或惩罚。规定的成本函数负责将任何给定时间步的不良行为映射到标量值。然后，目标是找到一个可行的政策，最大限度地提高回报，同时限制成本回报低于规定的阈值，在训练和部署。我们提出了一种基于策略模型的安全深度RL算法，在该算法中，我们以在线方式学习环境的过渡动态，并使用基于拉格朗日松弛的近端策略优化找到可行的最优策略。我们使用不同初始化的神经网络的集成来解决环境模型学习过程中所面临的认知和任意不确定性问题。我们使用具有挑战性的安全强化学习基准-Open AI Safety Gym，将我们的方法与约束RL中的相关无模型和基于模型的方法进行比较。我们证明，我们的算法是更有效的样本，并在较低的累积危险违规的结果相比，受约束的无模型的方法。此外，我们的方法显示出更好的回报性能比其他约束的基于模型的方法在文献中。
2022-10-14 cs.LG
Safety-Constrained Policy Transfer with Successor Features
National University of Singapore（新加坡国立大学）；Smart Systems Institute (SSI), NUS（新加坡国立大学智能系统研究所（SSI））
在这项工作中，我们专注于强化学习中的安全策略转移问题：当学习具有指定约束的新任务时，我们寻求利用现有策略。这个问题对于安全关键型应用很重要，在这些应用中，交互是昂贵的，并且不受约束的策略可能导致不期望的或危险的结果，例如，with physical物理robots机器人that interact互动with humans人类.我们提出了一个约束马尔可夫决策过程（CMDP）制定，同时使政策的转移和遵守安全约束。我们的配方干净地分离任务目标的安全考虑，并允许规格的各种约束。我们的方法依赖于一个新的扩展广义政策的改进，通过拉格朗日公式的约束设置。我们设计了一个双重优化算法，估计目标任务的最佳对偶变量，从而使安全转移的政策，从源任务上学习的后继功能。我们在模拟域中的实验表明，我们的方法是有效的，它访问不安全的状态不太频繁，并优于其他国家的最先进的方法时，考虑到安全约束。
2022-11-10 cs.LG
