Polynomial-Time Approximability of Constrained Reinforcement Learning
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
该研究针对一般约束马尔可夫决策过程，设计了多项式时间（0，ε）-加性双准则近似算法，首次证明机会约束等四类设置的多项式时间可近似性，且近似保证在P≠NP时最优。
2025-02-11 cs.AI cs.DS cs.LG
Optimizing Anytime Reasoning via Budget Relative Policy Optimization
Sea AI Lab（Sea AI实验室）；National University of Singapore（新加坡国立大学）
本文提出AnytimeReasoner框架，通过截断思考过程并引入密集可验证奖励，结合预算相对策略优化（BRPO）技术，在可变token预算下提升大语言模型推理的训练与token效率，并在数学推理任务中优于GRPO。
2026-11-02 cs.AI cs.CL cs.LG
Robust Anytime Learning of Markov Decision Processes
Radboud University（拉德堡德大学）；University of Oxford（牛津大学）
提出一种结合贝叶斯推断与鲁棒策略计算的任意时间学习方法，用于从有限数据中学习MDP转移概率，并能在任何时刻停止以生成鲁棒策略。
2023-06-19 cs.AI cs.LG
Anytime-Constrained Equilibria in Polynomial Time
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文将任意时刻约束扩展至马尔可夫博弈并提出任意时刻约束均衡（ACE）理论，包含可行策略计算特征化、固定参数可处理算法及多项式时间近似算法，同时证明了近似保证的最优性，并开发了动作约束马尔可夫博弈的高效计算理论。
2025-03-04 cs.AI cs.DS cs.GT
Delegative Reinforcement Learning: learning to avoid traps with a little help
大多数已知的强化学习的后悔界限要么是情节性的，要么是假设一个没有陷阱的环境。我们在不做任何假设的情况下，通过允许算法偶尔将一个动作委托给外部顾问来获得一个后悔界限。因此，我们得出了一个基于主动一次性模型的强化学习的设置，我们称之为DRL（委托强化学习）。为了证明遗憾界限，我们构造的算法是后验采样强化学习的一个变体，由一个决定哪些动作应该被委托的子例程补充。该算法不是任意时刻，因为参数必须根据目标时间折扣进行调整。目前，我们的分析仅限于有限数量的假设，状态和行动的马尔可夫决策过程。
2019-07-19 cs.LG stat.ML
Quantile Constrained Reinforcement Learning: A Reinforcement Learning Framework Constraining Outage Probability
KAIST（韩国科学技术院）
约束强化学习（Reinforcement Learning，RL）是强化学习的一个分支，其目标是在满足给定约束的前提下，找到一个最大化期望累积收益的最优策略。以往的约束强化学习算法大多将期望累积和成本作为约束条件。然而，具有该约束的优化不能保证累积和成本超过给定阈值的中断事件的目标概率。本文提出了一个框架，名为分位数约束RL（QCRL），限制的分位数的分布的累积和成本，这是一个必要和充分条件，以满足中断约束。这是第一个工作，解决的问题，适用于分位数的策略梯度定理，并提供了近似梯度的分位数的理论结果。在此基础上，利用拉格朗日乘子技术，构造了一种分位数约束策略优化算法（QCPO）。我们使用分布强化学习与大偏差原则（LDP）估计分位数和尾部概率的累积和成本的实施QCPO。所实现的算法在训练期后满足中断概率约束。
2022-11-28 cs.AI cs.LG
Learning to Bet for Horizon-Aware Anytime-Valid Testing
Department of Electrical and Computer Engineering, University of Michigan（密歇根大学电气与计算机工程系）
本文通过将前瞻性投注建模为有限时域最优控制问题，利用深度强化学习学习通用策略，在严格截止日期下实现有界均值的任意有效测试和置信序列。
2026-06-02 cs.LG stat.ME
What Doubling Tricks Can and Can't Do for Multi-Armed Bandits
CentraleSupélec（中央理工-高等电力学院）；CNRS（法国国家科学研究中心）；Université de Lille（里尔大学）；Inria（法国国家信息与自动化研究所）
在线强化学习算法是任何时候，如果它不需要预先知道的地平线T的实验。从任何非任意时刻算法获得任意时刻算法的公知技术是“加倍技巧”。在对抗性或随机多武装匪徒的情况下，算法的性能是衡量其遗憾，我们研究了两个家庭的序列不断增长的视野（几何和指数），以推广以前已知的结果，某些加倍技巧可以用来保存某些遗憾的界限。在一个广泛的设置，我们证明了一个几何加倍技巧可以用来保存（极大极小）界在$R\_T = O(\sqrt{T})$，但不能保存（分布依赖）界在$R\_T = O(\log T)$。我们给出的见解，为什么指数加倍的技巧可能更好，因为它们保存在$R\_T = O(\log T)$的界限，并接近保存在$R\_T = O(\sqrt{T})$的界限。
2018-03-19 cs.LG math.ST stat.ML
Conformal Selective Acting: Anytime-Valid Risk Control for RLVR-Trained LLMs
Georgia Institute of Technology（佐治亚理工学院）
该研究提出了一种 conformal selective acting 方法，用于在 rlvr 训练的 llms 部署中实现 anytime-valid 的风险控制，通过在部署要求下强制一个空单元，利用 e-process 和 bonferroni 网格来维护 pathwise 有效性，同时在多个基准测试中证明了其有效性。
2026-05-18 cs.AI cs.LG stat.ML
Constrained episodic reinforcement learning in concave-convex and knapsack settings
University of Maryland（马里兰大学）；Microsoft Research（微软研究院）；Princeton University（普林斯顿大学）；UC Berkeley（加州大学伯克利分校）；Cornell University（康奈尔大学）
我们提出了一种带约束的表格式情景强化学习算法。我们提供了一个模块化的分析与强有力的理论保证设置凹奖励和凸约束，并设置硬约束（背包）。在约束强化学习中，以前的大多数工作都局限于线性约束，剩下的工作集中在可行性问题或单集设置上。我们的实验表明，该算法显着优于这些方法在现有的约束情景环境。
2021-06-06 cs.AI cs.DS cs.LG
Memory Allocation in Resource-Constrained Reinforcement Learning
School of Informatics University of Edinburgh（信息学院爱丁堡大学）
本研究探讨资源受限强化学习中内存分配对智能体性能的影响，重点分析MCTS和DQN算法下模型估计与规划间的内存权衡，并评估不同分配在情节式和持续学习场景中的效果。
2025-06-09 cs.AI cs.LG
A Simple Reward-free Approach to Constrained Reinforcement Learning
Princeton University（普林斯顿大学）
在约束强化学习（RL）中，学习代理不仅要优化整体奖励，还要满足额外的安全性、多样性或预算约束。因此，现有的约束RL解决方案需要几个新的算法成分，显着不同于标准RL。另一方面，无奖励强化学习是在无约束文献中独立开发的，它在不使用奖励信息的情况下学习过渡动态，因此自然能够在共同动态下解决具有多个目标的强化学习。本文桥接了无报酬强化学习和约束强化学习。特别地，我们提出了一个简单的元算法，使得给定任何无奖励的RL预言，可以直接解决可接近性和约束RL问题，样本复杂度的开销可以忽略不计。利用现有的无奖励的RL求解器，我们的框架提供了尖锐的样本复杂性结果约束RL在表格MDP设置，匹配最好的现有结果的一个因素的水平依赖性，我们的框架直接扩展到一个设置的表格两个球员马尔可夫游戏，并给出了一个新的结果约束RL与线性函数近似。
2021-07-12 cs.AI cs.LG
Two-Step Offline Preference-Based Reinforcement Learning with Constrained Actions
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Amazon（亚马逊公司）；Georgia institute of technology（佐治亚理工学院）
针对离线 PBRL 中奖励作弊与强化学习复杂的问题，本文提出 PRC，通过排除分布外状态-动作的约束动作空间提升学习效率。
2024-10-25 cs.AI cs.LG
Handling Long and Richly Constrained Tasks through Constrained Hierarchical Reinforcement Learning
Singapore Management University（新加坡管理大学）；Rutgers University（罗格斯大学）
本文提出CoSHRL机制，结合上层受约束搜索智能体与低层目标条件RL智能体，解决长时复杂安全约束决策问题，支持成本分布约束且无需重训即可调整阈值。
2024-01-09 cs.AI cs.LG
User Role Discovery and Optimization Method based on K-means + Reinforcement learning in Mobile Applications
Zhoukou Normal University（周口师范学院）
随着移动电话的广泛使用，用户可以随时随地分享他们的位置和活动，作为一种登记数据的形式。这些数据反映了用户特征。长期稳定，一组用户共享的功能可以抽象为用户角色。角色与用户的社会背景、职业、生活习惯密切相关。这项研究提供了四个主要贡献。首先，通过对签到数据的分析，从不同的角度为每个用户构建用户特征模型。其次，使用K均值算法从用户特征中发现用户角色。第三，提出了一种强化学习算法，加强了用户角色的聚类效果，提高了聚类结果的稳定性。最后通过实验验证了该方法的有效性，实验结果表明了该方法的有效性。
2021-07-02 cs.AI cs.CY cs.HC
Heterogeneous 360 Degree Videos in Metaverse: Differentiated Reinforcement Learning Approaches
Nanyang Technological University（南洋理工大学）
本文针对元宇宙中非VR与VR 360度视频混合传输场景，提出基于帧时隙结构的差异化深度强化学习方法，设计SIDO和MIDO两种结构进行逐帧优化，并通过实验验证其在满足不同帧率和晕动症要求方面的有效性。
2023-08-08 cs.AI cs.NI
Towards Interpretable Reinforcement Learning with Constrained Normalizing Flow Policies
Örebro University（厄勒布鲁大学）；IT University of Copenhagen（哥本哈根信息技术大学）
提出约束归一化流策略，通过解析构造可解释变换序列保证瞬时安全约束满足，实现构造即安全且更易学习的强化学习策略。
2024-05-02 cs.AI cs.LG
Potent but Stealthy: Rethink Profile Pollution against Sequential Recommendation via Bi-level Constrained Reinforcement Paradigm
本文提出CREAT方法，通过双层约束强化范式解决顺序推荐中Profile污染攻击的隐蔽性和有效性问题。
2025-12-22 cs.AI cs.LG
Continual Learning as Computationally Constrained Reinforcement Learning
Department of Computer Science, Stanford University（计算机科学系，斯坦福大学）；Department of Electrical Engineering, Stanford University（电气工程系，斯坦福大学）；Department of Management Science and Engineering, Stanford University（管理科学与工程系，斯坦福大学）
本专著将持续学习形式化为计算受限的强化学习问题，澄清了相关概念并引入了一个框架与工具集，以推动能长期积累知识并发展复杂技能的智能体研究。
2025-06-26 cs.AI cs.LG
Large Scale Constrained Clustering With Reinforcement Learning
本文研究大规模约束聚类问题，提出通过强化学习训练智能体生成可行且近最优解的方法，克服了传统组合优化求解器处理大规模实例的困难。
2024-02-15 cs.AI cs.LG
Sample Complexity Analysis for Constrained Bilevel Reinforcement Learning
Purdue University（普渡大学）
本文首次分析了受约束双层强化学习算法的样本复杂度，提出Constrained Bilevel Subgradient Optimization算法，通过非光滑优化方法解决了约束问题中的对偶间隙和超梯度问题。
2026-01-30 cs.AI cs.LG
Constrained-Space Optimization and Reinforcement Learning for Complex Tasks
Imperial College London（帝国理工学院）；Shanghai Jiao Tong University（上海交通大学）
示教学习越来越多地用于将操作员的操作技能转移到机器人。在实践中，重要的是要满足有限的数据和不完美的人类演示，以及潜在的安全约束。本文提出了一种用于管理复杂任务的约束空间优化和强化学习方案。通过在受限空间内的交互，强化学习代理被训练以根据定义的奖励函数来优化操作技能。在学习之后，最优策略从训练良好的强化学习代理中导出，然后执行该代理以引导机器人执行类似于专家演示的任务。通过机器人的机器人任务验证了所提出方法的有效性，表明所学习的策略在关节运动和末端执行器轨迹的平滑性以及整体任务完成时间方面优于专家演示。
2020-04-01 cs.AI cs.LG cs.RO
MUSBO: Model-based Uncertainty Regularized and Sample Efficient Batch Optimization for Deployment Constrained Reinforcement Learning
Princeton University（普林斯顿大学）
在诸如医疗保健、金融、机器人和推荐系统的许多当代应用中，用于数据汇集和在线学习的新策略的连续部署要么成本低要么不切实际。我们考虑一种介于纯离线强化学习（RL）和纯在线RL之间的设置，称为部署约束RL，其中用于数据采样的策略部署的数量是有限的。为了解决这个具有挑战性的任务，我们提出了一个新的算法学习框架，称为基于模型的不确定性正则化和样本有效批量优化（MUSBO）。我们的框架为每个部署发现新颖且高质量的样本，以实现高效的数据汇集。在每个离线训练会话中，我们通过量化收集的数据中的不确定性来引导策略更新。在高支持区域（低不确定性），我们通过采取积极的更新来鼓励我们的政策。在低支持区域（高不确定性），当政策引导到分布外区域时，我们通过估计的不确定性量化来降低权重。实验结果表明，MUSBO在部署受限的RL设置中实现了最先进的性能。
2021-06-03 cs.AI cs.LG
COptiDICE: Offline Constrained Reinforcement Learning via Stationary Distribution Correction Estimation
KAIST（韩国科学技术院）；DeepMind（深度思维）
我们考虑离线约束强化学习（RL）问题，其中智能体的目标是计算一个政策，最大化预期收益，同时满足给定的成本约束，学习只从预先收集的数据集。这种问题设置在许多现实世界的场景中是有吸引力的，在这些场景中，与环境的直接交互是昂贵的或有风险的，并且由此产生的策略应该符合安全约束。然而，计算保证满足离线RL设置中的成本约束的策略具有挑战性，因为偏离策略的评估本质上存在估计误差。在本文中，我们提出了一个离线约束RL算法，优化的政策在空间的平稳分布。我们的算法，COptiDICE，直接估计的平稳分布校正的最优策略的回报，同时限制成本上界，与实际的约束满足产生一个成本保守的政策的目标。实验结果表明，COptiDICE算法在约束满足和收益最大化方面均优于基准算法.
2022-04-19 cs.AI cs.LG
Near-Optimal Reinforcement Learning for Constrained Recurrence Objectives
NTU Singapore（南洋理工大学）
本文提出了一种结合$ω$-正则目标与约束的强化学习算法，以解决安全性和性能之间的权衡问题。
2026-08-04 cs.AI cs.LG
Benchmarking for Bayesian Reinforcement Learning
Montefiore Institute（蒙特菲奥雷研究所）；University of Liège（列日大学）
在贝叶斯强化学习（BRL）设置中，代理试图在与环境交互的同时最大化收集的奖励，同时使用事先访问的一些先验知识。许多BRL算法已经被提出，但即使在文献中存在一些玩具的例子，仍然没有广泛或严格的基准来比较它们。本文解决了这个问题，并提供了一个新的BRL比较方法以及相应的开源库。在这种方法中，一个比较标准，衡量算法的性能从一些概率分布的大型马尔可夫决策过程（MDP）集定义。为了使非随时算法的比较，我们的方法还包括每个算法的计算时间要求的详细分析。我们的库包含所有源代码和文档：它包括三个测试问题，每个问题都有两个不同的先验分布，以及七个最先进的RL算法。最后，我们的图书馆是通过比较所有可用的算法和结果进行了讨论。
2015-09-14 cs.AI
Tilted Quantile Gradient Updates for Quantile-Constrained Reinforcement Learning
Tsinghua University（清华大学）；MIT（麻省理工学院）
本文提出倾斜分位数梯度更新方法，用于分位数约束强化学习，通过直接估计分位数梯度并补偿非对称密度，在满足安全约束的同时提升回报性能。
2024-12-17 cs.AI cs.LG
Recursive Constraints to Prevent Instability in Constrained Reinforcement Learning
University of Waterloo（滑铁卢大学）
我们考虑的挑战，找到一个确定性的政策马尔可夫决策过程，一致（在所有状态）最大化一个奖励的概率约束下，在不同的奖励。现有的解决方案并不能完全解决我们精确的问题定义，然而，在安全关键的机器人系统的背景下，这是自然产生的。这类问题是已知的困难，但确定性和一致最优性的组合要求可以创建学习不稳定性。在这项工作中，在描述和激励我们的问题与一个简单的例子，我们提出了一个合适的约束强化学习算法，防止学习不稳定，使用递归约束。我们提出的方法承认一个近似的形式，提高了效率，是保守的w.r.t.约束。
2022-01-20 cs.AI cs.LG
An Index-based Deterministic Asymptotically Optimal Algorithm for Constrained Multi-armed Bandit Problems
Sogang University（西江大学）
对于有约束的多臂强盗模型，通过构造证明了存在一个基于指标的确定性渐近最优算法。最优性是通过选择最优可行臂的概率收敛到无限水平上的概率来实现的。该算法是建立在Locatelli等人。的“随时无参数阈值”算法的假设下，最优值是已知的。我们给出了渐近最优性概率的一个有限时间界，该概率为1-O（|A| Te^{-T}），其中T是视界大小，A是强盗中的臂的集合。然后，我们研究了一个宽松的版本的算法，估计的最优值的一般形式，并讨论了算法的渐近最优性后，一个足够大的T的例子。
2020-07-29 cs.LG math.OC stat.ML
Offline Inverse Constrained Reinforcement Learning for Safe-Critical Decision Making in Healthcare
School of Computer Science and Technology（计算机科学与技术学院）；University of Science and Technology of China（中国科学技术大学）；School of Data Science（数据科学学院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
针对医疗离线决策中难以指定约束的问题，提出约束Transformer（CT），利用因果注意力机制建模非马尔可夫约束，并通过生成式世界模型增强数据，有效降低不安全行为并实现接近较低死亡率的策略。
2024-10-14 cs.AI cs.LG
SafeRL-Lite: A Lightweight, Explainable, and Constrained Reinforcement Learning Library
Vision Mentors Ltd.（愿景导师有限公司）；School of Computer Science & AI, SR University（计算机科学与人工智能学院，SR大学）；Department of Computer Science, MANIT（计算机科学系，MANIT）；University of West London（西伦敦大学）
SafeRL-Lite是一个轻量级、可解释的强化学习库，通过约束执行和SHAP值解释，在CartPole上验证了安全与可解释性。
2025-06-17 cs.AI cs.LG
ROI-Constrained Bidding via Curriculum-Guided Bayesian Reinforcement Learning
ShanghaiTech University（上海科技大学）；Alibaba Group（阿里巴巴集团）
实时竞价是现代在线广告系统中的一种重要机制。广告主在考虑各种财务要求，特别是投资回报率（ROI）约束的情况下，采用竞价策略来优化其广告效果。在顺序竞价过程中，投资回报率的变化是非单调的，往往会导致约束满足和目标优化之间的拉锯效应。虽然一些现有的方法在静态或轻度变化的广告市场中显示出有希望的结果，但它们无法推广到具有ROI约束的高度动态的广告市场，因为它们无法自适应地平衡非平稳性和部分可观察性中的约束和目标。在这项工作中，我们专注于投资回报率约束招标在非平稳市场。基于部分可观测约束马尔可夫决策过程，我们的方法利用了一个指标增强的奖励函数，没有额外的权衡参数，并开发了一个课程引导贝叶斯强化学习（CBRL）框架，自适应地控制非平稳广告市场的约束目标权衡。在一个大规模工业数据集上进行的大量实验表明，CBRL在分布内和分布外数据机制中都具有良好的泛化能力，并且具有优越的学习效率和稳定性。
2022-07-16 cs.AI cs.LG
Robust Constrained Reinforcement Learning for Continuous Control with Model Misspecification
DeepMind（深度思考（DeepMind））
许多现实世界的物理控制系统需要满足部署时的约束。此外，现实世界中的系统经常受到诸如非平稳性、磨损、未校准的传感器等影响，这些影响有效地扰乱了系统动态，并且可能导致在一个域中成功训练的策略在部署到同一域的扰动版本时表现不佳。这可能会影响政策最大化未来回报的能力以及它满足约束的程度。我们称之为约束模型误指定。我们提出了一种算法，减轻这种形式的错误规范，并展示其性能在多个模拟Mujoco任务从现实世界的强化学习（RWRL）套件。
2021-03-03 cs.AI cs.LG stat.ML
Reinforcement Learning of Risk-Constrained Policies in Markov Decision Processes
Masaryk University（马萨里克大学）；Institute of Science and Technology Austria（奥地利科学技术研究所）
马尔可夫决策过程（MDP）是随机不确定性条件下序列决策的实际框架。MDPs的经典优化准则是最大化期望折扣和收益，忽略了对系统具有高度负面影响的低概率灾难性事件。另一方面，风险规避政策要求不可预测事件的概率低于给定的阈值，但它们并不考虑预期收益的优化。我们考虑MDPs与贴现和支付的失败状态，代表灾难性的结果。风险约束规划的目标是最大化风险规避策略的期望折扣和收益，以确保遇到故障状态的概率低于期望阈值。我们的主要贡献是一个有效的风险约束规划算法，它结合了UCT类搜索与预测learnedthrough互动与MDP（在风格的AlphaZero）和风险约束的行动选择通过线性规划。我们证明了我们的方法的有效性与实验的经典MDP从文献中，包括基准的顺序为10^6状态。
2020-02-27 cs.AI cs.LG
Evolving Constrained Reinforcement Learning Policy
Southern University of Science and Technology（南方科技大学）；Research Institute of Trustworthy Autonomous Systems（可信自主系统研究院）
针对约束强化学习中回报与约束违反难以平衡的问题，提出 ECRL 算法，结合随机排序与带约束缓冲区的 Lagrange 系数维护，在机器人控制基准上性能优于现有方法。
2023-04-19 cs.AI cs.LG cs.NE
Risk-Constrained Reinforcement Learning with Percentile Risk Criteria
Stanford University（斯坦福大学）；Adobe Research（Adobe研究院）；INRIA Lille（里尔国家信息与自动化研究所）
在许多顺序决策问题中，人们感兴趣的是在考虑\emph{risk}的同时使期望累积成本最小化，即，提高对小概率和高后果事件的认识。因此，本文的目标是提出有效的强化学习算法的风险约束马尔可夫决策过程（MDP），其中风险表示通过机会约束或约束的条件风险价值（CVaR）的累积成本。我们将这些问题统称为百分位风险约束MDP。具体来说，我们首先推导出一个公式，用于计算拉格朗日函数的梯度百分位风险约束的MDP。然后，我们设计了策略梯度和行动者-批评者算法，用于（1）估计此类梯度，（2）在下降方向上更新策略，以及（3）在上升方向上更新拉格朗日乘数。对于这些算法，我们证明收敛到局部最优的政策。最后，我们证明了我们的算法在最优停止问题和在线营销应用的有效性。
2017-04-06 cs.AI cs.LG math.OC
An Empirical Evaluation of Posterior Sampling for Constrained Reinforcement Learning
Eindhoven University of Technology（埃因霍温理工大学）；Jheronimus Academy of Data Science（赫罗尼姆斯数据科学学院）；University of Jyväskylä（于韦斯屈莱大学）；Tilburg University（蒂尔堡大学）
研究了约束强化学习中有效探索的后验抽样方法。替代现有的算法，我们提出了两个简单的算法，更有效的统计，更简单的实现和计算成本更低。第一种算法是基于CMDP的线性公式，第二种算法利用CMDP的鞍点公式。我们的实证结果表明，尽管它的简单性，后验采样达到最先进的性能，在某些情况下，显着优于乐观算法。
2022-09-08 cs.LG
ConstrainedSQL: Training LLMs for Text2SQL via Constrained Reinforcement Learning
Rensselaer Polytechnic Institute（拉特格斯理工大学）；IBM Research（IBM研究院）
针对现有Text2SQL大语言模型强化学习训练易出现奖励黑客的问题，提出融入可解释奖励与约束信号的ConstrainedSQL框架，经理论验证与数据集实验证明其性能优于现有最优RL训练的Text2SQL大模型。
2025-11-12 cs.LG
Safe Reinforcement Learning for Autonomous Vehicles through Parallel Constrained Policy Optimization
Tsinghua University（清华大学）；University of Michigan（密歇根大学）
强化学习（RL）由于其解决复杂分类和控制问题的潜力，在自动驾驶领域引起了越来越多的关注。然而，现有的强化学习算法很少应用于真实车辆，主要有两个问题：行为无法解释，并且它们无法保证新场景下的安全性。本文提出了一种安全的RL算法，称为并行约束策略优化（PCPO），两个自动驾驶任务。PCPO将目前常见的行动者-批评者结构扩展为一个三组件学习框架，其中三个神经网络分别用于逼近策略函数、价值函数和一个新添加的风险函数。同时，信任域约束的加入，允许大的更新步骤，而不打破单调改善条件。为了保证安全约束问题的可行性，采用同步并行学习器探索不同的状态空间，加快了学习和策略更新。对自动驾驶汽车的两种场景的模拟证实了我们可以在确保安全的同时实现快速学习。
2020-03-03 cs.AI cs.LG stat.ML
Constrained Model-based Reinforcement Learning with Robust Cross-Entropy Method
Carnegie Mellon University（卡内基梅隆大学）；University of Toronto（多伦多大学）
本文研究了约束违反指示信号稀疏的约束/安全强化学习（RL）问题。我们提出了一种基于模型的方法，使RL代理有效地探索未知的系统动态和环境约束的环境，给出了一个显着的小数目的违规预算。我们采用神经网络集成模型来估计预测的不确定性，并使用模型预测控制作为基本的控制框架。考虑模型的不确定性和约束条件，提出了鲁棒交叉熵方法来优化控制序列。我们在安全健身房环境中评估我们的方法。结果表明，我们的方法学习完成任务的约束违反比最先进的基线少得多。此外，我们能够实现几个数量级更好的样本效率相比，约束无模型RL方法。代码可在\url{https://github.com/liuzuxin/safe-mbrl}上获得。
2021-03-06 cs.AI cs.LG cs.RO
AutoCost: Evolving Intrinsic Cost for Zero-violation Reinforcement Learning
Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）
安全性是限制深度强化学习（RL）应用于现实世界控制任务的关键障碍。为此，约束强化学习利用成本函数来提高约束马尔可夫决策过程的安全性。然而，这样的约束RL方法无法实现零违规，即使成本限制为零。本文分析了这种失败的原因，这表明，一个合适的成本函数在约束RL的重要作用。受分析的启发，我们提出了AutoCost，一个简单而有效的框架，可以自动搜索成本函数，帮助约束RL实现零违规性能。我们验证了所提出的方法和搜索成本函数的安全RL基准安全健身房。我们比较了增强代理的性能，使用我们的成本函数提供附加的内在成本与基线代理使用相同的政策学习者，但只有外在成本。结果表明，在所有环境中的内在成本的收敛策略实现零约束违反和可比的性能与基线。
2023-01-24 cs.AI cs.LG cs.RO
Learning Cooperative Oversubscription for Cloud by Chance-Constrained Multi-Agent Reinforcement Learning
East China Normal University（华东师范大学）；Microsoft Research（微软研究院）；Microsoft 365（微软365）；Microsoft Research Asia（微软亚洲研究院）
超额订阅是提高云资源利用率的常见做法。它允许云服务提供商销售超过物理限制的资源，假设不是所有用户都能同时充分利用这些资源。然而，如何设计一个超额预订政策，提高利用率，同时满足一些安全约束仍然是一个悬而未决的问题。现有的方法和工业实践过于保守，忽略了不同的资源使用模式和概率约束的协调。为了解决这两个问题，本文将云计算的超额订阅问题描述为一个机会约束优化问题，并提出了一种有效的机会约束多智能体强化学习（C2MARL）方法来解决这个问题。具体来说，C2MARL通过考虑约束的上限来减少约束的数量，并利用多智能体强化学习范式来学习安全和最优的协调策略。我们在内部云平台和公共云数据集上评估我们的C2MARL。实验表明，我们的C2 MARL优于现有的方法，提高利用率（$20\%\sim 86\%$）在不同级别的安全约束。
2022-11-21 cs.AI cs.LG cs.MA
Adversarial Constrained Policy Optimization: Improving Constrained Reinforcement Learning by Adapting Budgets
Shanghai Jiao Tong University（上海交通大学）；ParisTech Elite Institute of Technology, Shanghai Jiao Tong University（上海交通大学巴黎卓越工程师学院）；AI Institute, Shanghai Jiao Tong University（上海交通大学人工智能研究院）
针对约束强化学习难以平衡性能与安全、易陷入过度保守或违约局部最优的问题，本文提出ACPO，通过对抗式交替优化实现奖励提升与成本预算自适应，并在Safety Gymnasium和四足运动任务中验证其优于常用基线。
2024-10-28 cs.LG cs.RO
Robust Constrained Reinforcement Learning
University at Buffalo（纽约州立大学布法罗分校）；University of Connecticut（康涅狄格大学）
约束强化学习是在效用/成本约束下最大化期望回报。然而，训练环境可能与测试环境不同，例如，建模误差、对抗攻击、非平稳性，导致严重的性能下降，更重要的是违反约束。提出了一种模型不确定性下的鲁棒约束强化学习框架，其中MDP不是固定的，而是位于某个不确定集合中，目标是保证不确定集合中的所有MDP都满足效用/成本约束，并在不确定集合上最大化最坏情况下的奖励性能.我们设计了一个鲁棒的原始-对偶方法，并进一步从理论上保证了其收敛性、复杂性和鲁棒可行性。然后，我们研究了一个具体的例子$δ$ -污染不确定性集，设计了一个在线和无模型的算法，并从理论上描述了其样本复杂性。
2022-09-14 cs.LG
Constrained Reinforcement Learning for Safe Heat Pump Control
Faculty of Computer Science, University of Freiburg（弗莱堡大学计算机科学学院）；University of Freiburg（弗莱堡大学）；Systems Control and Optimization Laboratory, Department of Microsystems Engineering, University of Freiburg（弗莱堡大学微系统工程系系统控制与优化实验室）
针对建筑供热系统优化能源效率并保持热舒适度这一约束优化问题，提出建筑模拟器I4B，应用无模型约束强化学习算法CSAC-LB，通过与基线算法对比，证明该算法在数据探索、约束满足和性能方面的效率。
2026-07-14 cs.AI cs.LG cs.SY
X-MEN: Guaranteed XOR-Maximum Entropy Constrained Inverse Reinforcement Learning
Purdue University（普渡大学）
逆向强化学习（IRL）是一种从演示中进行示教学习的强大方法。在本文中，我们解决IRL问题的先验知识，最佳的政策将永远不会违反某些限制。传统的方法忽略了这些限制，需要许多的示范收敛。提出了XOR-最大熵约束逆强化学习（X-MEN）算法，保证了算法在线性速率下收敛到最优策略.学习迭代的次数。X-MEN将XOR采样（一种可证明的采样方法，将#P完全采样问题转换为对NP预言机的查询）嵌入到最大熵IRL的框架中。X-MEN还保证学习的策略永远不会生成违反约束的轨迹。在导航的实证结果表明，X-MEN收敛速度更快的最佳政策相比，基线方法，总是产生的轨迹，满足多状态组合约束。
2022-03-22 cs.LG
Safe Reinforcement Learning in Constrained Markov Decision Processes
IBM Research AI（IBM研究院）；Tsinghua University（清华大学）
安全强化学习是一种很有前途的方法，用于优化在安全关键应用中运行的代理的策略。在本文中，我们提出了一种算法，SNO-MDP，探索和优化马尔可夫决策过程未知的安全约束。具体来说，我们采取逐步的方法来优化安全性和累积奖励。在我们的方法中，智能体首先通过扩大安全区域来学习安全约束，然后在已认证的安全区域内优化累积奖励。我们提供了理论保证的安全约束的满意度和近最优的累积奖励下适当的规律性假设。在我们的实验中，我们通过两个实验证明了SNO-MDP的有效性：一个是在一个新的、开放的环境GP-SAFETY-GYM中使用合成数据，另一个是使用真实的观测数据模拟火星表面探测。
2020-08-15 cs.AI cs.LG cs.RO
Hyperproperty-Constrained Secure Reinforcement Learning
Bayloy University（贝勒大学）；University of Dayton（代顿大学）；University of Missouri-Columbia（密苏里大学哥伦比亚分校）
针对现有强化学习研究缺乏超属性层面安全约束的问题，提出在满足HyperTWTL安全规约的同时用动态Boltzmann softmax RL学习最优策略的方法，经机器人任务验证优于基线算法。
2025-07-31 cs.AI cs.LG cs.LO
CRLLK: Constrained Reinforcement Learning for Lane Keeping in Autonomous Driving
Nanyang Technological University（南洋理工大学）；Indian Institute of Technological（印度技术学院）；Indian Institute of Technology（印度理工学院）
提出将车道保持建模为约束强化学习，自动学习权重系数，免去场景特定调整，实验证明其优于传统RL并具有实际应用价值。
2025-03-28 cs.LG cs.RO
CH-MARL: Constrained Hierarchical Multiagent Reinforcement Learning for Sustainable Maritime Logistics
本文提出CH-MARL框架，通过分层决策、动态约束执行和公平感知奖励塑形，在模拟海事物流中实现减排、公平性与运营效率的同步提升，为受约束多智能体协调提供可扩展的通用方案。
2025-02-04 cs.AI cs.MA
Constrained Reinforcement Learning for Dynamic Material Handling
Research Institute of Trustworthy Autonomous Systems (RITAS), Southern University of Science and Technology（南方科技大学可信自主系统研究院）；Southern University of Science and Technology（南方科技大学）；Trustworthiness Theory Research Center, Huawei Technologies Co., Ltd（华为技术有限公司可信理论研究中心）
本文针对动态物料搬运中的自动导引车调度问题，将其建模为受约束的马尔可夫决策过程，并提出结合拉格朗日松弛与无效动作掩蔽的自适应约束强化学习算法RCPOM，同时开发了DMH-GYM模拟器作为基准，实验证明其性能优于多种现有算法和调度规则。
2023-05-23 cs.AI cs.LG cs.RO
Selection as Power: Constrained Reinforcement for Bounded Decision Authority
AI Lab, Grupo Santander Madrid, Spain（Grupo Santander 马德里实验室）
本文提出了一种动态激励性选择治理框架，通过受约束的强化学习方法，在保持有限决策权的同时实现适应性改进。
2026-03-02 cs.AI cs.CE cs.LG
Constrained Combinatorial Optimization with Reinforcement Learning
University of the Basque Country（巴斯克大学）；Lehigh University（理海大学）
本文提出了一种使用深度强化学习（RL）解决约束组合优化问题的框架。为此，我们扩展了神经组合优化（NCO）理论，以处理其制定的约束。值得注意的是，我们建议定义约束组合问题作为完全可观察的约束马尔可夫决策过程（CMDP）。在该上下文中，基于与环境的交互迭代地构造解决方案。该模型，除了奖励信号，依赖于从约束不满产生的惩罚信号来推断作为启发式算法的政策。此外，在优化过程中访问完整的状态表示允许我们依赖于无内存架构，增强了以前的序列到序列方法中获得的结果。约束车间和资源分配问题进行的实验证明了计算快速解决方案的建议相比，经典的启发式，元启发式，约束编程（CP）求解器的优越性。
2020-06-22 cs.LG stat.ML
Constrained Policy Improvement for Safe and Efficient Reinforcement Learning
Bar-Ilan University（巴伊兰大学）；UC Berkeley（加州大学伯克利分校）
提出了一种强化学习（RL）的策略改进算法--重路由行为改进（RBI）。RBI被设计为考虑Q函数的评估误差。当从有限的过去经验数据学习$Q$值时，这种错误在RL中是常见的。忽略这些错误的贪婪策略或甚至受约束的策略优化算法可能遭受改进惩罚（即，负策略改进）。为了最小化改进惩罚，RBI的想法是衰减低概率动作的快速策略变化，这些动作的采样频率较低。这种方法被证明可以避免灾难性的性能下降，并减少后悔时，从一批过去的经验学习。通过一个双臂强盗高斯分布的奖励的例子，我们表明，它也提高了数据的效率时，最佳的行动有一个高的方差。我们在Atari学习环境中的两项任务中评估RBI：（1）从多个行为策略的观察中学习和（2）迭代RL。我们的研究结果表明，RBI的优势，贪婪的政策和其他有约束的政策优化算法作为一个安全的学习方法，并作为一个通用的数据有效的学习算法。我们的RBI实现的匿名Github存储库可以在https://github.com/eladsar/rbi找到。
2019-07-10 cs.AI cs.LG stat.ML
