Constrained-Space Optimization and Reinforcement Learning for Complex Tasks
Imperial College London（帝国理工学院）；Shanghai Jiao Tong University（上海交通大学）
示教学习越来越多地用于将操作员的操作技能转移到机器人。在实践中，重要的是要满足有限的数据和不完美的人类演示，以及潜在的安全约束。本文提出了一种用于管理复杂任务的约束空间优化和强化学习方案。通过在受限空间内的交互，强化学习代理被训练以根据定义的奖励函数来优化操作技能。在学习之后，最优策略从训练良好的强化学习代理中导出，然后执行该代理以引导机器人执行类似于专家演示的任务。通过机器人的机器人任务验证了所提出方法的有效性，表明所学习的策略在关节运动和末端执行器轨迹的平滑性以及整体任务完成时间方面优于专家演示。
2020-04-01 cs.AI cs.LG cs.RO
Goal-constrained Sparse Reinforcement Learning for End-to-End Driving
Inria（法国国家信息与自动化研究所）
用于端到端驾驶的深度强化学习受到复杂奖励工程需求的限制。稀疏奖励可以规避这一挑战，但遭受长的训练时间，并导致次优的政策。在这项工作中，我们探索完全控制驾驶只有目标约束的稀疏奖励，并提出了一个课程学习方法，端到端的驾驶只使用导航视图地图，受益于小的虚拟到真实的域差距。为了解决多个驾驶策略的复杂性，我们学习在推理时由导航系统选择的并发个体策略。我们证明了我们的建议，以概括看不见的道路布局的能力，并驾驶显着长于在培训。
2021-07-31 cs.AI cs.CV cs.RO
Constrained Model-based Reinforcement Learning with Robust Cross-Entropy Method
Carnegie Mellon University（卡内基梅隆大学）；University of Toronto（多伦多大学）
本文研究了约束违反指示信号稀疏的约束/安全强化学习（RL）问题。我们提出了一种基于模型的方法，使RL代理有效地探索未知的系统动态和环境约束的环境，给出了一个显着的小数目的违规预算。我们采用神经网络集成模型来估计预测的不确定性，并使用模型预测控制作为基本的控制框架。考虑模型的不确定性和约束条件，提出了鲁棒交叉熵方法来优化控制序列。我们在安全健身房环境中评估我们的方法。结果表明，我们的方法学习完成任务的约束违反比最先进的基线少得多。此外，我们能够实现几个数量级更好的样本效率相比，约束无模型RL方法。代码可在\url{https://github.com/liuzuxin/safe-mbrl}上获得。
2021-03-06 cs.AI cs.LG cs.RO
AutoCost: Evolving Intrinsic Cost for Zero-violation Reinforcement Learning
Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）
安全性是限制深度强化学习（RL）应用于现实世界控制任务的关键障碍。为此，约束强化学习利用成本函数来提高约束马尔可夫决策过程的安全性。然而，这样的约束RL方法无法实现零违规，即使成本限制为零。本文分析了这种失败的原因，这表明，一个合适的成本函数在约束RL的重要作用。受分析的启发，我们提出了AutoCost，一个简单而有效的框架，可以自动搜索成本函数，帮助约束RL实现零违规性能。我们验证了所提出的方法和搜索成本函数的安全RL基准安全健身房。我们比较了增强代理的性能，使用我们的成本函数提供附加的内在成本与基线代理使用相同的政策学习者，但只有外在成本。结果表明，在所有环境中的内在成本的收敛策略实现零约束违反和可比的性能与基线。
2023-01-24 cs.AI cs.LG cs.RO
Safe Reinforcement Learning in Constrained Markov Decision Processes
IBM Research AI（IBM研究院）；Tsinghua University（清华大学）
安全强化学习是一种很有前途的方法，用于优化在安全关键应用中运行的代理的策略。在本文中，我们提出了一种算法，SNO-MDP，探索和优化马尔可夫决策过程未知的安全约束。具体来说，我们采取逐步的方法来优化安全性和累积奖励。在我们的方法中，智能体首先通过扩大安全区域来学习安全约束，然后在已认证的安全区域内优化累积奖励。我们提供了理论保证的安全约束的满意度和近最优的累积奖励下适当的规律性假设。在我们的实验中，我们通过两个实验证明了SNO-MDP的有效性：一个是在一个新的、开放的环境GP-SAFETY-GYM中使用合成数据，另一个是使用真实的观测数据模拟火星表面探测。
2020-08-15 cs.AI cs.LG cs.RO
Constrained Reinforcement Learning for Dynamic Material Handling
Research Institute of Trustworthy Autonomous Systems (RITAS), Southern University of Science and Technology（南方科技大学可信自主系统研究院）；Southern University of Science and Technology（南方科技大学）；Trustworthiness Theory Research Center, Huawei Technologies Co., Ltd（华为技术有限公司可信理论研究中心）
本文针对动态物料搬运中的自动导引车调度问题，将其建模为受约束的马尔可夫决策过程，并提出结合拉格朗日松弛与无效动作掩蔽的自适应约束强化学习算法RCPOM，同时开发了DMH-GYM模拟器作为基准，实验证明其性能优于多种现有算法和调度规则。
2023-05-23 cs.AI cs.LG cs.RO
Quantile Constrained Reinforcement Learning: A Reinforcement Learning Framework Constraining Outage Probability
KAIST（韩国科学技术院）
约束强化学习（Reinforcement Learning，RL）是强化学习的一个分支，其目标是在满足给定约束的前提下，找到一个最大化期望累积收益的最优策略。以往的约束强化学习算法大多将期望累积和成本作为约束条件。然而，具有该约束的优化不能保证累积和成本超过给定阈值的中断事件的目标概率。本文提出了一个框架，名为分位数约束RL（QCRL），限制的分位数的分布的累积和成本，这是一个必要和充分条件，以满足中断约束。这是第一个工作，解决的问题，适用于分位数的策略梯度定理，并提供了近似梯度的分位数的理论结果。在此基础上，利用拉格朗日乘子技术，构造了一种分位数约束策略优化算法（QCPO）。我们使用分布强化学习与大偏差原则（LDP）估计分位数和尾部概率的累积和成本的实施QCPO。所实现的算法在训练期后满足中断概率约束。
2022-11-28 cs.AI cs.LG
Constrained Decision Transformer for Offline Safe Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；Google Deepmind（谷歌DeepMind）
针对离线安全强化学习，提出约束决策变换器（CDT），从多目标优化视角引入ε-可约概念，动态调整安全与性能权衡，实验证明其优于基线且具备零样本适应能力。
2023-06-21 cs.AI cs.LG cs.RO
Explicit Explore, Exploit, or Escape ($E^4$): near-optimal safety-constrained reinforcement learning in polynomial time
University of Southampton（南安普顿大学）
在强化学习（RL）中，智能体必须探索一个初始未知的环境，以学习所需的行为。当RL代理部署在真实世界环境中时，安全性是首要考虑的问题。约束马尔可夫决策过程（CMDPs）可以提供长期的安全约束，但是，代理可能会违反约束，努力探索其环境。本文提出了一种基于模型的强化学习算法，称为显式探索，利用，或逃逸（$E^{4}$），它扩展了显式探索或利用（$E^{3}$）算法的一个强大的CMDP设置。$E^4$明确地分离了利用、探索和逃逸CMDR，从而允许有针对性的策略来改进已知状态、发现未知状态以及安全地返回到已知状态。$E^4$根据一组与部署环境的经验观察一致的CMDP模型，对最坏情况下的CMDP稳健地优化这些策略。理论结果表明，$E^4$发现一个接近最优的约束满足政策在多项式时间，同时满足整个学习过程中的安全约束。然后，我们讨论$E^4$作为一个实用的算法框架，包括鲁棒约束离线优化算法，未知状态的过渡动态的不确定性集的设计，以及如何进一步利用经验观察和先验知识放松一些最坏情况下的假设理论。
2022-06-23 cs.AI cs.LG cs.RO
Constrained Variational Policy Optimization for Safe Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；Nuro Inc.（Nuro公司）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
安全强化学习（RL）旨在学习满足某些约束的策略，然后将其部署到安全关键应用程序。以前的原始-对偶风格的方法遭受不稳定性问题，缺乏最优性保证。本文从概率推理的角度克服了这一问题。我们引入了一种新的期望最大化方法，自然地将约束条件的策略学习：1）可证明的最佳非参数变分分布可以计算在一个凸优化（E-step）后，在封闭的形式; 2）在信任区域的基础上的最佳变分分布（M-step）的策略参数进行了改进。该算法将安全强化学习问题分解为凸优化阶段和监督学习阶段，从而获得更稳定的训练性能。对连续机器人任务的大量实验表明，与基线相比，该方法具有更好的约束满足性能和更好的样本效率。该代码可在https://github.com/liuzuxin/cvpo-safe-rl上获得。
2022-06-17 cs.AI cs.LG cs.RO
CH-MARL: Constrained Hierarchical Multiagent Reinforcement Learning for Sustainable Maritime Logistics
本文提出CH-MARL框架，通过分层决策、动态约束执行和公平感知奖励塑形，在模拟海事物流中实现减排、公平性与运营效率的同步提升，为受约束多智能体协调提供可扩展的通用方案。
2025-02-04 cs.AI cs.MA
Memory Allocation in Resource-Constrained Reinforcement Learning
School of Informatics University of Edinburgh（信息学院爱丁堡大学）
本研究探讨资源受限强化学习中内存分配对智能体性能的影响，重点分析MCTS和DQN算法下模型估计与规划间的内存权衡，并评估不同分配在情节式和持续学习场景中的效果。
2025-06-09 cs.AI cs.LG
A Simple Reward-free Approach to Constrained Reinforcement Learning
Princeton University（普林斯顿大学）
在约束强化学习（RL）中，学习代理不仅要优化整体奖励，还要满足额外的安全性、多样性或预算约束。因此，现有的约束RL解决方案需要几个新的算法成分，显着不同于标准RL。另一方面，无奖励强化学习是在无约束文献中独立开发的，它在不使用奖励信息的情况下学习过渡动态，因此自然能够在共同动态下解决具有多个目标的强化学习。本文桥接了无报酬强化学习和约束强化学习。特别地，我们提出了一个简单的元算法，使得给定任何无奖励的RL预言，可以直接解决可接近性和约束RL问题，样本复杂度的开销可以忽略不计。利用现有的无奖励的RL求解器，我们的框架提供了尖锐的样本复杂性结果约束RL在表格MDP设置，匹配最好的现有结果的一个因素的水平依赖性，我们的框架直接扩展到一个设置的表格两个球员马尔可夫游戏，并给出了一个新的结果约束RL与线性函数近似。
2021-07-12 cs.AI cs.LG
Two-Step Offline Preference-Based Reinforcement Learning with Constrained Actions
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Amazon（亚马逊公司）；Georgia institute of technology（佐治亚理工学院）
针对离线 PBRL 中奖励作弊与强化学习复杂的问题，本文提出 PRC，通过排除分布外状态-动作的约束动作空间提升学习效率。
2024-10-25 cs.AI cs.LG
HOMURA: Taming the Sand-Glass for Time-Constrained LLM Translation via Reinforcement Learning
Bilibili Inc.（哔哩哔哩公司）
HOMURA通过强化学习框架优化语义保持与时间合规性平衡，实现精确的翻译长度控制。
2026-09-04 cs.AI cs.CL
Budget Constrained Bidding by Model-free Reinforcement Learning in Display Advertising
Alibaba Group（阿里巴巴集团）
实时竞价（RTB）是在线展示广告中的一种重要机制，其中每个页面视图的适当竞价对于良好的营销效果起着至关重要的作用。预算约束竞价是RTB中的一个典型场景，其中广告主希望在预设的预算约束下最大化获胜展示的总价值。然而，由于拍卖环境的复杂性和波动性，很难得到最优的投标策略。为了解决这些挑战，在本文中，我们制定预算约束招标作为马尔可夫决策过程，并提出了一个无模型强化学习框架来解决优化问题。我们的分析表明，在关键的资源约束下，来自环境的直接奖励是误导性的。因此，我们创新的奖励函数设计方法的强化学习问题的约束。基于新的奖励设计，我们采用了一个深度神经网络来学习适当的奖励，从而可以有效地学习最优策略。不同于以往基于模型的工作，这遭受的可扩展性问题，我们的框架很容易被部署在大规模的工业应用。实验结果表明，我们的框架在大规模的真实数据集上的有效性。
2018-10-23 cs.AI
Handling Long and Richly Constrained Tasks through Constrained Hierarchical Reinforcement Learning
Singapore Management University（新加坡管理大学）；Rutgers University（罗格斯大学）
本文提出CoSHRL机制，结合上层受约束搜索智能体与低层目标条件RL智能体，解决长时复杂安全约束决策问题，支持成本分布约束且无需重训即可调整阈值。
2024-01-09 cs.AI cs.LG
Situational-Constrained Sequential Resources Allocation via Reinforcement Learning
School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院）；The University of Auckland（奥克兰大学）；The University of New South Wales（新南威尔士大学）
针对带情境约束的序贯资源分配难题，提出SCRL框架，将约束形式化为逻辑蕴含式并结合动态惩罚与概率选择机制，在医疗、农业场景中验证其在约束满足与资源效率上优于现有基线。
2025-06-17 cs.AI
Towards Interpretable Reinforcement Learning with Constrained Normalizing Flow Policies
Örebro University（厄勒布鲁大学）；IT University of Copenhagen（哥本哈根信息技术大学）
提出约束归一化流策略，通过解析构造可解释变换序列保证瞬时安全约束满足，实现构造即安全且更易学习的强化学习策略。
2024-05-02 cs.AI cs.LG
$ \text{T}^3 $OMVP: A Transformer-based Time and Team Reinforcement Learning Scheme for Observation-constrained Multi-Vehicle Pursuit in Urban Area
Beijing University of Posts and Telecommunications（北京邮电大学）
智能车联网（IoV）与人工智能（AI）的结合将有助于智能交通系统（ITS）中的车辆决策。多车追击游戏（MVP）是一种多车协同捕获移动目标的能力，正逐渐成为研究的热点。虽然在开放空间环境下的MVP领域已经取得了一些成果，但城市区域带来的复杂道路结构和有限的移动空间给MVP游戏的解决带来了挑战。本文定义了一个观测约束MVP（Observation-constrained MVP，OMVP）问题，并提出了一个基于转换器的时间和团队强化学习方案（$ \text{T}^3 $ OMVP）来解决该问题。首先，一个新的多车辆追逐模型的基础上，分散部分观察马尔可夫决策过程（Dec-POMDP）构造实例化这个问题。其次，通过引入和修改基于变换器的观测序列，重新定义了QMIX算法，使其能够适应复杂的道路结构、有限的运动空间和有限的观测量，并结合车辆的观测值控制车辆追逐目标。第三，构建了一个多交叉口的城市环境，以验证所提出的方案。大量的实验结果表明，所提出的$ \text{T}^3 $ OMVP方案取得了显着的改善相对于最先进的QMIX方法的9.66%~ 106.25%。代码可在https://github.com/pipihaiziguai/T3OMVP上获得。
2022-03-04 cs.AI
Polynomial-Time Approximability of Constrained Reinforcement Learning
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
该研究针对一般约束马尔可夫决策过程，设计了多项式时间（0，ε）-加性双准则近似算法，首次证明机会约束等四类设置的多项式时间可近似性，且近似保证在P≠NP时最优。
2025-02-11 cs.AI cs.DS cs.LG
Potent but Stealthy: Rethink Profile Pollution against Sequential Recommendation via Bi-level Constrained Reinforcement Paradigm
本文提出CREAT方法，通过双层约束强化范式解决顺序推荐中Profile污染攻击的隐蔽性和有效性问题。
2025-12-22 cs.AI cs.LG
Continual Learning as Computationally Constrained Reinforcement Learning
Department of Computer Science, Stanford University（计算机科学系，斯坦福大学）；Department of Electrical Engineering, Stanford University（电气工程系，斯坦福大学）；Department of Management Science and Engineering, Stanford University（管理科学与工程系，斯坦福大学）
本专著将持续学习形式化为计算受限的强化学习问题，澄清了相关概念并引入了一个框架与工具集，以推动能长期积累知识并发展复杂技能的智能体研究。
2025-06-26 cs.AI cs.LG
Large Scale Constrained Clustering With Reinforcement Learning
本文研究大规模约束聚类问题，提出通过强化学习训练智能体生成可行且近最优解的方法，克服了传统组合优化求解器处理大规模实例的困难。
2024-02-15 cs.AI cs.LG
Sample Complexity Analysis for Constrained Bilevel Reinforcement Learning
Purdue University（普渡大学）
本文首次分析了受约束双层强化学习算法的样本复杂度，提出Constrained Bilevel Subgradient Optimization算法，通过非光滑优化方法解决了约束问题中的对偶间隙和超梯度问题。
2026-01-30 cs.AI cs.LG
Robust Constrained Reinforcement Learning for Continuous Control with Model Misspecification
DeepMind（深度思考（DeepMind））
许多现实世界的物理控制系统需要满足部署时的约束。此外，现实世界中的系统经常受到诸如非平稳性、磨损、未校准的传感器等影响，这些影响有效地扰乱了系统动态，并且可能导致在一个域中成功训练的策略在部署到同一域的扰动版本时表现不佳。这可能会影响政策最大化未来回报的能力以及它满足约束的程度。我们称之为约束模型误指定。我们提出了一种算法，减轻这种形式的错误规范，并展示其性能在多个模拟Mujoco任务从现实世界的强化学习（RWRL）套件。
2021-03-03 cs.AI cs.LG stat.ML
MUSBO: Model-based Uncertainty Regularized and Sample Efficient Batch Optimization for Deployment Constrained Reinforcement Learning
Princeton University（普林斯顿大学）
在诸如医疗保健、金融、机器人和推荐系统的许多当代应用中，用于数据汇集和在线学习的新策略的连续部署要么成本低要么不切实际。我们考虑一种介于纯离线强化学习（RL）和纯在线RL之间的设置，称为部署约束RL，其中用于数据采样的策略部署的数量是有限的。为了解决这个具有挑战性的任务，我们提出了一个新的算法学习框架，称为基于模型的不确定性正则化和样本有效批量优化（MUSBO）。我们的框架为每个部署发现新颖且高质量的样本，以实现高效的数据汇集。在每个离线训练会话中，我们通过量化收集的数据中的不确定性来引导策略更新。在高支持区域（低不确定性），我们通过采取积极的更新来鼓励我们的政策。在低支持区域（高不确定性），当政策引导到分布外区域时，我们通过估计的不确定性量化来降低权重。实验结果表明，MUSBO在部署受限的RL设置中实现了最先进的性能。
2021-06-03 cs.AI cs.LG
COptiDICE: Offline Constrained Reinforcement Learning via Stationary Distribution Correction Estimation
KAIST（韩国科学技术院）；DeepMind（深度思维）
我们考虑离线约束强化学习（RL）问题，其中智能体的目标是计算一个政策，最大化预期收益，同时满足给定的成本约束，学习只从预先收集的数据集。这种问题设置在许多现实世界的场景中是有吸引力的，在这些场景中，与环境的直接交互是昂贵的或有风险的，并且由此产生的策略应该符合安全约束。然而，计算保证满足离线RL设置中的成本约束的策略具有挑战性，因为偏离策略的评估本质上存在估计误差。在本文中，我们提出了一个离线约束RL算法，优化的政策在空间的平稳分布。我们的算法，COptiDICE，直接估计的平稳分布校正的最优策略的回报，同时限制成本上界，与实际的约束满足产生一个成本保守的政策的目标。实验结果表明，COptiDICE算法在约束满足和收益最大化方面均优于基准算法.
2022-04-19 cs.AI cs.LG
Near-Optimal Reinforcement Learning for Constrained Recurrence Objectives
NTU Singapore（南洋理工大学）
本文提出了一种结合$ω$-正则目标与约束的强化学习算法，以解决安全性和性能之间的权衡问题。
2026-08-04 cs.AI cs.LG
Tilted Quantile Gradient Updates for Quantile-Constrained Reinforcement Learning
Tsinghua University（清华大学）；MIT（麻省理工学院）
本文提出倾斜分位数梯度更新方法，用于分位数约束强化学习，通过直接估计分位数梯度并补偿非对称密度，在满足安全约束的同时提升回报性能。
2024-12-17 cs.AI cs.LG
Evolving Constrained Reinforcement Learning Policy
Southern University of Science and Technology（南方科技大学）；Research Institute of Trustworthy Autonomous Systems（可信自主系统研究院）
针对约束强化学习中回报与约束违反难以平衡的问题，提出 ECRL 算法，结合随机排序与带约束缓冲区的 Lagrange 系数维护，在机器人控制基准上性能优于现有方法。
2023-04-19 cs.AI cs.LG cs.NE
Recursive Constraints to Prevent Instability in Constrained Reinforcement Learning
University of Waterloo（滑铁卢大学）
我们考虑的挑战，找到一个确定性的政策马尔可夫决策过程，一致（在所有状态）最大化一个奖励的概率约束下，在不同的奖励。现有的解决方案并不能完全解决我们精确的问题定义，然而，在安全关键的机器人系统的背景下，这是自然产生的。这类问题是已知的困难，但确定性和一致最优性的组合要求可以创建学习不稳定性。在这项工作中，在描述和激励我们的问题与一个简单的例子，我们提出了一个合适的约束强化学习算法，防止学习不稳定，使用递归约束。我们提出的方法承认一个近似的形式，提高了效率，是保守的w.r.t.约束。
2022-01-20 cs.AI cs.LG
Risk-Constrained Reinforcement Learning with Percentile Risk Criteria
Stanford University（斯坦福大学）；Adobe Research（Adobe研究院）；INRIA Lille（里尔国家信息与自动化研究所）
在许多顺序决策问题中，人们感兴趣的是在考虑\emph{risk}的同时使期望累积成本最小化，即，提高对小概率和高后果事件的认识。因此，本文的目标是提出有效的强化学习算法的风险约束马尔可夫决策过程（MDP），其中风险表示通过机会约束或约束的条件风险价值（CVaR）的累积成本。我们将这些问题统称为百分位风险约束MDP。具体来说，我们首先推导出一个公式，用于计算拉格朗日函数的梯度百分位风险约束的MDP。然后，我们设计了策略梯度和行动者-批评者算法，用于（1）估计此类梯度，（2）在下降方向上更新策略，以及（3）在上升方向上更新拉格朗日乘数。对于这些算法，我们证明收敛到局部最优的政策。最后，我们证明了我们的算法在最优停止问题和在线营销应用的有效性。
2017-04-06 cs.AI cs.LG math.OC
Constrained episodic reinforcement learning in concave-convex and knapsack settings
University of Maryland（马里兰大学）；Microsoft Research（微软研究院）；Princeton University（普林斯顿大学）；UC Berkeley（加州大学伯克利分校）；Cornell University（康奈尔大学）
我们提出了一种带约束的表格式情景强化学习算法。我们提供了一个模块化的分析与强有力的理论保证设置凹奖励和凸约束，并设置硬约束（背包）。在约束强化学习中，以前的大多数工作都局限于线性约束，剩下的工作集中在可行性问题或单集设置上。我们的实验表明，该算法显着优于这些方法在现有的约束情景环境。
2021-06-06 cs.AI cs.DS cs.LG
Safe Reinforcement Learning for Autonomous Vehicles through Parallel Constrained Policy Optimization
Tsinghua University（清华大学）；University of Michigan（密歇根大学）
强化学习（RL）由于其解决复杂分类和控制问题的潜力，在自动驾驶领域引起了越来越多的关注。然而，现有的强化学习算法很少应用于真实车辆，主要有两个问题：行为无法解释，并且它们无法保证新场景下的安全性。本文提出了一种安全的RL算法，称为并行约束策略优化（PCPO），两个自动驾驶任务。PCPO将目前常见的行动者-批评者结构扩展为一个三组件学习框架，其中三个神经网络分别用于逼近策略函数、价值函数和一个新添加的风险函数。同时，信任域约束的加入，允许大的更新步骤，而不打破单调改善条件。为了保证安全约束问题的可行性，采用同步并行学习器探索不同的状态空间，加快了学习和策略更新。对自动驾驶汽车的两种场景的模拟证实了我们可以在确保安全的同时实现快速学习。
2020-03-03 cs.AI cs.LG stat.ML
Offline Inverse Constrained Reinforcement Learning for Safe-Critical Decision Making in Healthcare
School of Computer Science and Technology（计算机科学与技术学院）；University of Science and Technology of China（中国科学技术大学）；School of Data Science（数据科学学院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
针对医疗离线决策中难以指定约束的问题，提出约束Transformer（CT），利用因果注意力机制建模非马尔可夫约束，并通过生成式世界模型增强数据，有效降低不安全行为并实现接近较低死亡率的策略。
2024-10-14 cs.AI cs.LG
SafeRL-Lite: A Lightweight, Explainable, and Constrained Reinforcement Learning Library
Vision Mentors Ltd.（愿景导师有限公司）；School of Computer Science & AI, SR University（计算机科学与人工智能学院，SR大学）；Department of Computer Science, MANIT（计算机科学系，MANIT）；University of West London（西伦敦大学）
SafeRL-Lite是一个轻量级、可解释的强化学习库，通过约束执行和SHAP值解释，在CartPole上验证了安全与可解释性。
2025-06-17 cs.AI cs.LG
ROI-Constrained Bidding via Curriculum-Guided Bayesian Reinforcement Learning
ShanghaiTech University（上海科技大学）；Alibaba Group（阿里巴巴集团）
实时竞价是现代在线广告系统中的一种重要机制。广告主在考虑各种财务要求，特别是投资回报率（ROI）约束的情况下，采用竞价策略来优化其广告效果。在顺序竞价过程中，投资回报率的变化是非单调的，往往会导致约束满足和目标优化之间的拉锯效应。虽然一些现有的方法在静态或轻度变化的广告市场中显示出有希望的结果，但它们无法推广到具有ROI约束的高度动态的广告市场，因为它们无法自适应地平衡非平稳性和部分可观察性中的约束和目标。在这项工作中，我们专注于投资回报率约束招标在非平稳市场。基于部分可观测约束马尔可夫决策过程，我们的方法利用了一个指标增强的奖励函数，没有额外的权衡参数，并开发了一个课程引导贝叶斯强化学习（CBRL）框架，自适应地控制非平稳广告市场的约束目标权衡。在一个大规模工业数据集上进行的大量实验表明，CBRL在分布内和分布外数据机制中都具有良好的泛化能力，并且具有优越的学习效率和稳定性。
2022-07-16 cs.AI cs.LG
Reinforcement Learning of Risk-Constrained Policies in Markov Decision Processes
Masaryk University（马萨里克大学）；Institute of Science and Technology Austria（奥地利科学技术研究所）
马尔可夫决策过程（MDP）是随机不确定性条件下序列决策的实际框架。MDPs的经典优化准则是最大化期望折扣和收益，忽略了对系统具有高度负面影响的低概率灾难性事件。另一方面，风险规避政策要求不可预测事件的概率低于给定的阈值，但它们并不考虑预期收益的优化。我们考虑MDPs与贴现和支付的失败状态，代表灾难性的结果。风险约束规划的目标是最大化风险规避策略的期望折扣和收益，以确保遇到故障状态的概率低于期望阈值。我们的主要贡献是一个有效的风险约束规划算法，它结合了UCT类搜索与预测learnedthrough互动与MDP（在风格的AlphaZero）和风险约束的行动选择通过线性规划。我们证明了我们的方法的有效性与实验的经典MDP从文献中，包括基准的顺序为10^6状态。
2020-02-27 cs.AI cs.LG
Constrained Reinforcement Learning for Safe Heat Pump Control
Faculty of Computer Science, University of Freiburg（弗莱堡大学计算机科学学院）；University of Freiburg（弗莱堡大学）；Systems Control and Optimization Laboratory, Department of Microsystems Engineering, University of Freiburg（弗莱堡大学微系统工程系系统控制与优化实验室）
针对建筑供热系统优化能源效率并保持热舒适度这一约束优化问题，提出建筑模拟器I4B，应用无模型约束强化学习算法CSAC-LB，通过与基线算法对比，证明该算法在数据探索、约束满足和性能方面的效率。
2026-07-14 cs.AI cs.LG cs.SY
Hyperproperty-Constrained Secure Reinforcement Learning
Bayloy University（贝勒大学）；University of Dayton（代顿大学）；University of Missouri-Columbia（密苏里大学哥伦比亚分校）
针对现有强化学习研究缺乏超属性层面安全约束的问题，提出在满足HyperTWTL安全规约的同时用动态Boltzmann softmax RL学习最优策略的方法，经机器人任务验证优于基线算法。
2025-07-31 cs.AI cs.LG cs.LO
Safe and Balanced: A Framework for Constrained Multi-Objective Reinforcement Learning
Technical University of Munich（慕尼黑工业大学）；Virginia Tech（弗吉尼亚理工大学）；UC Berkeley（加州大学伯克利分校）；Microsoft Research Asia（微软亚洲研究院）
针对安全关键系统中多目标与严格约束的平衡难题，提出基于原始框架的自然策略梯度操控方法，具备理论保证并在安全多目标任务上超越现有方法。
2024-05-26 cs.AI cs.LG
Specification Gaming and a Constrained Reinforcement Learning Mitigation in a Cleaning Gridworld
Kwame Nkrumah University of Science and Technology（夸梅·恩克鲁玛科技大学）
该研究针对强化学习的规范博弈问题，构建清洁机器人网格世界场景，提出受限强化学习方法，可消除博弈行为并恢复真实目标性能，还推导验证了相关精确恒等式。
2026-10-16 cs.AI cs.LG
Constrained Multi-objective Optimization with Deep Reinforcement Learning Assisted Operator Selection
School of Computer Science, China University of Geosciences（中国地质大学计算机学院）；Tsinghua University（清华大学）；Bielefeld University（比勒费尔德大学）
本文提出深度强化学习辅助的在线算子选择框架，将种群收敛性、多样性和可行性作为状态，以Q网络自适应选择最优算子，并嵌入四种CMOEA在42个基准问题上验证了其显著性能提升和更强通用性。
2024-01-15 cs.AI cs.NE
Robust off-policy Reinforcement Learning via Soft Constrained Adversary
Kyoto University（京都大学）；Honda R&D Corp.（本田研发公司）
本文针对离策略鲁棒强化学习中策略与最优对抗者相互依赖及扰动假设局限的问题，提出基于f-散度约束和先验分布知识的对抗框架，推导出两种攻击及鲁棒学习方法，并在样本高效离策略RL中验证了其优异性能。
2024-08-31 cs.AI cs.LG
Selection as Power: Constrained Reinforcement for Bounded Decision Authority
AI Lab, Grupo Santander Madrid, Spain（Grupo Santander 马德里实验室）
本文提出了一种动态激励性选择治理框架，通过受约束的强化学习方法，在保持有限决策权的同时实现适应性改进。
2026-03-02 cs.AI cs.CE cs.LG
Doubly-Dynamic ISAC Precoding for Vehicular Networks: A Constrained Deep Reinforcement Learning (CDRL) Approach
Peking University（北京大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
针对车载网络双重动态性导致的实时 ISAC 预编码器设计难题，提出基于约束深度强化学习的动态更新方案，通过定制原始对偶-深度确定性策略梯度和 Wolpertinger 架构高效训练算法，实验验证了其在适应动态、提升性能和降低复杂度方面的优越性。
2024-08-23 cs.AI eess.SP
Identifiability and Generalizability in Constrained Inverse Reinforcement Learning
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本文构建约束马尔可夫决策过程下的 IRL 理论框架，分析不同正则化与安全约束对奖励可辨识性及跨环境泛化性的影响，并给出有限样本保证与 gridworld 验证。
2023-06-01 cs.AI cs.LG cs.SY
Incentivizing Safer Actions in Policy Optimization for Constrained Reinforcement Learning
Indian Institute of Technology Kharagpur（印度理工学院克拉格浦尔分校）；Synopsys（Synopsys公司）
针对约束强化学习中策略优化在约束边界附近不稳定的问题，提出带自适应激励和增量惩罚的IP3O算法，在基准上优于现有安全RL算法，并提供最坏情况误差的理论保证。
2025-09-11 cs.AI cs.LG
Provably Efficient Exploration in Inverse Constrained Reinforcement Learning
School of Data Science, The Chinese University of Hong Kong, Shenzhen（数据科学学院，香港中文大学（深圳））；Stony Brook University, New York（石溪大学）
针对逆约束强化学习现有采样策略效率不明的问题，提出带效率保证的策略探索框架，基于误差分析设计两种算法，兼具理论样本复杂度保障与多环境实验验证。
2025-05-16 cs.AI cs.LG
Graph Constrained Reinforcement Learning for Natural Language Action Spaces
Georgia Institute of Technology（佐治亚理工学院）；Microsoft Research（微软研究院）
交互式小说游戏是基于文本的模拟，其中代理纯粹通过自然语言与世界交互。它们是研究如何扩展强化学习代理以应对组合大文本动作空间中的自然语言理解、部分可观察性和动作生成挑战的理想环境。我们提出了KG-A2 C，一个代理，建立一个动态的知识图谱，同时探索和生成使用基于模板的动作空间的行动。我们认为，知识图谱的双重用途，以原因有关的游戏状态和约束自然语言生成的组合大自然语言行动的可扩展性探索的关键。各种IF游戏的结果表明，KG-A2 C优于当前的IF代理，尽管动作空间大小呈指数级增长。
2020-01-23 cs.AI cs.CL cs.LG
Reinforcement learning with distance-based incentive/penalty (DIP) updates for highly constrained industrial control systems
典型的强化学习（RL）方法对于现实世界的工业控制问题显示出有限的适用性，因为工业系统涉及各种约束并且同时需要连续和离散控制。为了克服这些挑战，我们设计了一种新的RL算法，使代理处理高度约束的动作空间。该算法有两个主要特点。首先，我们设计了两个基于距离的Q值更新计划，激励更新和惩罚更新，在基于距离的激励/惩罚更新技术，使代理决定离散和连续的行动在可行区域，并更新这些类型的行动的值。其次，我们提出了一种方法定义的惩罚成本作为一个影子价格加权罚款。与先前的方法相比，这种方法提供了两个优点，以有效地诱导代理不选择不可行的动作。将该算法应用于微电网系统运行的工业控制问题，实验结果证明了其优越性。
2021-05-19 cs.AI cs.SY eess.SY
Constrained Policy Improvement for Safe and Efficient Reinforcement Learning
Bar-Ilan University（巴伊兰大学）；UC Berkeley（加州大学伯克利分校）
提出了一种强化学习（RL）的策略改进算法--重路由行为改进（RBI）。RBI被设计为考虑Q函数的评估误差。当从有限的过去经验数据学习$Q$值时，这种错误在RL中是常见的。忽略这些错误的贪婪策略或甚至受约束的策略优化算法可能遭受改进惩罚（即，负策略改进）。为了最小化改进惩罚，RBI的想法是衰减低概率动作的快速策略变化，这些动作的采样频率较低。这种方法被证明可以避免灾难性的性能下降，并减少后悔时，从一批过去的经验学习。通过一个双臂强盗高斯分布的奖励的例子，我们表明，它也提高了数据的效率时，最佳的行动有一个高的方差。我们在Atari学习环境中的两项任务中评估RBI：（1）从多个行为策略的观察中学习和（2）迭代RL。我们的研究结果表明，RBI的优势，贪婪的政策和其他有约束的政策优化算法作为一个安全的学习方法，并作为一个通用的数据有效的学习算法。我们的RBI实现的匿名Github存储库可以在https://github.com/eladsar/rbi找到。
2019-07-10 cs.AI cs.LG stat.ML
Reinforcement Learning with Competitive Ensembles of Information-Constrained Primitives
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；University of California, Berkeley（加州大学伯克利分校）
在多样化和复杂环境中运行的强化学习代理可以从其行为的结构化分解中受益。通常，这是在分层强化学习的上下文中解决的，其目的是将策略分解为较低级别的原语或选项，以及触发针对给定情况的适当行为的较高级别的元策略。然而，元策略仍然必须在所有状态下产生适当的决策。在这项工作中，我们提出了一个政策设计，分解成原语，类似于分层强化学习，但没有一个高层次的元政策。相反，每个原语可以自己决定是否希望在当前状态下操作。我们使用信息理论机制来实现这种分散决策：每个原语选择它需要多少关于当前状态的信息来做出决策，并且请求关于当前状态的最多信息的原语在世界上行动。原语被规则化以使用尽可能少的信息，这导致了自然竞争和专业化。我们的实验表明，这种政策架构提高了平面和层次化的政策方面的泛化。
2019-06-25 cs.AI cs.LG stat.ML
