Constrained Meta Reinforcement Learning with Provable Test-Time Safety
Sycamore Lab, EPFL, Lausanne, Switzerland(苏黎世联邦理工学院萨克森实验室,瑞士拉瓦尔)
提出一种约束元强化学习算法,在测试任务上以可证明的安全性和样本复杂度保证学习近似最优策略,并证明样本复杂度下界。
2026-05-26 cs.LG
Efficient Exploration in Average-Reward Constrained Reinforcement Learning: Achieving Near-Optimal Regret With Posterior Sampling
Eindhoven University of Technology(埃因霍温理工大学);Jheronimus Academy of Data Science(赫罗尼姆斯数据科学学院);University of Jyväskylä(于韦斯屈莱大学)
针对无限时域无折扣设置下的约束马尔可夫决策过程(CMDP),提出一种基于后验采样的算法,实现了近似最优的贝叶斯遗憾界并在实验中优于现有方法。
2024-05-29 cs.LG
A Survey of Safe Reinforcement Learning and Constrained MDPs: A Technical Survey on Single-Agent and Multi-Agent Safety
International Institute of Information Technology, Hyderabad, India(国际信息科技研究所,印度海得拉巴);Meta SuperIntelligence, USA(Meta超智能,美国)
本文综述了安全强化学习和约束马尔可夫决策过程,涵盖单智能体和多智能体安全方法,总结了理论基础和最新算法,并提出五个开放性问题以推动该领域发展。
2026-04-29 cs.LG
Solving Richly Constrained Reinforcement Learning through State Augmentation and Reward Penalties
本文提出一种通过状态增广和奖励惩罚将约束强化学习转化为等价无约束问题的新范式,并在多个基准问题上超越现有领先方法。
2023-05-31 cs.LG
Provably Efficient Exploration in Constrained Reinforcement Learning:Posterior Sampling Is All You Need
Eindhoven University of Technology(埃因霍温理工大学);Jheronimus Academy of Data Science(杰罗尼默斯数据科学学院);Tilburg University(蒂尔堡大学)
针对无限视野无折扣通信型 CMDP,提出基于后验采样的探索算法,获得接近最优的贝叶斯遗憾界,并在实验中优于现有约束强化学习方法。
2023-09-27 cs.LG
Successive Convex Approximation Based Off-Policy Optimization for Constrained Reinforcement Learning
Peking University(北京大学);Zhejiang University(浙江大学)
提出了一种基于连续凸逼近的离线优化算法(SCAOPO)来解决一般的约束强化学习问题,该问题被表示为平均成本下的约束马尔可夫决策过程(CMDP). SCAOPO是基于解决一系列的凸目标/可行性优化问题,通过替换目标和约束函数在原来的问题与凸代理函数。在每次迭代中,即使策略参数为高维函数,凸代理问题也可以通过拉格朗日对偶方法有效地求解。此外,SCAOPO能够重用以前更新中的旧经验,从而在部署到需要在线学习环境的真实工程系统中时,显着降低了实施成本。尽管存在时变的状态分布和离策略学习带来的随机偏差,具有可行初始点的SCAOPO仍几乎必然收敛于原问题的KKT点.
2021-05-26 cs.LG
Conflict-Averse Gradient Aggregation for Constrained Multi-Objective Reinforcement Learning
Seoul National University(首尔大学)
提出约束多目标强化学习算法CoMOGA,将多目标最大化视为约束优化问题并利用线性近似更新策略以避免梯度冲突,在表格环境中保证最优收敛并在所有任务中实现约束满足。
2024-05-31 cs.LG
Direct Behavior Specification via Constrained Reinforcement Learning
Institut d’intelligence aritficielle du Québec (Mila)(魁北克人工智能研究所(Mila));École Polytechnique de Montréal(蒙特利尔理工学院);Ubisoft La Forge(育碧La Forge实验室);Université de Montréal(蒙特利尔大学);ServiceNow(ServiceNow公司)
强化学习的标准制定缺乏一种实用的方法来指定什么是允许的和禁止的行为。大多数情况下,从业者通过手动设计奖励函数来完成行为规范的任务,这是一个违反直觉的过程,需要多次迭代,并且很容易被代理奖励投机攻击。在这项工作中,我们认为,受约束的RL,这几乎完全用于安全RL,也有可能显着减少在应用RL项目中用于奖励规范的工作量。为此,我们建议在CMDP框架中指定行为偏好,并使用拉格朗日方法自动权衡这些行为约束。具体来说,我们研究如何CMDPs可以适应解决基于目标的任务,同时坚持几个约束。我们评估这个框架上的一组连续控制任务相关的应用程序的强化学习NPC设计在视频游戏。
2022-06-18 cs.LG
Escaping from Zero Gradient: Revisiting Action-Constrained Reinforcement Learning via Frank-Wolfe Policy Optimization
National Yang Ming Chiao Tung University(国立阳明交通大学);Facebook AI(脸书人工智能);Academia Sinica(中央研究院)
约束强化学习(RL)是一种在各种现实世界应用中广泛使用的方法,例如具有资源约束的网络系统中的调度和具有运动约束的机器人的控制。虽然现有的基于投影的方法确保零约束违反,但由于策略梯度和投影的紧密耦合,它们可能遭受零梯度问题,这导致样本低效的训练和缓慢的收敛。为了解决这个问题,我们提出了一个学习算法,利用状态明智的Frank-Wolfe和基于回归的策略更新方案,从策略参数更新的动作约束。此外,我们表明,该算法在表格的情况下,以及推广流行的DDPG算法的动作约束RL在一般情况下,具有收敛性和政策改进性能。通过实验,我们证明了该算法显着优于各种控制任务的基准方法。
2021-08-02 cs.LG
TCRL: Temporal-Coupled Adversarial Training for Robust Constrained Reinforcement Learning in Worst-Case Scenarios
Northeastern University(东北大学);Zhejiang University(浙江大学);Aalborg University(奥胡斯大学)
TCRL通过引入时序耦合对抗训练框架,解决传统方法在处理时序耦合扰动时的不足,提升约束强化学习在最坏情况下的鲁棒性。
2026-02-13 cs.LG
Constrained Meta Agnostic Reinforcement Learning
KIT Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);FZI Research Center for Information Technology(FZI信息技术研究中心)
针对元强化学习策略在现实应用中难平衡快速适配与环境约束的问题,提出融合元学习与约束优化的C-MAML方法,训练时纳入任务特定约束以生成更安全的初始参数,在不同复杂度轮式机器人模拟运动任务中验证了有效性与鲁棒性。
2024-06-20 cs.LG
Risk-Averse Constrained Reinforcement Learning with Optimized Certainty Equivalents
Yale University(耶鲁大学);King’s College London(伦敦国王学院);Cisco Systems Inc.(思科系统公司)
本文提出一种基于优化确定等价的风险厌恶约束强化学习框架,通过增强鲁棒性和算法收敛性,提升高风险环境下的决策可靠性。
2025-12-02 cs.LG
Robust Peak-cost Constrained Reinforcement Learning
Washington State University(华盛顿州立大学);The Ohio State University(俄亥俄州立大学)
研究鲁棒峰值成本约束强化学习,针对安全关键应用。开发代理优化框架和鲁棒值估计方法,解决模拟器到现实世界的不匹配,在动态扰动下加强安全性并保持奖励性能。
2026-09-29 cs.LG
A Unified and Constrained View of Regularization-Based Robust Reinforcement Learning
Mohammed VI Polytechnic University(穆罕默德六世理工大学);Khalifa University(哈利法大学);Concordia University(康考迪亚大学)
本文统一了基于正则化的鲁棒强化学习方法,推导出性能差距上界,并将鲁棒训练转化为约束优化问题,通过联合更新拉格朗日乘子自动调整正则化权重,在连续控制任务上验证了理论分析。
2026-10-15 cs.LG
Rectified Robust Policy Optimization for Model-Uncertain Constrained Reinforcement Learning without Strong Duality
针对鲁棒约束强化学习中强对偶性不成立的问题,提出仅原始算法RRPO,直接优化原始问题并给出收敛保证,实验证明其在模型不确定性下能实现鲁棒安全性能。
2025-09-19 cs.LG
Constrained Policy Gradient Method for Safe and Fast Reinforcement Learning: a Neural Tangent Kernel Based Approach
Chalmers University of Technology(查尔姆斯理工大学)
本文提出了一种有约束的策略梯度算法。我们通过以下步骤引入安全学习的约束。首先,放慢学习(惰性学习),使得可以借助于策略梯度定理和神经切线核来计算偶发策略改变。然后,这也使我们能够在任意状态下评估策略。本着同样的精神,学习可以被引导,通过用规定了期望动作概率的状态来增加事件批次来确保安全性。最后,可以在这些特定的状态-动作对处计算未来奖励(回报)的外生贴现和,使得策略网络满足约束。计算回报是基于求解线性方程组(等式约束)或约束二次规划(不等式约束,区域约束)。仿真结果表明,加入约束(外部信息)的学习,可以提高学习的速度和透明度合理,如果适当地选择约束。约束学习的效率在Cartpole和Lunar Lander OpenAI健身房环境中用浅而宽的ReLU网络进行了证明。本文的主要创新之处在于给出了神经切线核在强化学习中的实际应用。
2022-01-21 cs.LG
Quantile Constrained Reinforcement Learning: A Reinforcement Learning Framework Constraining Outage Probability
KAIST(韩国科学技术院)
约束强化学习(Reinforcement Learning,RL)是强化学习的一个分支,其目标是在满足给定约束的前提下,找到一个最大化期望累积收益的最优策略。以往的约束强化学习算法大多将期望累积和成本作为约束条件。然而,具有该约束的优化不能保证累积和成本超过给定阈值的中断事件的目标概率。本文提出了一个框架,名为分位数约束RL(QCRL),限制的分位数的分布的累积和成本,这是一个必要和充分条件,以满足中断约束。这是第一个工作,解决的问题,适用于分位数的策略梯度定理,并提供了近似梯度的分位数的理论结果。在此基础上,利用拉格朗日乘子技术,构造了一种分位数约束策略优化算法(QCPO)。我们使用分布强化学习与大偏差原则(LDP)估计分位数和尾部概率的累积和成本的实施QCPO。所实现的算法在训练期后满足中断概率约束。
2022-11-28 cs.AI cs.LG
Constrained Goal-directed Planar Graph Generation with Grammar-based Reinforcement Learning
ETH Zürich(苏黎世联邦理工学院)
提出一种结合参数化图语法与安全强化学习的无数据集方法,在生成过程中直接构建满足硬约束的可行平面图嵌入,并在新基准套件上优于经典和深度生成基线。
2026-10-06 cs.LG
Safety Constrained Multi-Agent Reinforcement Learning for Active Voltage Control
School of Computer Science and Technology(计算机科学与技术学院);University of Science and Technology of China(中国科学技术大学)
本文将主动电压控制建模为约束马尔可夫博弈,提出基于双重安全估计的安全约束多智能体强化学习算法,并在真实规模配电网仿真中验证其优于现有MARL方法。
2024-09-03 cs.LG
Constrained Optimal Fuel Consumption of HEV: A Constrained Reinforcement Learning Approach
Product Planning and New Auto Technologies Research Institute, BYD Auto Industry Company Limited(比亚迪汽车工业有限公司产品规划与新汽车技术研究院)
本文从约束强化学习视角形式化HEV的约束最优燃油消耗问题,并用CVPO和基于拉格朗日的方法在NEDC下的Prius THS系统中实现满足SOC平衡的最低油耗。
2024-04-02 cs.LG
Constrained Policy Optimization with Explicit Behavior Density for Offline Reinforcement Learning
HKUST(香港科技大学);Kuaishou Technology(快手科技);HKUST(GZ)(香港科技大学(广州));SUSTech(南方科技大学)
针对离线RL中OOD动作估计导致的过度保守或识别不准问题,提出CPED,用flow-GAN显式估计行为策略密度并在安全区域内优化策略,兼具理论保证与更优实验回报。
2024-03-05 cs.LG
Finite-Time Guarantees for Constrained Reinforcement Learning under Partial Observability
University of Padova(帕多瓦大学);EPFL(洛桑联邦理工学院);SYCAMORE
针对部分可观测带约束强化学习的挑战,提出基于有限历史窗口近似的原-对偶算法,获首个联合约束奖励次优性与约束违反的非渐近保证,实验验证其有效性。
2026-10-16 cs.LG
Model-based Safe Deep Reinforcement Learning via a Constrained Proximal Policy Optimization Algorithm
Indian Institute of Science(印度科学学院)
在大多数强化学习(RL)算法的初始训练迭代期间,代理执行大量随机探索步骤。在现实世界中,这可能会限制这些算法的实用性,因为它可能导致潜在的危险行为。因此,安全探索是在现实世界中应用RL算法的一个关键问题。这个问题最近在约束马尔可夫决策过程(CMDP)框架下得到了很好的研究,其中除了单阶段奖励外,代理还根据状态转换接收单阶段成本或惩罚。规定的成本函数负责将任何给定时间步的不良行为映射到标量值。然后,目标是找到一个可行的政策,最大限度地提高回报,同时限制成本回报低于规定的阈值,在训练和部署。我们提出了一种基于策略模型的安全深度RL算法,在该算法中,我们以在线方式学习环境的过渡动态,并使用基于拉格朗日松弛的近端策略优化找到可行的最优策略。我们使用不同初始化的神经网络的集成来解决环境模型学习过程中所面临的认知和任意不确定性问题。我们使用具有挑战性的安全强化学习基准-Open AI Safety Gym,将我们的方法与约束RL中的相关无模型和基于模型的方法进行比较。我们证明,我们的算法是更有效的样本,并在较低的累积危险违规的结果相比,受约束的无模型的方法。此外,我们的方法显示出更好的回报性能比其他约束的基于模型的方法在文献中。
2022-10-14 cs.LG
Adversarial Constrained Policy Optimization: Improving Constrained Reinforcement Learning by Adapting Budgets
Shanghai Jiao Tong University(上海交通大学);ParisTech Elite Institute of Technology, Shanghai Jiao Tong University(上海交通大学巴黎卓越工程师学院);AI Institute, Shanghai Jiao Tong University(上海交通大学人工智能研究院)
针对约束强化学习难以平衡性能与安全、易陷入过度保守或违约局部最优的问题,本文提出ACPO,通过对抗式交替优化实现奖励提升与成本预算自适应,并在Safety Gymnasium和四足运动任务中验证其优于常用基线。
2024-10-28 cs.LG cs.RO
Capacity-constrained demand response in smart grids using deep reinforcement learning
Lincoln AI Lab, University of Lincoln(林肯AI实验室,林肯大学)
本文提出一种基于深度强化学习的容量受限需求响应方法,通过经济激励减少峰值需求并优化电网负荷
2026-02-18 cs.LG
Constrained Multi-Objective Reinforcement Learning with Max-Min Criterion
Robotics Institute, University of Toronto(多伦多大学机器人研究所);Faculty of Engineering, Bar-Ilan University(巴伊兰大学工程学院)
提出一种融合最大最小准则与显式约束满足的多目标强化学习框架,通过理论分析和表格实验验证收敛性,并在建筑热控制、多目标运动控制和温室气体排放感知交通管理中展示其平衡公平性与约束满足的有效性。
2026-05-29 cs.LG
Feasible Actor-Critic: Constrained Reinforcement Learning for Ensuring Statewise Safety
Tsinghua University(清华大学)
现有的安全强化学习(RL)方法通常使用的安全约束仅基于初始状态的期望来定义,但允许每个特定的状态是不安全的,这对于现实世界的安全关键任务是不令人满意的。在本文中,我们介绍了可行的演员-评论家(FAC)算法,这是第一个无模型约束RL方法,考虑状态安全,例如,安全的每个初始状态。我们主张,无论我们选择什么政策,有些国家本质上是不安全的,而对于其他国家,存在确保安全的政策,我们说这样的国家和政策是可行的。通过构造一个可用于RL采样的状态Lagrange函数,并采用一个附加的神经网络来逼近状态Lagrange乘子,得到了对每个可行状态都能保证安全的最优可行策略和对不可行状态都能保证安全的可能策略.此外,训练后的乘子网络可以通过状态互补松弛条件来指示给定状态是否可行。我们提供了理论保证,FAC优于以前的基于期望的约束RL方法的约束满足和奖励优化。机器人移动任务和安全探测任务的实验结果验证了该方法的安全性增强和可行性解释。
2021-06-14 cs.LG
Semi-gradient DICE for Offline Constrained Reinforcement Learning
Korea University(韩国大学);Yonsei University(延世大学);Gauss Labs Inc.(Gauss实验室公司)
本文揭示半梯度优化导致 DICE 成本估计失效的根源,并提出兼顾 OPE 与约束强化学习的半梯度 DICE 方法,在 DSRL 基准上达到最先进性能。
2025-06-10 cs.LG
Policy Gradients for Probabilistic Constrained Reinforcement Learning
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心)
针对强化学习中的概率安全约束缺乏梯度表达式的问题,本文推导其显式策略梯度,可兼容多种基于策略的算法,并在连续导航任务中验证可行性。
2023-04-18 cs.LG
Last-Iterate Guarantees for Online Reinforcement Learning in Structured Constrained MDPs
针对结构化约束马尔可夫决策过程,提出统计高效的框架,分离正则化原始-对偶动力学与演员近似及统计误差,实现无模型最后迭代收敛,并在线性CMDP上验证稳定性。
2026-09-29 cs.LG
A Policy Efficient Reduction Approach to Convex Constrained Deep Reinforcement Learning
Ant Group(蚂蚁集团)
虽然在一般的强化学习(RL)中得到了很好的建立,但基于值的方法很少在约束RL(CRL)中进行探索,因为它们无法找到可以在多个动作中随机化的策略。为了将基于值的方法应用于CRL,最近一种开创性的博弈论方法使用了混合策略,该策略在一组精心生成的策略中随机化,以收敛到所需的满足约束的策略。然而,这些方法需要存储大量的策略,这不是策略有效的,并且可能在受约束的深度RL中引起过高的存储器成本。为了解决这个问题,我们提出了一种替代方法。我们的方法首先将CRL重新表述为一个等价的距离优化问题。通过一个专门设计的线性优化预言机,我们得到了一个元算法,该算法使用任何现成的RL算法和任何条件梯度(CG)类型的算法作为子程序来解决它。然后,我们提出了一个新的变体的CG型算法,推广的最小范数点(MNP)的方法。所提出的方法匹配现有的博弈论方法的收敛速度,并实现最坏情况下的最优策略效率。在导航任务上的实验表明,该方法在降低内存开销的同时,获得了更好的性能,证明了该方法的有效性和效率。
2022-06-25 cs.LG
CRLLK: Constrained Reinforcement Learning for Lane Keeping in Autonomous Driving
Nanyang Technological University(南洋理工大学);Indian Institute of Technological(印度技术学院);Indian Institute of Technology(印度理工学院)
提出将车道保持建模为约束强化学习,自动学习权重系数,免去场景特定调整,实验证明其优于传统RL并具有实际应用价值。
2025-03-28 cs.LG cs.RO
Marketing Budget Allocation with Offline Constrained Deep Reinforcement Learning
Ant Group(蚂蚁集团);Tsinghua University(清华大学)
本文提出一种基于博弈论和混合策略的离线值函数强化学习方法,用于解决营销预算分配问题,该方法只需存储恒定数量策略即可收敛至最优,并在大规模真实营销活动中验证了其优越性。
2023-09-06 cs.LG
Memory Allocation in Resource-Constrained Reinforcement Learning
School of Informatics University of Edinburgh(信息学院爱丁堡大学)
本研究探讨资源受限强化学习中内存分配对智能体性能的影响,重点分析MCTS和DQN算法下模型估计与规划间的内存权衡,并评估不同分配在情节式和持续学习场景中的效果。
2025-06-09 cs.AI cs.LG
Constrained Combinatorial Optimization with Reinforcement Learning
University of the Basque Country(巴斯克大学);Lehigh University(理海大学)
本文提出了一种使用深度强化学习(RL)解决约束组合优化问题的框架。为此,我们扩展了神经组合优化(NCO)理论,以处理其制定的约束。值得注意的是,我们建议定义约束组合问题作为完全可观察的约束马尔可夫决策过程(CMDP)。在该上下文中,基于与环境的交互迭代地构造解决方案。该模型,除了奖励信号,依赖于从约束不满产生的惩罚信号来推断作为启发式算法的政策。此外,在优化过程中访问完整的状态表示允许我们依赖于无内存架构,增强了以前的序列到序列方法中获得的结果。约束车间和资源分配问题进行的实验证明了计算快速解决方案的建议相比,经典的启发式,元启发式,约束编程(CP)求解器的优越性。
2020-06-22 cs.LG stat.ML
A Simple Reward-free Approach to Constrained Reinforcement Learning
Princeton University(普林斯顿大学)
在约束强化学习(RL)中,学习代理不仅要优化整体奖励,还要满足额外的安全性、多样性或预算约束。因此,现有的约束RL解决方案需要几个新的算法成分,显着不同于标准RL。另一方面,无奖励强化学习是在无约束文献中独立开发的,它在不使用奖励信息的情况下学习过渡动态,因此自然能够在共同动态下解决具有多个目标的强化学习。本文桥接了无报酬强化学习和约束强化学习。特别地,我们提出了一个简单的元算法,使得给定任何无奖励的RL预言,可以直接解决可接近性和约束RL问题,样本复杂度的开销可以忽略不计。利用现有的无奖励的RL求解器,我们的框架提供了尖锐的样本复杂性结果约束RL在表格MDP设置,匹配最好的现有结果的一个因素的水平依赖性,我们的框架直接扩展到一个设置的表格两个球员马尔可夫游戏,并给出了一个新的结果约束RL与线性函数近似。
2021-07-12 cs.AI cs.LG
Deterministic Policies for Constrained Reinforcement Learning in Polynomial Time
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本研究提出一种结合价值-需求增广等三种技术的新算法,为满足时间-空间递归成本准则的约束强化学习提供完全多项式时间近似方案,解答了三类约束策略的多项式时间可近似性开放问题。
2024-10-30 cs.DS cs.LG
Two-Step Offline Preference-Based Reinforcement Learning with Constrained Actions
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon(亚马逊公司);Georgia institute of technology(佐治亚理工学院)
针对离线 PBRL 中奖励作弊与强化学习复杂的问题,本文提出 PRC,通过排除分布外状态-动作的约束动作空间提升学习效率。
2024-10-25 cs.AI cs.LG
Constrained Upper Confidence Reinforcement Learning
Department of Electrical & Computer Engineering University of Washington(华盛顿大学电气与计算机工程系)
约束马尔可夫决策过程是一类随机决策问题,其中决策者必须选择满足辅助成本约束的策略。本文扩展了上置信度强化学习的设置,其中的奖励函数和约束,描述的成本函数,是未知的先验,但过渡内核是已知的。这样的设置受到许多应用的良好激励,包括探索未知的、潜在的不安全的环境。我们提出了一个算法C-UCRL,并表明,它实现了次线性遗憾($ O(T^{\frac{3}{4}}\sqrt{\log(T/δ)})$)方面的奖励,同时满足的限制,即使在学习的概率$1-δ$。提供了说明性的例子。
2020-01-26 cs.LG stat.ML
Handling Long and Richly Constrained Tasks through Constrained Hierarchical Reinforcement Learning
Singapore Management University(新加坡管理大学);Rutgers University(罗格斯大学)
本文提出CoSHRL机制,结合上层受约束搜索智能体与低层目标条件RL智能体,解决长时复杂安全约束决策问题,支持成本分布约束且无需重训即可调整阈值。
2024-01-09 cs.AI cs.LG
A Primal-Dual-Critic Algorithm for Offline Constrained Reinforcement Learning
University of Michigan(密歇根大学)
本文提出PDCA算法,通过在评论家估计的拉格朗日函数上运行原始-对偶算法解决离线约束强化学习问题,仅需可集中性和可实现性假设即可实现样本高效学习并找到近似最优鞍点。
2023-10-19 cs.LG stat.ML
Model-based Constrained Reinforcement Learning using Generalized Control Barrier Function
School of Vehicle and Mobility, Tsinghua University(清华大学车辆与学院);Institute for Interdisciplinary Information Sciences, Tsinghua University(清华大学交叉信息研究院)
模型信息可以用来预测未来的轨迹,因此在自动驾驶等现实任务中实施强化学习(RL)时,它具有巨大的潜力来避免危险区域。然而,现有的研究大多使用无模型约束强化学习,这将导致不可避免的约束违反。提出了一种基于模型的约束强化学习可行性增强技术,利用定义在到约束边界距离上的广义控制障碍函数(GCBF)增强策略的可行性。通过利用模型信息,可以在不违反实际安全约束的情况下安全地优化策略,提高样本效率。在求解受约束的策略梯度中的不可行性的主要困难通过自适应系数机制来处理。我们评估所提出的方法在一个复杂的自动驾驶避撞任务的模拟和实车实验。所提出的方法实现了高达四倍的约束违反和收敛速度比基线约束RL方法的3.36倍。
2021-03-05 cs.LG cs.RO
Semi-Infinitely Constrained Markov Decision Processes and Efficient Reinforcement Learning
Peking University(北京大学)
该研究提出泛化的半无限约束马尔可夫决策过程SICMDP,设计了基于模型的SI-CRL和策略优化类SI-CPO两种算法,首次将半无限规划工具用于约束强化学习,完成理论分析并通过实验验证了算法有效性。
2023-04-29 cs.LG stat.ML
Reinforcement Learning with Budget-Constrained Nonparametric Function Approximation for Opportunistic Spectrum Access
MIT Lincoln Laboratory(麻省理工学院林肯实验室)
主动频谱接入是用于最大化拥塞频带中的吞吐量的新兴技术之一,并且通过预测频谱中的空闲时隙来实现。我们提出了一种基于内核的强化学习方法,再加上一种新的约束稀疏化技术,有效地捕捉环境,找到最佳的通道访问动作。这种方法允许在固有的状态-动作空间上进行学习和规划,并且可以很好地扩展到大的状态空间。我们应用我们的方法来评估基于强化学习的无线电与多通道对抗无线电和单通道CSMA-CA无线电的共存。数值实验表明,性能增益载波侦听系统。
2018-06-20 cs.IT cs.LG math.IT
Towards Interpretable Reinforcement Learning with Constrained Normalizing Flow Policies
Örebro University(厄勒布鲁大学);IT University of Copenhagen(哥本哈根信息技术大学)
提出约束归一化流策略,通过解析构造可解释变换序列保证瞬时安全约束满足,实现构造即安全且更易学习的强化学习策略。
2024-05-02 cs.AI cs.LG
CLARA: A Constrained Reinforcement Learning Based Resource Allocation Framework for Network Slicing
University of California, Davis(加州大学戴维斯分校);Shanghai Jiao Tong University(上海交通大学);University of Minnesota(明尼苏达大学)
随着移动网络的激增,我们正在经历一个强大的服务多样化,这需要从现有的网络更大的灵活性。网络切片被提出作为5G和未来网络中资源利用的一种有前途的解决方案,以解决这一迫切需求。在网络切片中,动态资源编排和网络切片管理对于最大化资源利用率至关重要。不幸的是,这个过程太复杂,传统的方法是有效的,由于缺乏准确的模型和动态隐藏结构。我们制定的问题作为一个约束马尔可夫决策过程(CMDP)不知道模型和隐藏结构。此外,我们提出了解决这个问题,使用约束强化学习的资源分配算法的REACH A。特别是,我们分析了累积和瞬时约束,分别使用自适应邻域点策略优化和投影层。评价显示,在有服务需求保证的情况下,联合国A在资源分配方面的业绩明显优于基线。
2021-11-16 cs.LG cs.NI
Distributional constrained reinforcement learning for supply chain optimization
Imperial College London(帝国理工学院)
本文研究了强化学习(RL)在多周期供应链中的应用,生产和库存。我们介绍了分布约束策略优化(DCPO),一种新的方法,可靠的约束满足在RL。我们的方法是基于约束策略优化(CPO),这是受到近似误差,在实践中导致它收敛到不可行的政策。我们通过将分布式RL的各个方面纳入DCPO来解决这个问题。具体来说,我们使用输出离散分布的神经网络表示收益和成本价值函数,并根据相关置信度重塑成本。使用供应链的案例研究,我们表明,DCPO提高了RL政策收敛的速度,并确保可靠的约束满足的训练结束。所提出的方法还提高了可预测性,大大降低了运行之间的回报方差,分别,这一结果是显着的策略梯度方法,这在训练过程中本质上引入显着的方差的上下文中。
2023-02-03 cs.LG math.OC
Constrained-Space Optimization and Reinforcement Learning for Complex Tasks
Imperial College London(帝国理工学院);Shanghai Jiao Tong University(上海交通大学)
示教学习越来越多地用于将操作员的操作技能转移到机器人。在实践中,重要的是要满足有限的数据和不完美的人类演示,以及潜在的安全约束。本文提出了一种用于管理复杂任务的约束空间优化和强化学习方案。通过在受限空间内的交互,强化学习代理被训练以根据定义的奖励函数来优化操作技能。在学习之后,最优策略从训练良好的强化学习代理中导出,然后执行该代理以引导机器人执行类似于专家演示的任务。通过机器人的机器人任务验证了所提出方法的有效性,表明所学习的策略在关节运动和末端执行器轨迹的平滑性以及整体任务完成时间方面优于专家演示。
2020-04-01 cs.AI cs.LG cs.RO
Continual Learning as Computationally Constrained Reinforcement Learning
Department of Computer Science, Stanford University(计算机科学系,斯坦福大学);Department of Electrical Engineering, Stanford University(电气工程系,斯坦福大学);Department of Management Science and Engineering, Stanford University(管理科学与工程系,斯坦福大学)
本专著将持续学习形式化为计算受限的强化学习问题,澄清了相关概念并引入了一个框架与工具集,以推动能长期积累知识并发展复杂技能的智能体研究。
2025-06-26 cs.AI cs.LG
Constrained Reinforcement Learning for Robotics via Scenario-Based Programming
The Hebrew University of Jerusalem(耶路撒冷希伯来大学);University of Verona(维罗纳大学);The Weizmann Institute of Science(魏茨曼科学研究所)
深度强化学习(DRL)在各种机器人应用中取得了突破性的成功。一个自然的结果是采用这种范式的安全关键的任务,其中人的安全和昂贵的硬件可能涉及。在这种情况下,至关重要的是要优化基于DRL的代理的性能,同时提供有关其行为的保证。本文提出了一种新的技术,将领域专家知识到一个受约束的DRL训练循环。我们的技术利用了基于Java的编程范式,该范式旨在允许以简单直观的方式指定此类知识。我们验证了我们的方法对流行的机器人无地图导航问题,在模拟,并在实际平台上。我们的实验表明,使用我们的方法来利用专家知识显着提高了代理的安全性和性能。
2022-06-20 cs.LG cs.RO
Polynomial-Time Approximability of Constrained Reinforcement Learning
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
该研究针对一般约束马尔可夫决策过程,设计了多项式时间(0,ε)-加性双准则近似算法,首次证明机会约束等四类设置的多项式时间可近似性,且近似保证在P≠NP时最优。
2025-02-11 cs.AI cs.DS cs.LG
Constrained Attractor Selection Using Deep Reinforcement Learning
Duke University(杜克大学)
本文描述了一种具有约束驱动的非线性动力系统的吸引子选择(或多稳定控制)方法。吸引子选择使用两种不同的深度强化学习方法获得:1)交叉熵方法(CEM)和2)深度确定性策略梯度(DDPG)方法。应用这些控制方法的框架和算法。Duffing振子是一个典型的具有多个吸引子的非线性动力系统,实验在该振子上进行.这两种方法实现了各种控制约束下的吸引子选择。虽然这些方法具有几乎相同的成功率,但DDPG方法具有高学习率,低性能方差和平滑控制方法的优点。这项研究证明了两种强化学习方法实现约束吸引子选择的能力。
2020-05-30 cs.LG cs.SY eess.SY
DeCOM: Decomposed Policy for Constrained Cooperative Multi-Agent Reinforcement Learning
Shanghai Jiao Tong University(上海交通大学)
近年来,多智能体强化学习(MARL)在各种应用中表现出令人瞩目的性能。然而,物理限制,预算限制,和许多其他因素通常强加\textit{constraints}的多智能体系统(MAS),这是不能处理的传统的MARL框架。具体而言,本文重点是受约束的MAS,代理工作\textit{cooperatively}最大化的预期团队平均收益的预期团队平均成本的各种约束下,并开发了一个\textit{constrained cooperative MARL}框架,名为DeCOM,这样的MAS。特别是DeCOM将每个Agent的策略分解为两个模块,使Agent之间能够共享信息,实现更好的协作。此外,通过这种模块化,DeCOM的训练算法将原始的约束优化问题分解为无约束的报酬优化问题和约束满足问题。DeCOM然后以计算高效的方式迭代地解决这些问题,这使得DeCOM具有高度的可扩展性。我们还提供了理论保证DeCOM的策略更新算法的收敛性。最后,我们验证了DeCOM的有效性,在玩具和大型(500代理)环境中的各种类型的成本。
2021-11-10 cs.LG cs.MA
Large Scale Constrained Clustering With Reinforcement Learning
本文研究大规模约束聚类问题,提出通过强化学习训练智能体生成可行且近最优解的方法,克服了传统组合优化求解器处理大规模实例的困难。
2024-02-15 cs.AI cs.LG