A Hybrid Framework of Reinforcement Learning and Convex Optimization for UAV-Based Autonomous Metaverse Data Collection
Nanyang Technological University（南洋理工大学）
针对无人机辅助元宇宙数据采集中资源分配与轨迹控制的时间序列优化难题，本文提出强化学习与凸优化协同的混合框架，在给定功率资源下有效缩短任务完成时间。
2023-05-29 cs.AI cs.LG
Successive Convex Approximation Based Off-Policy Optimization for Constrained Reinforcement Learning
Peking University（北京大学）；Zhejiang University（浙江大学）
提出了一种基于连续凸逼近的离线优化算法（SCAOPO）来解决一般的约束强化学习问题，该问题被表示为平均成本下的约束马尔可夫决策过程（CMDP）. SCAOPO是基于解决一系列的凸目标/可行性优化问题，通过替换目标和约束函数在原来的问题与凸代理函数。在每次迭代中，即使策略参数为高维函数，凸代理问题也可以通过拉格朗日对偶方法有效地求解。此外，SCAOPO能够重用以前更新中的旧经验，从而在部署到需要在线学习环境的真实工程系统中时，显着降低了实施成本。尽管存在时变的状态分布和离策略学习带来的随机偏差，具有可行初始点的SCAOPO仍几乎必然收敛于原问题的KKT点.
2021-05-26 cs.LG
ROMAX: Certifiably Robust Deep Multiagent Reinforcement Learning via Convex Relaxation
在多机器人系统中，许多网络物理攻击（例如，通信劫持、观察扰动）可以挑战代理的鲁棒性。这种鲁棒性问题在多智能体强化学习中存在，因为存在由同时学习的智能体引起的环境的非平稳性，其改变的策略影响过渡和奖励函数。在本文中，我们提出了一个极大极小MARL方法来推断其他代理的最坏情况下的政策更新。由于极大极小化公式在计算上难以求解，我们应用神经网络的凸松弛来解决内部极小化问题。这样的凸松弛使鲁棒性与对等代理，可能有显着不同的行为，也实现了原始优化问题的认证边界进行交互。我们评估了我们在多个混合合作竞争任务上的方法，并表明我们的方法优于之前在该主题上的最新方法。
2021-09-14 cs.LG
Reinforcement Learning with Dynamic Convex Risk Measures
University of Toronto（多伦多大学）
提出了一种基于无模型强化学习的时间一致风险敏感随机优化问题求解方法。具体来说，我们假设代理商使用动态凸风险度量来评估随机变量序列的风险。我们采用时间一致的动态规划原则，以确定一个特定的政策的价值，并制定策略梯度更新规则，帮助获得最佳的政策。我们进一步开发了一个演员-评论家风格的算法，使用神经网络优化的政策。最后，我们证明了我们的方法的性能和灵活性，将其应用到三个优化问题：统计套利交易策略，金融对冲，避障机器人控制。
2022-11-30 cs.LG q-fin.CP q-fin.MF
Convex-Concave Reinforcement Learning
本文提出凸-凹强化学习（CCRL），将策略优化转化为DC约束DC规划，统一CPI、NPG、TRPO、AWR，并通过多步轴提升信用传播，在诊断MDP和医疗保健任务中优于PPO。
2026-10-08 cs.AI cs.LG
Learning Sparse Representations in Reinforcement Learning with Sparse Coding
Indiana University（印第安纳大学）
各种各样的表示学习方法已经被研究用于强化学习;然而，很少有人关注稀疏编码的效用。在强化学习之外，稀疏编码表示已被广泛使用，其非凸目标导致区分表示。在这项工作中，我们开发了一个监督稀疏编码的政策评估目标。尽管这个目标的非凸性，我们证明了所有的局部极小值是全局极小值，使该方法适合简单的优化策略。我们的经验表明，使用监督目标是关键，而不是更直接的无监督稀疏编码方法。我们比较学习的表示一个规范的固定稀疏表示，称为瓦片编码，证明稀疏编码表示优于各种各样的瓦片编码表示。
2017-07-26 cs.AI cs.LG stat.ML
Policy Mirror Descent for Reinforcement Learning: Linear Convergence, New Sampling Complexity, and Generalized Problem Classes
Georgia Institute of Technology（佐治亚理工学院）
我们提出了新的策略镜像下降（PMD）方法解决强化学习（RL）问题的强凸或一般凸正则化。通过探索这些整体高度非凸问题的结构特性，我们表明PMD方法具有快速的线性收敛速度的全局最优性。我们开发了这些方法的随机对应物，并建立了一个${\cal O}(1/ε)$（分别，${\cal O}(1/ε^2)$）采样复杂度，用于解决这些RL问题，一般）使用不同采样方案的凸正则化器，其中$ε$表示目标精度。我们进一步表明，计算这些正则化的梯度的复杂性，如果必要的话，可以由${\cal O}\{(\log_γε) [(1-γ)L/μ]^{1/2}\log (1/ε)\}$（分别，${\cal O} \{(\log_γε) (L/ε)^{1/2}\}$）用于强（分别为，一般）凸正则化子。这里$γ$表示贴现系数。据我们所知，这些复杂性界限，以及我们的算法发展，似乎是新的优化和RL文献。这些凸正则化子的引入也极大地扩展了RL模型的灵活性和适用性。
2022-04-06 cs.AI cs.LG math.OC
Convergent Policy Optimization for Safe Reinforcement Learning
The University of Chicago（芝加哥大学）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）
研究了具有非线性函数逼近的安全强化学习问题，将策略优化问题转化为目标函数和约束函数均为非凸函数的约束优化问题.对于这样的问题，我们构造了一个替代凸约束优化问题的序列，通过替换局部的非凸函数与凸二次函数从策略梯度估计。我们证明了这些代理问题的解收敛到原非凸问题的一个不动点。此外，为了扩展我们的理论结果，我们将我们的算法应用到最优控制和多智能体强化学习与安全约束的例子。
2019-10-26 cs.LG stat.ML
Challenging Common Assumptions in Convex Reinforcement Learning
Politecnico di Milano（米兰理工大学）；Università di Bologna（博洛尼亚大学）；ETH Zurich（苏黎世联邦理工学院）
经典的强化学习（RL）公式涉及标量奖励函数的最大化。最近，凸RL已被引入到扩展的RL制定的所有目标，是凸函数的状态分布引起的政策。值得注意的是，凸RL涵盖了几个不属于标量公式的相关应用，包括模仿学习，风险规避RL和纯探索。在经典RL中，通常优化无限次试验目标，该目标考虑状态分布而不是经验状态访问频率，即使实际轨迹的数量在实践中总是有限的。这在理论上是合理的，因为可以证明无限次试验和有限次试验的目标是一致的，从而导致相同的最优策略。在本文中，我们表明，这种隐藏的假设不成立的凸RL设置。特别是，我们表明，错误地优化无限试验的实际有限试验的目标，因为它通常是这样做，可能会导致一个显着的近似误差。由于有限试验设置是模拟和现实世界RL的默认设置，我们相信，揭示这个问题将导致更好的方法和方法用于凸RL，影响相关的研究领域，如模仿学习，风险规避RL和纯探索等。
2023-01-27 cs.LG
Convex Programs and Lyapunov Functions for Reinforcement Learning: A Unified Perspective on the Analysis of Value-Based Methods
Coordinated Science Laboratory（协同科学实验室）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
基于值的方法在马尔可夫决策过程（MDP）和强化学习（RL）中发挥着重要作用。在本文中，我们提出了一个统一的控制理论框架，用于分析基于值的方法，如值计算（VC），值迭代（VI）和时间差（TD）学习（线性函数近似）。建立在基于值的方法和动态系统之间的内在联系，我们可以直接使用现有的凸测试条件在控制理论得到各种收敛性的结果，上述基于值的方法。这些测试条件是线性规划（LP）或半定规划（SDP）形式的凸规划，并且可以以直接的方式求解以构造李雅普诺夫函数。我们的分析揭示了反馈控制系统和RL算法之间的一些有趣的联系。我们希望这样的联系可以激发更多的工作在交叉的系统/控制理论和RL。
2022-02-14 cs.LG cs.SY eess.SY
Inverse Reinforcement Learning via Convex Optimization
Department of Computer Science and IMBIT//BrainLinks-BrainTools（计算机科学系和IMBIT//BrainLinks-BrainTools）；University of Freiburg（弗赖堡大学）
本文研究了逆强化学习问题，通过重新表述Ng和Russel提出的凸公式（CIRL），利用CVXPY直接求解，并扩展至基于轨迹数据的场景，引入超参数自动选择，使用户无需凸优化背景即可应用。
2025-06-26 cs.CE cs.LG math.OC
Non-Convex Sparse Reinforcement Learning via Non-Monotone Inclusions
Department of Information and Communications Engineering, Institute of Science Tokyo（东京理科大学信息与通信工程系）；Institute of Science Tokyo（东京理科大学）
研究针对强化学习中高效特征选择及非单调包含关系理论。核心方法是用非凸投影极小极大凹惩罚增强传统正则化。贡献是给出收敛条件，数值测试显示该方法在非凸正则化LSTD问题上优于现有方法。
2026-07-08 cs.LG
cc-DRL: a Convex Combined Deep Reinforcement Learning Flight Control Design for a Morphing Quadrotor
Beihang University（北京航空航天大学）；University of Science and Technology Beijing（北京科技大学）；Hangzhou International Innovation Institute of Beihang University（北京航空航天大学杭州国际创新研究院）
针对变形四旋翼难以精确建模的问题，提出cc-DRL飞行控制算法，利用近端策略优化离线训练代表性臂长模式的控制律，并通过凸组合技术构建控制方案，仿真验证了其有效性。
2024-08-23 cs.AI cs.LG cs.RO
Multi-Objective Deep Reinforcement Learning
University of Oxford（牛津大学）
我们提出了深度乐观线性支持学习（DOL）来解决高维多目标决策问题，其中目标的相对重要性事先未知。使用来自高维输入的特征，DOL计算包含目标的凸组合的所有潜在最优解的凸覆盖集。据我们所知，这是深度强化学习首次成功学习多目标策略。此外，我们还提供了一个测试平台，其中包含两个实验，可用作深度多目标强化学习的基准。
2016-10-09 cs.AI
Reinforcement Learning via Fenchel-Rockafellar Duality
Google Research（谷歌研究院）
我们回顾凸对偶的基本概念，重点放在非常普遍和极其有用的Fenchel-Rockafellar对偶。我们总结了这种二元性如何应用于各种强化学习（RL）设置，包括策略评估或优化、在线或离线学习以及折扣或未折扣奖励。这些推导产生了许多有趣的结果，包括使用行为不可知的离线数据执行策略评估和基于策略的策略梯度的能力，以及通过最大似然优化学习策略的方法。虽然这些结果中的许多已经以各种形式出现，但我们对这些结果提供了统一的处理和观点，我们希望这将使研究人员能够更好地使用和应用凸对偶工具，以在RL中取得进一步的进展。
2020-01-09 cs.LG stat.ML
Difference of Convex Functions Programming Applied to Control with Expert Data
Univ. Lille（里尔大学）；CRIStAL (UMR CNRS 9189/Lille 1)（CRIStAL研究中心（UMR CNRS 9189/里尔第一大学））；CentraleSupélec（巴黎中央理工-高等电力学院）；IUF（法国大学研究院）；Google DeepMind（谷歌DeepMind）
本文报告了凸函数差（DC）编程在基于专家数据的演示学习（LfD）和强化学习（RL）中的应用。这是可能的，因为最佳贝尔曼残差（OBR）的范数，这是许多RL和LfD算法的核心，是DC。性能的改善表现在两个特定的算法，即奖励正则化分类学徒学习（RCAL）和强化学习与专家演示（RLED），通过实验通用马尔可夫决策过程（MDP），称为石榴石。
2016-09-05 cs.LG math.OC stat.ML
Safe Deployment of Offline Reinforcement Learning via Input Convex Action Correction
Department of Chemical Engineering, Imperial College London（帝国理工学院化学工程系）；Shell Information Technology International BV（壳牌信息科技国际有限公司）；Shell Global Solutions International BV（壳牌全球解决方案国际有限公司）
本研究针对化工过程控制中离线强化学习的稳态偏差等问题，提出基于输入凸神经网络的部署时动作校正安全层，在反应器控制场景中性能优于传统方法，为工业安全数据驱动控制奠基。
2025-07-30 cs.AI cs.LG cs.SY
Active Inference as a Convex Markov Decision Process
Max Planck Institute for Human Cognitive and Brain Sciences（马克斯·普朗克人类认知与脑科学研究所）
研究将主动推理构建为策略优化，证明其可表述为凸马尔可夫决策过程，分析了相关公式并推导MD算法，表明结合世界模型学习与策略优化能赋予主动推理执行性强化学习结构，为其奠定理论基础。
2026-10-14 cs.AI cs.LG stat.ML
Deep Reinforcement Learning: A Convex Optimization Approach
针对连续状态动作空间的非线性系统强化学习问题，提出基于凸优化的回合式算法，通过求解最优Q函数的两层神经网络近似，证明算法收敛且参数可任意接近最优值，兼具收敛精度与速度优势。
2024-06-24 cs.LG math.OC
Robust Action Governor for Uncertain Piecewise Affine Systems with Non-convex Constraints and Safe Reinforcement Learning
University of Michigan（密歇根大学）
动作调节器是标称控制回路的附加方案，该标称控制回路监视和调整控制动作以执行表示为逐点状态和控制约束的安全规范。在本文中，我们介绍了鲁棒动作总督（RAG）的系统的动态可以表示使用离散时间分段仿射（PWA）模型的参数和添加剂的不确定性和非凸约束。我们开发的理论性质和计算方法的RAG。之后，我们介绍了使用RAG来实现安全的强化学习（RL），即，确保在线强化学习探索和开发过程中的所有时间约束满足。这种发展使控制策略的安全实时演变和适应操作环境和系统参数的变化（由于老化，损坏等）。我们说明了RAG的有效性，在约束执行和安全RL使用RAG考虑他们的应用程序的质量弹簧阻尼器系统的软着陆问题。
2022-07-17 cs.AI cs.RO cs.SY
Constrained Meta-Reinforcement Learning for Adaptable Safety Guarantee with Differentiable Convex Programming
Mississippi State University（密西西比州立大学）
针对非平稳环境下带约束场景的AI安全与适配性难题，提出结合可微凸规划的逐次凸约束策略更新方法，实现带约束元学习的端到端微分，保障智能体快速适配新任务的同时满足安全约束。
2023-12-15 cs.AI cs.LG
Exploration-exploitation trade-off for continuous-time episodic reinforcement learning with linear-convex models
School of Mathematics, University of Edinburgh（爱丁堡大学数学学院）；Alan Turing Institute（艾伦·图灵研究所）；Department of Statistics, London School of Economics and Political Science（伦敦政治经济学院统计系）
我们开发了一个概率框架，用于分析情景设置中基于基于模型的强化学习。然后，我们应用它来研究有限时间范围内的线性动态随机控制问题，但未知系数和凸，但可能不规则的目标函数。使用概率表示，我们研究相关的成本函数的规律性，并建立精确的估计应用最优反馈控制来自估计和真实的模型参数之间的性能差距。我们确定了这种性能差距为二次的条件，改善了最近工作中的线性性能差距[X. Guo，中国古猿A. Hu和Y. Zhang，arXiv预印本，arXiv：2104.09311，（2021）]，这与随机线性二次问题的结果相匹配。接下来，我们提出了一个基于阶段的学习算法，我们展示了如何优化探索-开发权衡，并实现高概率和期望的次线性遗憾。当二次性能差距所需的假设成立时，该算法在一般情况下实现了顺序$\mathcal{O}(\sqrt{N} \ln N)$高概率后悔，在自我探索的情况下实现了顺序$\mathcal{O}((\ln N)^2)$期望后悔，在$N$事件上，与文献中的最佳可能结果相匹配。分析需要新的浓度不等式相关的连续时间观测，我们得到。
2021-12-19 cs.LG math.OC math.PR
Safe Reinforcement Learning of Control-Affine Systems with Vertex Networks
University of Washington（华盛顿大学）
本文的重点是寻找强化学习政策的控制系统的硬状态和行动的约束。尽管强化学习在许多领域取得了成功，但它在应用于具有硬约束的问题时仍具有挑战性，特别是在状态变量和动作都受到约束的情况下。以前的工作，寻求确保约束满足，或安全性，集中在增加一个投影步骤，学习的政策。然而，这种方法需要在每个策略执行步骤中解决优化问题，这可能导致显著的计算成本。为了解决这个问题，本文提出了一种新的方法，称为顶点网络（VNs），保证在探索过程中的安全性和学习控制策略，将安全约束的政策网络架构。利用凸集内所有点都可以表示为顶点的凸组合的几何性质，该算法首先学习凸组合权重，然后使用这些权重以及预先计算的顶点来输出动作。通过结构保证输出动作安全。数值算例表明，所提出的VN算法优于香草强化学习在各种基准控制任务。
2020-03-20 cs.LG cs.SY eess.SY
Shapley Value Based Multi-Agent Reinforcement Learning: Theory, Method and Its Application to Energy Network
Imperial College of Science, Technology and Medicine（帝国理工学院）
本文通过合作博弈论将Shapley值扩展到马尔可夫决策过程，提出马尔可夫Shapley值作为公平信用分配基础，并据此设计SHAQ、SQDDPG和SMFPPO三种多智能体强化学习算法，在能源网络真实问题上验证了有效性。
2024-02-23 cs.LG cs.MA
Risk-sensitive Reinforcement Learning Based on Convex Scoring Functions
School of Mathematical Sciences, Peking University（北京大学数学科学学院）；School of Science and Engineering, The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳）科学与工程学院）；Department of Applied Mathematics, The Hong Kong Polytechnic University（香港理工大学应用数学系）
本文面向凸评分函数刻画的广义风险目标，通过增广状态与辅助变量处理时间不一致性，提出收敛可采样的定制 Actor-Critic 风险敏感 RL 框架，并在统计套利仿真中验证有效性。
2025-05-15 cs.AI q-fin.MF q-fin.RM
A Boosting Approach to Reinforcement Learning
Princeton University（普林斯顿大学）；Google AI Princeton（谷歌人工智能普林斯顿分部）；Carnegie Mellon University（卡内基梅隆大学）
将强化学习简化为监督学习是一种经过充分研究的有效方法，它利用了紧凑函数逼近的优点来处理大规模马尔可夫决策过程。独立地，增强方法（例如AdaBoost）已被证明是不可或缺的，通过结合不准确的经验法则来设计有效和准确的分类算法。在本文中，我们更进一步：我们将强化学习简化为一系列弱学习问题。由于弱学习器的性能仅略好于随机猜测，因此这样的子例程构成了比准确的监督学习预言的可用性更弱的假设。我们证明了所提出的方法的样本复杂度和运行时间界不显式地依赖于状态的数量。虽然现有的结果上推凸的损失，价值函数的政策是非凸的。我们展示了如何使用一个非凸的变体的Frank-Wolfe方法的提升，另外提高了已知的样本复杂性和运行时间，即使减少到监督学习。
2023-01-25 cs.LG
Reinforcement learning for adaptive interior point methods in convex quadratic programming
Department of Aerospace Engineering, Institute of Applied Mathematics and Scientific Computing, University of the Bundeswehr Munich（航空航天工程系、应用数学与科学计算研究所、联邦国防军大学穆尔尼奇分校）
本文提出利用强化学习优化内点法求解凸二次规划问题，通过调整双循环流程和控制参数提升求解效率，实验表明轻量训练后策略能有效泛化至不同问题类。
2026-05-15 cs.LG math.OC
Inverse Reinforcement Learning With Constraint Recovery
Indian Institute of Technology Delhi（印度理工学院德里分校）
针对CMDP问题提出IRL-CR算法，利用最大熵原理将同时推断奖励函数与约束的问题转化为交替约束优化问题，并用指数梯度下降求解，在网格世界环境中验证了有效性。
2023-05-14 cs.AI cs.LG
Global Reinforcement Learning: Beyond Linear and Convex Rewards via Submodular Semi-gradient Methods
ETHZ（苏黎世联邦理工学院）
针对经典强化学习加性目标无法建模状态间相互作用的局限，提出奖励在轨迹上全局定义的全局强化学习，结合子模优化设计可转化为经典RL序列问题的算法，提供近似保证与难度结果并验证有效性。
2024-07-13 cs.LG
Distributionally Safe Reinforcement Learning under Model Uncertainty: A Single-Level Approach by Differentiable Convex Programming
Mississippi State University（密西西比州立大学）
针对Wasserstein分布偏移下的安全强化学习双层优化难题，提出基于对偶转换与可微凸规划的单层端到端框架，显著提升一阶和二阶系统的安全保证。
2023-10-03 cs.LG cs.RO cs.SY
On Connections between Constrained Optimization and Reinforcement Learning
Google Research（谷歌研究院）
动态规划（DP）提供了求解马尔可夫决策过程的标准算法。然而，这些算法通常不优化标量目标函数。在本文中，我们绘制DP和（约束）凸优化之间的联系。具体而言，我们显示了明确的链接，在算法结构之间的DP计划和优化算法。我们将保守策略迭代与Frank-Wolfe联系起来，将D-Descent修改策略迭代与Mirror Descent联系起来，将Politex（使用专家预测的策略迭代）与双平均联系起来。这些抽象DP方案代表了许多（深度）强化学习（RL）算法。通过强调这些联系（其中大部分已经注意到，但以分散的方式），我们希望鼓励进一步研究将RL和凸优化联系起来，这可能会导致设计新的，更有效的，更好地理解RL算法。
2019-10-29 cs.LG math.OC stat.ML
Deep Reinforcement Learning and Convex Mean-Variance Optimisation for Portfolio Management
University of the Witwatersrand（金山大学）
传统的投资组合管理方法可以结合特定的投资者偏好，但依赖于对资产收益和协方差的准确预测。强化学习（RL）方法不依赖于这些明确的预测，更适合多阶段决策过程。为了解决评估研究的局限性，我们在总体趋势不同的不同经济体的三个市场进行了实验。通过将特定的投资者偏好纳入我们的RL模型的奖励函数中，可以在风险收益空间中与传统方法进行更全面的比较。交易成本的模型也更现实，包括市场波动和交易量引起的非线性变化。这项研究的结果表明，在某些市场条件下，与传统的凸均值-方差优化方法相比，使用RL方法可能具有优势。我们的RL模型在上升趋势市场中的表现可以显著优于传统的单期优化（SPO）和多期优化（MPO）模型，但仅限于特定的风险限制。在横向趋势市场中，SPO和MPO模型的表现可以与我们的RL模型在大多数测试的超额风险范围内紧密匹配。在特定的市场条件下，这些模型可以胜过对方突出的重要性，更全面的比较帕累托最优边界的风险回报空间。这些前沿领域让投资者更细致地了解哪些模型可能为他们特定的风险承受能力或回报目标提供更好的表现。
2022-02-13 cs.LG q-fin.PM
Synthesizing Safe Policies under Probabilistic Constraints with Reinforcement Learning and Bayesian Model Checking
我们建议利用认知不确定性的约束满足的强化学习器在安全关键领域。我们介绍了一个框架规范的要求，强化学习器在约束设置，包括对结果的信心。我们表明，代理的信心在约束满足提供了一个有用的信号，在学习过程中的平衡优化和安全。
2021-02-06 cs.AI cs.NE cs.SE
Accelerating Safe Reinforcement Learning with Constraint-mismatched Policies
Princeton University（普林斯顿大学）；Siemens Corporation, Corporate Technology（西门子公司企业技术部）
我们考虑的问题时，强化学习提供（1）基线控制策略和（2）一组约束，学习者必须满足。基线策略可以来自演示数据或教师代理，并且可以为学习提供有用的线索，但它也可能对于手头的任务是次优的，并且不能保证满足指定的约束，这些约束可能编码安全性，公平性或其他特定于应用的要求。为了安全地学习基线策略，我们提出了一种迭代策略优化算法，该算法在最大化任务的预期回报，最小化与基线策略的距离以及将策略投影到满足约束的集合之间交替。我们从理论上分析了我们的算法，并提供了一个有限时间收敛保证。在我们对五个不同的控制任务的实验中，我们的算法始终优于几个最先进的基线，实现了10倍的约束违规和40%的平均奖励。
2021-07-10 cs.AI cs.LG cs.RO
Robust Offline Reinforcement Learning with Gradient Penalty and Constraint Relaxation
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Tencent AI Lab（腾讯人工智能实验室）
离线强化学习（RL）的一个很有前途的范例是约束学习到的策略保持接近数据集的行为，称为策略约束离线RL。然而，现有的工作严重依赖于数据的纯度，表现出性能下降，甚至灾难性的失败时，从污染的数据集包含不同级别的不纯轨迹学习。例如，在一个实施例中，专家级、中级等，而离线污染的数据日志在现实世界中普遍存在。为了减轻这种情况，我们首先在学习的价值函数上引入梯度惩罚来解决Q函数爆炸问题。然后，我们放宽了接近约束对非最佳行动的评论家加权约束松弛。实验结果表明，所提出的技术有效地驯服非最佳轨迹的政策约束离线RL方法，在一组污染的D4RL Mujoco和Adroit数据集上进行评估。
2022-10-19 cs.AI cs.LG
Automatic Constraint Policy Optimization based on Continuous Constraint Interpolation Framework for Offline Reinforcement Learning
College of Artificial Intelligence, Nankai University, Tianjin, China（人工智能学院，南开大学，天津，中国）
本文提出基于连续约束插值框架的自动约束策略优化方法，通过统一的优化框架和对偶算法，在离线强化学习中实现性能提升。
2026-01-30 cs.AI cs.LG
Quantile Constrained Reinforcement Learning: A Reinforcement Learning Framework Constraining Outage Probability
KAIST（韩国科学技术院）
约束强化学习（Reinforcement Learning，RL）是强化学习的一个分支，其目标是在满足给定约束的前提下，找到一个最大化期望累积收益的最优策略。以往的约束强化学习算法大多将期望累积和成本作为约束条件。然而，具有该约束的优化不能保证累积和成本超过给定阈值的中断事件的目标概率。本文提出了一个框架，名为分位数约束RL（QCRL），限制的分位数的分布的累积和成本，这是一个必要和充分条件，以满足中断约束。这是第一个工作，解决的问题，适用于分位数的策略梯度定理，并提供了近似梯度的分位数的理论结果。在此基础上，利用拉格朗日乘子技术，构造了一种分位数约束策略优化算法（QCPO）。我们使用分布强化学习与大偏差原则（LDP）估计分位数和尾部概率的累积和成本的实施QCPO。所实现的算法在训练期后满足中断概率约束。
2022-11-28 cs.AI cs.LG
A Policy Efficient Reduction Approach to Convex Constrained Deep Reinforcement Learning
Ant Group（蚂蚁集团）
虽然在一般的强化学习（RL）中得到了很好的建立，但基于值的方法很少在约束RL（CRL）中进行探索，因为它们无法找到可以在多个动作中随机化的策略。为了将基于值的方法应用于CRL，最近一种开创性的博弈论方法使用了混合策略，该策略在一组精心生成的策略中随机化，以收敛到所需的满足约束的策略。然而，这些方法需要存储大量的策略，这不是策略有效的，并且可能在受约束的深度RL中引起过高的存储器成本。为了解决这个问题，我们提出了一种替代方法。我们的方法首先将CRL重新表述为一个等价的距离优化问题。通过一个专门设计的线性优化预言机，我们得到了一个元算法，该算法使用任何现成的RL算法和任何条件梯度（CG）类型的算法作为子程序来解决它。然后，我们提出了一个新的变体的CG型算法，推广的最小范数点（MNP）的方法。所提出的方法匹配现有的博弈论方法的收敛速度，并实现最坏情况下的最优策略效率。在导航任务上的实验表明，该方法在降低内存开销的同时，获得了更好的性能，证明了该方法的有效性和效率。
2022-06-25 cs.LG
Reinforcement Learning for Assignment Problem with Time Constraints
University of Georgia（佐治亚大学）
我们提出了一个端到端的框架分配问题的多个任务映射到一组工人，使用强化学习，同时保留许多约束。任务和工作者都有时间限制，并且将工作者分配给任务会产生成本。每个工作者可以执行多个任务，直到耗尽其允许的时间单位（容量）。我们训练一个强化学习代理，通过最小化与分配相关的总成本，同时保持硬约束，找到接近最优的解决方案的问题。我们使用近端策略优化来优化模型参数。该模型实时生成一系列动作，这些动作对应于工人的任务分配，而不必针对环境动态状态的变化进行重新训练。在我们的问题设置中，奖励被计算为分配成本的负数。我们还展示了我们的结果装箱和容量限制的车辆路径问题，使用相同的框架。在解决方案质量和计算时间方面，我们的结果优于使用MIP和CP-SAT求解器的Google OR工具。
2021-06-05 cs.AI cs.LG
Reinforcement Learning with Stepwise Fairness Constraints
Harvard University（哈佛大学）；Carnegie Mellon University（卡内基梅隆大学）；Rutgers University（罗格斯大学）
人工智能方法用于社会重要环境，从信贷到就业再到住房，在算法决策方面提供公平性至关重要。此外，许多设置是动态的，人口响应顺序决策政策。我们介绍了逐步公平性约束的强化学习（RL）的研究，要求在每个时间步的组公平性。我们的重点是表情节RL，我们提供学习算法的政策最优性和公平违反方面的强有力的理论保证。我们的框架提供了有用的工具来研究公平性约束在顺序设置中的影响，并提出了新的挑战。
2022-11-08 cs.AI cs.CY cs.LG
Inverse Reinforcement Learning with Gaussian Process
University of Virginia（弗吉尼亚大学）
我们提出了新的算法，逆强化学习（IRL，或逆最优控制）在凸优化设置。我们认为，有限空间IRL可以构成为一个凸二次规划下的贝叶斯推理框架的最大后验估计的目标。为了处理大型甚至无限状态空间中的问题，我们提出了一个高斯过程模型，并使用偏好图来表示决策轨迹的观察。我们的方法是区别于其他方法的IRL，它不做任何假设的形式的奖励函数，但它保留了计算管理的实现为潜在的现实世界的应用程序的承诺。与小规模数值问题的建立算法相比，我们的方法在学徒学习中表现出更好的精度和对观测值数量的更鲁棒的依赖性。
2013-01-21 cs.LG
Constraint-Guided Reinforcement Learning: Augmenting the Agent-Environment-Interaction
Simula Research Laboratory（Simula研究所）
强化学习（RL）智能体在解决具有有限反馈的大观察和动作空间的任务方面取得了巨大的成功。尽管如此，训练代理是数据密集型的，并且不能保证学习到的行为是安全的，并且不违反环境规则，这对于现实世界场景中的实际部署具有限制。本文讨论了通过将深度强化学习与基于约束的增强模型集成来引导强化学习代理实现安全行为的可靠代理工程。在约束集内，RL代理可以自由地适应和探索，从而不会妨碍其解决给定问题的有效性。然而，一旦RL代理离开由约束定义的空间，外部模型可以提供指导，使其仍然可靠地工作。我们讨论了RL过程中的约束指导的集成点，并进行实验的两个案例研究：一个严格约束的纸牌游戏和网格世界环境与额外的组合子目标。我们的研究结果表明，约束指导既提供了可靠性的提高和更安全的行为，以及加速培训。
2021-04-24 cs.AI cs.LG
Input Convex Neural Networks
Carnegie Mellon University（卡内基梅隆大学）；Tsinghua University（清华大学）
本文提出了输入凸神经网络体系结构。这些是标量值（潜在深度）神经网络，对网络参数有约束，使得网络的输出是（一些）输入的凸函数。该网络允许通过对网络的一些输入进行优化来进行有效的推理，并且可以应用于包括结构化预测、数据填补、强化学习等的设置。在本文中，我们为这些模型奠定了基础，提出了推理，优化和学习的方法，并分析了它们的代表性。我们表明，许多现有的神经网络架构可以作出微小的修改，输入凸，并开发专门的优化算法，以适应这种设置。最后，我们强调了这些方法在多标签预测，图像完成和强化学习问题上的性能，在许多情况下，我们显示了对现有技术的改进。
2017-06-14 cs.LG math.OC
Stochastic Constraint Programming as Reinforcement Learning
Insight Centre for Data Analytics（数据分析洞察中心）；University College Cork（科克大学学院）；University of Edinburgh（爱丁堡大学）；Cankaya University（昌卡亚大学）
随机约束编程（SCP）是约束编程（CP）的扩展，用于建模和解决涉及约束和不确定性的问题。SCP继承了CP优秀的建模能力和滤波算法，但到目前为止，它还没有被应用到大型问题。强化学习（RL）将动态规划扩展到大型随机问题，但它是特定于问题的，没有通用的求解器。我们提出了一个混合的RL的可扩展性与CP的建模和约束过滤方法相结合。我们在CP系统中实现了一个原型，并证明了它对SCP问题的有用性。
2017-04-24 cs.AI
A Survey of Constraint Formulations in Safe Reinforcement Learning
LY Corporation（LY公司）；Osaka University（大阪大学）；Tsinghua University（清华大学）
本文综述安全强化学习中的代表性约束表述、对应算法及其数学关联，并指出当前研究现状与未来方向。
2024-05-08 cs.AI cs.LG
Safe Continual Reinforcement Learning under Nonstationarity via Adaptive Safety Constraints
McMaster Centre for Software Certification（麦斯特软件认证中心）；Department of Computing and Software（计算与软件系）；McMaster University（麦斯特大学）
本文提出了一种结合三种自适应安全机制的框架，用于在非平稳环境下实现安全的持续强化学习，通过自适应约束机制减少分布偏移下的安全违规，同时保持任务性能。
2026-05-13 cs.LG
Design Optimization of NOMA Aided Multi-STAR-RIS for Indoor Environments: A Convex Approximation Imitated Reinforcement Learning Approach
Kyung Hee University（庆熙大学）；Virginia Tech（弗吉尼亚理工大学）
针对室内多STAR-RIS结合NOMA通信的干扰、功耗与配置难题，提出融合分解算法与凸逼近增强的多智能体深度强化学习架构，优化用户分配、波束成形与相位控制，显著提升网络效用。
2024-09-17 cs.AI cs.NI
Deep reinforcement learning-based spacecraft attitude control with pointing keep-out constraint
University of Würzburg（乌尔姆大学）
针对带单个指向禁区的航天器重新定向控制问题，本文采用SAC算法，设计含约束区紧凑表示的状态与约束奖励函数，结合课程学习训练智能体，仿真验证了该DRL方法的有效性。
2025-11-13 cs.AI cs.LG cs.SY
Double Duality: Variational Primal-Dual Policy Optimization for Constrained Reinforcement Learning
Princeton University（普林斯顿大学）；Northwestern University（西北大学）；Yale University（耶鲁大学）
针对约束凸MDP的挑战，提出基于模型的VPDPO算法，利用拉格朗日与Fenchel对偶性转化为无约束原始-对偶优化，结合OFU价值迭代与梯度上升更新，在核化非线性调节器与低秩MDP中实现次线性遗憾与约束违反，并获全局最优策略。
2024-02-16 cs.LG math.OC stat.ML
Multi-Agent Reinforcement Learning via Double Averaging Primal-Dual Optimization
Chinese University of Hong Kong（香港中文大学）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）；University of Minnesota（明尼苏达大学）
尽管单智能体强化学习取得了成功，但由于智能体之间的复杂交互，多智能体强化学习（MARL）仍然具有挑战性。受传感器网络、群机器人和电网等分散式应用的启发，我们研究了MARL中的策略评估，在MARL中，具有联合观察状态-动作对和私有局部奖励的代理合作学习给定策略的值。在本文中，我们提出了一个双平均方案，每个代理迭代执行平均在空间和时间，分别将相邻的梯度信息和本地奖励信息。我们证明了该算法以全局几何速度收敛到最优解。特别是，这样的算法是建立在原始-对偶的均方投影贝尔曼误差最小化问题，这引起了一个分散的凸-凹鞍点问题的重新制定。据我们所知，提出的双重平均原始-对偶优化算法是第一个实现快速有限时间收敛的分散凹凸鞍点问题。
2019-01-09 cs.LG math.OC stat.ML
Evaluation of Safety Constraints in Autonomous Navigation with Deep Reinforcement Learning
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；AIRI（AIRI（人工智能研究所））；Federal Research Center for Computer Science and Control of Russian Academy of Sciences（俄罗斯科学院计算机科学与控制联邦研究中心）
本研究比较了考虑与不考虑安全约束的两种深度强化学习导航策略，证明安全策略能在不牺牲整体性能的前提下生成间隙更大、碰撞更少的轨迹。
2023-07-27 cs.AI cs.LG cs.RO
Accelerated Reinforcement Learning
策略梯度方法被广泛应用于强化学习算法中，以在参数化策略空间中搜索更好的策略。它们在策略空间中进行梯度搜索，并且已知收敛非常缓慢。Nesterov开发了一种用于凸优化问题的加速梯度搜索算法。这最近已扩展到非凸和随机优化。我们使用Nesterov的加速策略梯度搜索著名的演员-评论家算法，并使用ODE方法的收敛性。我们测试了这个算法的调度问题。这里，传入作业根据队列长度被调度到四个队列中的一个。实验结果表明，使用Nesterov加速的算法比不使用加速的算法具有更好的性能。据我们所知，这是Nesterov的加速第一次与演员批评家算法一起使用。
2018-04-24 cs.LG
Deep reinforcement learning under signal temporal logic constraints using Lagrangian relaxation
Osaka University（大阪大学）；Graduate School of Engineering Science（工程科学研究生院）
深度强化学习（Deep Reinforcement Learning，DRL）作为一种在没有系统数学模型的情况下解决最优控制问题的方法，引起了广泛的关注。另一方面，在一般情况下，约束可以施加在最优控制问题上。在本研究中，我们考虑最优控制问题的约束，以完成时间控制任务。我们使用信号时序逻辑（STL），这是有用的时间敏感的控制任务，因为它可以指定连续的信号在有限的时间间隔内的约束。为了处理STL的约束，我们引入了一个扩展的约束马尔可夫决策过程（CMDP），这是一个$τ$ -CMDP。我们将STL约束最优控制问题表示为$τ$ -CMDP，并利用拉格朗日松弛法提出了一种两阶段约束DRL算法。通过仿真，我们也证明了所提出的算法的学习性能。
2022-11-19 cs.LG cs.SY eess.SY
Reinforcement Learning of Markov Decision Processes with Peak Constraints
RISE AI Research Institutes of Sweden（瑞典RISE人工智能研究院）
在本文中，我们考虑强化学习的马尔可夫决策过程（MDP）的峰值约束，其中代理选择一个政策，以优化目标，并在同一时间满足额外的约束。智能体必须根据观察到的状态、奖励输出和约束输出采取行动，而不需要任何关于动态、报酬函数和/或约束函数的知识。我们引入了一种博弈论的方法来构建强化学习算法，其中代理最大化一个无约束的目标，该目标取决于最小化对手的模拟动作，该对手作用于有限集的动作和约束函数（奖励）的输出数据。我们证明了从极大极小Q学习得到的策略收敛到最优策略。据我们所知，这是第一次学习算法保证收敛到最佳的平稳策略的MDP问题的峰值约束的折扣和预期的平均回报。
2019-12-06 cs.LG math.OC
