Learning General Parameterized Policies for Infinite Horizon Average Reward Constrained MDPs via Primal-Dual Policy Gradient Algorithm
Purdue University（普渡大学）；Indian Institute of Technology Kanpur（坎普尔印度理工学院）
针对无限时域平均回报约束马尔可夫决策过程，首次开展通用参数化策略下的遗憾与约束违反分析，提出原对偶策略梯度算法，实现低遗憾全局最优策略及对应约束违反界保障。
2024-10-30 cs.AI cs.LG
ACPO: A Policy Optimization Algorithm for Average MDPs with Constraints
University of Southern California（南加州大学）；Google DeepMind（谷歌DeepMind）
针对平均准则约束MDP，提出ACPO算法，基于信赖域与敏感性理论，提供性能保证，并在OpenAI Gym环境中优于现有方法。
2024-05-24 cs.AI cs.LG
Deterministic Policy Gradient Primal-Dual Methods for Continuous-Space Constrained MDPs
King Juan Carlos University（胡安·卡洛斯国王大学）；University of Pennsylvania（宾夕法尼亚大学）
针对连续空间约束MDPs计算确定性最优策略的难题，提出具有非渐近收敛性的D-PGPD算法，通过二次正则化原始-对偶更新求解，并在机器人导航和流体控制实验中验证有效性。
2025-04-04 cs.AI math.OC
Reductive MDPs: A Perspective Beyond Temporal Horizons
J.P. Morgan AI Research（摩根大通人工智能研究院）
求解一般马尔可夫决策过程（MDP）是一个计算困难的问题。另一方面，用众所周知的多项式时间算法求解有限时域MDP是非常容易处理的。是什么导致了这种极端的差异，在这些截然相反的复杂性之间是否存在问题？在本文中，我们确定和分析的一般状态-动作空间的动态满足一个特定的漂移条件的随机最短路径问题（SSP）的一个子类。这种构造通过减少可达性来推广传统的时间视界概念：一种称为还原性的属性。结果表明，最佳的政策可以恢复在多项式时间还原SSP-通过向后归纳的扩展-与一个有效的模拟还原MDP。所提出的方法的实际考虑进行了讨论，并提供了一个典型的最优清算问题的数值验证。
2022-05-15 cs.AI cs.CC cs.LG
Bounded Approximate Symbolic Dynamic Programming for Hybrid MDPs
University of Sao Paulo（圣保罗大学）；NICTA（澳大利亚国家信息通信技术局）；ANU（澳大利亚国立大学）
符号动态规划（SDP）结合扩展代数决策图（XADD）数据结构的最新进展为具有分段线性动态和连续动作的混合离散和连续（混合）MDP提供了精确解。由于XADD为基础的精确解可能会增长棘手的大许多问题，我们提出了一个有界误差压缩技术XADD，涉及到一个约束的双线性鞍点问题的解决方案。幸运的是，我们表明，由于这个问题的特殊结构，它可以表示为一个双层线性规划问题，并解决了在有限时间内通过约束生成的最优性，尽管有一个无限的约束。该解决方案允许使用有效的线性规划求解器的XADD压缩，并使一类新的有界近似SDP算法的混合MDP，经验提供了一个小的近似误差交换的精确解的数量级的加速比。
2013-09-26 cs.AI
Hierarchical Constrained Stochastic Shortest Path Planning via Cost Budget Allocation
Massachusetts Institute of Technology（麻省理工学院）
随机序贯决策往往需要层次结构的问题，每个高层次的行动应进一步计划与原始状态和行动。此外，许多现实世界的应用程序需要一个计划，满足约束的二次成本，如风险措施或燃料消耗。在本文中，我们提出了一个分层约束随机最短路径问题（HC-SSP），满足这两个关键的要求，在一个单一的框架。虽然HC-SSP提供了一个有用的框架，在许多现实世界的应用程序中，这样的规划要求建模，由此产生的问题具有很高的复杂性，并使得它很难找到一个最佳的解决方案，快速，这阻止了用户将其应用到实时和风险敏感的应用程序。为了解决这个问题，我们提出了一个算法，迭代分配成本预算的基础上分支定界计划的低层次规划问题，找到一个可行的解决方案快速和增量更新现任解决方案。我们证明了所提出的算法在疏散的情况下，并证明了一个国家的最先进的数学规划为基础的方法的优势。
2022-05-11 cs.AI
Deontically Constrained Policy Improvement in Reinforcement Learning Agents
School of Electrical Engineering and Computer Science（电气工程与计算机科学学院）；Oregon State University（俄勒冈州立大学）
本文提出一种融合道义逻辑约束的强化学习策略改进方法，使智能体在最大化任务效用的同时遵守伦理、社会与情境规范，并证明其可达到受约束局部最优。
2025-06-08 cs.AI
Global Convergence for Average Reward Constrained MDPs with Primal-Dual Actor Critic Algorithm
Purdue University, USA（普渡大学，美国）；Indian Institute of Science, Bengaluru, India（印度班加罗尔印度理工学院）；Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
本文提出了一种对偶-actor-critic算法，实现了平均奖励约束MDP的全局收敛性和约束违反率的理论最优解。
2025-12-09 cs.AI cs.LG
Policy Optimization for Constrained MDPs with Provable Fast Global Convergence
Texas A&M University（得克萨斯农工大学）
我们解决的问题，找到一个有约束的马尔可夫决策过程（CMDP）使用梯度下降为基础的算法的最优策略。以前的结果表明，原始-对偶方法可以实现$\mathcal{O}(1/\sqrt{T})$全局收敛速度的最优性差距和约束违反。我们提出了一种新的算法称为策略镜像下降原始对偶（PMD-PD）算法，可以证明实现更快的$\mathcal{O}(\log(T)/T)$收敛速度的最优性差距和约束违反。对于原始（策略）更新，PMD-PD算法利用修改的价值函数并执行自然的策略梯度步骤，其等效于具有适当正则化的镜像下降步骤。对于双重更新，PMD-PD算法使用修改的拉格朗日乘子，以确保更快的收敛速度。我们还提出了这种方法的两个扩展的设置与零约束违反和基于样本的估计。实验结果表明，与现有的基于策略梯度的算法相比，PMD-PD算法具有更快的收敛速度和更好的性能。
2022-02-03 cs.AI cs.LG math.OC
Reinforcement Learning of Risk-Constrained Policies in Markov Decision Processes
Masaryk University（马萨里克大学）；Institute of Science and Technology Austria（奥地利科学技术研究所）
马尔可夫决策过程（MDP）是随机不确定性条件下序列决策的实际框架。MDPs的经典优化准则是最大化期望折扣和收益，忽略了对系统具有高度负面影响的低概率灾难性事件。另一方面，风险规避政策要求不可预测事件的概率低于给定的阈值，但它们并不考虑预期收益的优化。我们考虑MDPs与贴现和支付的失败状态，代表灾难性的结果。风险约束规划的目标是最大化风险规避策略的期望折扣和收益，以确保遇到故障状态的概率低于期望阈值。我们的主要贡献是一个有效的风险约束规划算法，它结合了UCT类搜索与预测learnedthrough互动与MDP（在风格的AlphaZero）和风险约束的行动选择通过线性规划。我们证明了我们的方法的有效性与实验的经典MDP从文献中，包括基准的顺序为10^6状态。
2020-02-27 cs.AI cs.LG
Ensuring Safety in an Uncertain Environment: Constrained MDPs via Stochastic Thresholds
School of Informatics University of Edinburgh（信息学院爱丁堡大学）
本文提出SPOT算法，通过随机阈值在不确定环境中实现安全的强化学习，理论证明其在约束和奖励方面具有次线性遗憾性能。
2025-12-24 cs.AI cs.LG stat.ML
Towards Painless Policy Optimization for Constrained MDPs
Simon Fraser University（西蒙弗雷泽大学）；SAIT AI Lab（SAIT人工智能实验室）；Amii（阿尔伯塔机器智能研究所）；University of Alberta（阿尔伯塔大学）；DeepMind（深度思维）；Mila（米拉人工智能研究所）；McGill University（麦吉尔大学）
研究了无限时域$γ$ -折扣约束马尔可夫决策过程（CMDP）中的策略优化问题.我们的目标是返回一个策略，实现大的预期回报与一个小的约束违反。我们认为在线设置与线性函数近似，并假设全球访问相应的功能。我们提出了一个通用的原始-对偶框架，使我们能够约束奖励次优和约束违反任意算法的原始和对偶遗憾在线线性优化问题。我们实例化这个框架使用硬币投注算法，并提出硬币投注Politex（CBP）算法。假设动作-价值函数是$\varepsilon_b$ -接近$d$维状态-动作特征的跨度并且没有采样误差，我们证明了CBP的$T$迭代导致$O\left(\frac{1}{(1 - γ)^3 \sqrt{T}} + \frac{\varepsilon_b\sqrt{d}}{(1 - γ)^2} \right)$奖励次优和$O\left(\frac{1}{(1 - γ)^2 \sqrt{T}} + \frac{\varepsilon_b \sqrt{d}}{1 - γ} \right)$约束违反。重要的是，与梯度下降-上升和其他最近的方法不同，CBP不需要广泛的超参数调整。通过在合成环境和Cartpole环境下的实验，我们证明了CBP的有效性和鲁棒性。
2022-04-11 cs.AI cs.LG
Last-Iterate Convergence of General Parameterized Policies in Constrained MDPs
IIT Kanpur（IIT坎普尔）；Purdue University（普渡大学）
本文提出了一种基于对偶的正则化加速自然策略梯度算法，用于学习约束马尔可夫决策过程，改进了通用参数化CMDP的最后迭代保证。
2026-05-01 cs.AI cs.LG
Risk-Constrained Reinforcement Learning with Percentile Risk Criteria
Stanford University（斯坦福大学）；Adobe Research（Adobe研究院）；INRIA Lille（里尔国家信息与自动化研究所）
在许多顺序决策问题中，人们感兴趣的是在考虑\emph{risk}的同时使期望累积成本最小化，即，提高对小概率和高后果事件的认识。因此，本文的目标是提出有效的强化学习算法的风险约束马尔可夫决策过程（MDP），其中风险表示通过机会约束或约束的条件风险价值（CVaR）的累积成本。我们将这些问题统称为百分位风险约束MDP。具体来说，我们首先推导出一个公式，用于计算拉格朗日函数的梯度百分位风险约束的MDP。然后，我们设计了策略梯度和行动者-批评者算法，用于（1）估计此类梯度，（2）在下降方向上更新策略，以及（3）在上升方向上更新拉格朗日乘数。对于这些算法，我们证明收敛到局部最优的政策。最后，我们证明了我们的算法在最优停止问题和在线营销应用的有效性。
2017-04-06 cs.AI cs.LG math.OC
Constrained and Robust Policy Synthesis with Satisfiability-Modulo-Probabilistic-Model-Checking
Radboud University（拉德堡德大学）；Brno University of Technology（布尔诺理工大学）
针对有限MDP上带结构约束的鲁棒奖励最优策略计算难题，本文提出结合可满足性求解器与概率模型检查的合成框架，实验证明其可行且性能媲美现有最优方法。
2025-11-15 cs.AI cs.LO
Risk-Averse Stochastic Shortest Path Planning
California Institute of Technology（加州理工学院）
我们考虑MDP中的随机最短路径规划问题，即，设计策略以确保以最小的累积成本从给定的初始状态到达目标状态的问题。为了说明罕见的，但重要的实现系统，我们认为嵌套的动态一致的风险总成本功能，而不是传统的风险中性总期望成本。在一些假设下，我们表明，最佳的，平稳的，马尔可夫政策存在，并可以通过一个特殊的贝尔曼方程。我们提出了一个计算技术的基础上的差异凸规划（DCP），以找到相关的价值函数，因此风险规避政策。漫游导航MDP是用来说明所提出的方法与条件风险价值（CVaR）和熵风险价值（EVaR）的一致性风险措施。
2021-03-26 cs.AI cs.SY eess.SY
Safe Posterior Sampling for Constrained MDPs with Bounded Constraint Violation
University of Southern California（南加州大学）
约束马尔可夫决策过程（CMDPs）模型的顺序决策方案与多个目标，在许多应用中越来越重要。然而，模型通常是未知的，必须在线学习，同时仍然确保满足约束，或者至少违反时间。最近的一些论文在这个非常具有挑战性的问题上取得了进展，但要么需要不令人满意的假设，如安全策略的知识，要么有很高的累积遗憾。我们提出了安全PSRL（后验抽样为基础的RL）算法，不需要这样的假设，但表现得很好，无论是在理论上的遗憾界限以及经验。该算法利用后验抽样原理实现了探索和利用之间的有效权衡，并利用悲观主义的思想，可证明只遭受有界约束违反。我们的方法是基于原始对偶方法。我们建立了一个次线性$\tilde{\mathcal{ O}}\left(H^{2.5} \sqrt{|\mathcal{S}|^2 |\mathcal{A}| K} \right)$上界的贝叶斯奖励目标后悔随着一个有界的，即，对于$|\mathcal{S}|$ -状态、$|\mathcal{A}|$ -操作和范围$H$ CMDP，对$K$事件的$\tilde{\mathcal{O}}\left(1\right)$约束违反表示遗憾。
2023-01-27 cs.AI cs.LG cs.SY
Convergence and sample complexity of natural policy gradient primal-dual methods for constrained MDPs
University of Tennessee, Knoxville（田纳西大学）；University of Maryland, College Park（马里兰大学）；Apple Inc.（苹果公司）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Southern California（南加州大学）
针对约束马尔可夫决策过程，提出自然策略梯度原始-对偶方法，实现非凸优化下全局次线性收敛且维度无关，并提供样本复杂度保证与实验验证。
2025-10-15 cs.AI cs.LG cs.SY
Constrained Reinforcement Learning with Average Reward Objective: Model-Based and Model-Free Algorithms
Purdue University（普渡大学）；Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
本专著探讨了平均奖励MDP下的约束强化学习，分析了基于模型（乐观主义与后验采样）和无模型（原始对偶策略梯度）算法，提供遗憾保证与约束违反分析，并将结果扩展至弱通信MDP。
2024-07-17 cs.AI cs.LG
A Constrained Randomized Shortest-Paths Framework for Optimal Exploration
Université catholique de Louvain (UCLouvain)（鲁汶天主教大学）；Aalto University（阿尔托大学）；Université Libre de Bruxelles (ULB)（布鲁塞尔自由大学）
目前的工作扩展了随机最短路径框架（RSP），插在网络中的最短路径和随机行走路由，在三个方向。首先，它显示了如何处理的转移概率的子集上的等式约束，并开发了一个通用的算法来解决这个约束RSP问题使用拉格朗日对偶。其次，它得出了一个令人惊讶的简单的迭代过程来计算最优的，随机的，路由策略推广以前开发的“软”贝尔曼福特算法。由此产生的算法允许平衡开发和探索之间的纯随机行为和确定性的，最佳的，政策（最低成本的路径），同时满足约束条件的最佳方式进行插值。最后，这两个算法被应用到马尔可夫决策问题考虑的过程作为一个受约束的RSP的二分状态-动作图。在这种情况下，派生的“软”值迭代算法似乎与动态策略规划以及Kullback-Leibler和路径积分控制密切相关，并且类似于最近引入的强化学习探索策略。这表明该策略在RSP意义上是最优的-它最小化了受相对熵约束的期望路径成本。仿真结果表明，该模型表现出预期的。
2018-07-12 cs.AI cs.LG stat.ML
Bourbaki: Self-Generated and Goal-Conditioned MDPs for Theorem Proving
Huawei Noah’s Ark Lab（华为诺亚实验室）；Imperial College London（伦敦帝国学院）；Huawei Lagrange Center（华为拉格朗日中心）；UCL Centre for AI（大学学院人工智能中心）
本文提出自生成目标条件MDP框架，通过让智能体基于证明状态生成并追求子目标，结合MCTS搜索与多个7B模型集成，在PutnamBench上以Bourbaki（7B）解决26个问题，取得该规模模型的新SOTA。
2025-07-03 cs.AI cs.LG
Efficient Policy Optimization in Robust Constrained MDPs with Iteration Complexity Guarantees
New Jersey Institute of Technology（新泽西理工学院）；Caltech（加州理工学院）
本文提出了一种在鲁棒约束MDP中高效优化策略的方法，通过最小化约束价值函数并最大化鲁棒奖励价值函数，在O(ε⁻²)次迭代内实现ε次优且可行的策略，无需二分搜索从而提升计算效率。
2026-02-07 cs.AI cs.LG cs.RO
Beyond Scalar Rewards: An Axiomatic Framework for Lexicographic MDPs
McGill University（麦吉尔大学）；Mila – Quebec AI Institute（魁北克AI研究所）
本文基于 Hausner 的字典序期望效用理论，在无记忆偏好假设下刻画 MDP 中的二维及 d 维奖励函数，并证明其最优策略保留标量奖励情形的优良性质，而 CMDP 中则不然。
2025-05-17 cs.AI cs.LG
Shortest-Path Constrained Reinforcement Learning for Sparse Reward Tasks
University of Michigan（密歇根大学）；LG AI Research（LG人工智能研究院）；Yonsei University（延世大学）；Microsoft Research（微软研究院）
我们提出了k-最短路径（k-SP）约束：一种新的约束代理的轨迹，提高了样本效率稀疏奖励MDP。我们证明了任何最优策略必然满足k-SP约束。值得注意的是，k-SP约束防止策略沿着非k-SP轨迹探索状态-动作对（例如，来回的）。然而，在实践中，排除状态动作对可能会阻碍RL算法的收敛。为了克服这一点，我们提出了一种新的成本函数，惩罚违反SP约束的政策，而不是完全排除它。我们的数值实验在一个表格RL设置表明，SP约束可以显着减少策略的轨迹空间。因此，我们的约束通过抑制冗余的探索和利用，使更多的样本有效的学习。我们在MiniGrid、DeepMind Lab、Atari和Fetch上的实验表明，该方法显着提高了近端策略优化（PPO），即使在连续控制任务中也优于现有的新颖性探索方法，包括基于计数的探索，这表明它通过防止代理采取冗余动作来提高样本效率。
2021-07-13 cs.AI cs.LG cs.RO
Reward is enough for convex MDPs
DeepMind（深度思维）
针对无法由平稳奖励表示、以平稳分布凸函数定义目标的凸 MDP，论文利用 Fenchel 对偶将其转化为策略与代价的 min-max 博弈，并提出统一多种现有算法的元算法。
2023-06-02 cs.AI cs.LG stat.ML
Robust Combination of Local Controllers
Stanford University（斯坦福大学）
针对高维连续MDP规划问题，提出非参数化组合局部控制器的方法，并分别应用于随机最短路径和折扣MDP，前者保证高概率到达目标，后者通过鲁棒线性规划处理模型不确定性。
2013-01-10 cs.AI cs.SY eess.SY
Convex Optimization for Parameter Synthesis in MDPs
Radboud University Nijmegen（拉德堡德大学（奈梅亨））；University of California at Berkeley（加州大学伯克利分校）；RWTH Aachen University（亚琛工业大学）
概率模型检验的目的是证明马尔可夫决策过程是否满足时态逻辑规范。基本方法依赖于一个通常不切实际的假设，即MDP是精确已知的。因此，参数MDP（pMDP）扩展MDP的转移概率，是在未指定的参数的函数。参数合成问题是计算这些未指定参数的实例化，使得所得MDP满足时态逻辑规范。我们制定的参数综合问题作为一个二次约束二次规划（QCQP），这是非凸的，是NP-难解决的一般。我们开发了两种方法，迭代获得局部最优解。第一种方法利用所谓的凸-凹过程（CCP），第二种方法利用顺序凸规划（SCP）方法。通过融合凸优化和概率模型检测的思想，与黑盒CCP和SCP相比，该技术将运行时间和可扩展性提高了多个数量级。我们展示了卫星防撞问题的方法，数十万个国家和数万个参数和它们的可扩展性在广泛的常用基准。
2021-06-30 cs.AI cs.LO math.OC
Constrained Risk-Averse Markov Decision Processes
California Institute of Technology（加州理工学院）；NASA Jet Propulsion Laboratory（NASA喷气推进实验室）
研究了具有动态一致风险目标和约束条件的马尔可夫决策过程的策略设计问题。我们首先在拉格朗日框架中阐述这个问题。在假设风险目标和约束可以用马尔可夫风险转移映射表示的前提下，提出了一种基于优化的方法来合成马尔可夫策略，使约束风险规避问题下界化.我们表明，制定的优化问题是在差分凸规划（DCP）的形式，并可以解决纪律凹凸规划（DCCP）框架。我们表明，这些结果推广了线性规划的约束MDPs总折扣的期望成本和约束。最后，我们说明了所提出的方法的有效性与数值实验的漫游车导航问题，涉及条件风险价值（CVaR）和熵风险价值（EVaR）的一致风险措施。
2021-03-28 cs.AI cs.RO cs.SY
Analysis of approximate linear programming solution to Markov decision problem with log barrier function
Korea Advanced Institute of Science and Technology（韩国高等科学技术院）
本文提出利用对数障碍函数将马尔可夫决策问题的线性规划转换为无约束优化问题，以提高求解效率并填补理论空白。
2026-02-23 cs.AI
Minimizing Maximum Regret in Commitment Constrained Sequential Decision Making
University of Michigan（密歇根大学）
在多智能体合作规划中，一个智能体向其他智能体做出关于其行为方面的承诺通常是有益的，允许他们反过来规划自己的行为，而不考虑智能体的详细行为。扩展以前的工作中的贝叶斯设置，我们认为，而不是一个最坏的情况下的设置，代理有一组可能的环境（MDP），它可能是，并开发一个承诺语义，允许概率保证代理的行为在任何环境中，它可能最终面临。至关重要的是，代理接收（奖励和状态转换）的观察，使其能够潜在地消除可能的环境，从而通过使其策略适应观察的历史来获得更高的效用。我们开发的算法，并提供理论和一些初步的实证结果表明，他们确保代理满足其承诺与历史相关的政策，同时尽量减少最大的遗憾可能的环境。
2017-03-14 cs.AI
Risk-Averse Decision Making Under Uncertainty
California Institute of Technology（加州理工学院）；NASA Jet Propulsion Laboratory（NASA喷气推进实验室）
在不确定性问题下的一大类决策可以通过马尔可夫决策过程（MDP）或部分可观测MDP（POMDP）来描述，并应用于人工智能和运筹学等。传统上，策略合成技术被提出，使得总期望成本或回报最小化或最大化。然而，在总的预期成本意义上的最优性是合理的，如果在大量的运行系统的行为是感兴趣的，这限制了使用这样的政策在实际的任务关键的情况下，其中从预期的行为大的偏差可能会导致任务失败。在本文中，我们考虑的问题，设计政策的MDPs和POMDPs的目标和约束的动态一致的风险措施，我们称之为约束风险厌恶问题。对于MDP，我们通过拉格朗日框架将问题转化为infsup问题，并提出了一种基于优化的方法来合成马尔可夫策略。对于MDP，我们证明了制定的优化问题的形式是差分凸规划（DCP），可以解决纪律凹凸规划（DCCP）的框架。我们表明，这些结果推广了线性规划的约束MDPs总折扣的期望成本和约束。对于POMDPs，我们表明，如果连贯的风险措施可以被定义为一个马尔可夫风险转移映射，一个无限维的优化可以用来设计马尔可夫信念为基础的政策。对于随机有限状态控制器（FSC），我们表明，后者的优化简化为（有限维）DCP，可以解决的DCCP框架。我们将这些DCP的政策迭代算法设计风险规避FSC POMDPs。
2021-09-09 cs.AI cs.RO cs.SY
Minimax Regret Optimisation for Robust Planning in Uncertain Markov Decision Processes
Oxford Robotics Institute, University of Oxford（牛津大学牛津机器人研究所）
马尔可夫决策过程（MDP）的参数通常无法精确指定。不确定MDP（UMDPs）通过定义参数所属的集合来捕获这种模型模糊性。极小极大后悔已被提出作为UMDPs规划的目标，以找到稳健的政策，而不是过于保守。在这项工作中，我们专注于规划随机最短路径（SSP）UMDPs不确定的成本和过渡功能。我们引入Bellman方程来计算保单的后悔率。我们提出了一个动态规划算法，利用遗憾贝尔曼方程，并表明，它优化极小极大遗憾正是UMDPs与独立的不确定性。对于耦合的不确定性，我们扩展我们的方法，使用选项，使计算和解决方案的质量之间的权衡。我们在合成域和现实域上评估了我们的方法，表明它显著优于现有的基线。
2023-02-12 cs.AI
Physics-Informed Causal MDPs for Sequential Constraint Repair in Engineering Simulation Pipelines
Beijing JiaoTong University（北京交通大学）
本文提出PI-CMDP框架，通过因果识别、压缩和估计三步流程，在工程仿真流水线中实现高效的约束修复，提升修复成功率并减少故障率。
2026-04-20 cs.AI cs.LG
Value Iteration with Guessing for Markov Chains and Markov Decision Processes
Institute of Science and Technology Austria (ISTA)（科学与技术研究院（ISTA））；University of Maryland College Park（马里兰大学学院公园分校）
本文提出结合猜测值与近线性时间预处理的值迭代方法，使 MC 上 Bellman 更新降至亚指数级，并改进 MDP 收敛分析及实用性能。
2025-05-10 cs.AI cs.CC
Realizable Abstractions: Near-Optimal Hierarchical Reinforcement Learning
Sapienza University of Rome（罗马萨皮恩扎大学）；King’s College London（伦敦国王学院）
本文提出可实现的抽象概念，通过定义新的关系解决HRL中抽象的表达能力和效率保证问题，并提出RARL算法生成近最优的低层策略。
2025-12-04 cs.AI cs.LG
FP-IRL: Fokker--Planck Inverse Reinforcement Learning -- A Physics-Constrained Approach to Markov Decision Processes
Department of Mechanical Engineering, University of Michigan（密歇根大学机械工程系）；Department of Aerospace Engineering, Auburn University（奥本大学航空航天工程系）；Department of Radiology, University of Michigan（密歇根大学放射学系）；Department of Aerospace and Mechanical Engineering, University of Southern California（南加州大学航空航天与机械工程系）
本文提出FP-IRL，一种基于Fokker-Planck动态的反强化学习框架，通过轨迹数据直接推断奖励和转移函数，无需预先获取转移信息，提升未知动态下的学习效率与物理可解释性。
2026-04-30 cs.AI cs.LG physics.bio-ph
Near-Optimal Reinforcement Learning for Constrained Recurrence Objectives
NTU Singapore（南洋理工大学）
本文提出了一种结合$ω$-正则目标与约束的强化学习算法，以解决安全性和性能之间的权衡问题。
2026-08-04 cs.AI cs.LG
LCRL: Certified Policy Synthesis via Logically-Constrained Reinforcement Learning
University of Oxford（牛津大学）；Amazon Inc（亚马逊公司）
LCRL是一个软件工具，它在未知的马尔可夫决策过程（MDP）上实现无模型强化学习（RL）算法，合成满足给定线性时间规范的最大概率的策略。LCRL利用部分确定性有限状态机（称为有限确定性Buchi自动机（LDBA））来表达给定的线性时间规范。基于LDBA的结构，RL算法的奖励函数是动态成形的。在适当假设下的理论保证确保RL算法收敛到最大化满意概率的最优策略。我们提出的案例研究，以证明LCRL的适用性，易用性，可扩展性和性能。由于LDBA引导的探索和LCRL无模型架构，我们观察到了强大的性能，与标准RL方法相比（适用于LTL规范时）也具有很好的扩展性。有关如何执行本文中所有案例研究的完整说明，请参见LCRL发行版www.github.com/grockious/lcrl附带的GitHub页面。
2022-09-21 cs.AI cs.LG cs.LO
Anytime-Constrained Reinforcement Learning
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文研究带任意时刻约束的 cMDP，通过归约到无约束 MDP 实现高效规划与学习，并针对 NP 难情形提出可证明的近似算法，达到最坏情况下的最优近似保证。
2024-06-13 cs.AI cs.DS cs.LG
Dual Formulation for Chance Constrained Stochastic Shortest Path with Application to Autonomous Vehicle Behavior Planning
Khalifa University（哈利法大学）
自动驾驶车辆面临的问题是优化后续机动的预期性能，同时限制与周围动态障碍物碰撞的风险。这些障碍物，如代理车辆，往往表现出随机过渡，应及时和安全的方式。约束随机最短路径问题（C-SSP）是在随机环境中，在某些类型的操作约束下规划的一种形式。虽然C-SSP允许在规划问题中指定约束，但它不允许限制约束违反的概率，这在安全关键应用中是期望的。这项工作的第一个贡献是一个确切的整数线性规划制定的机会约束SSP（CC-SSP），达到确定性的政策。其次，随机舍入过程中提出的随机政策。第三，我们证明了CC-SSP形式主义可以推广到跨越多个时间步长的约束。评估结果表明，我们的方法在基准问题相比，现有的方法是有用的。
2023-02-25 cs.AI
Solving Constrained Stochastic Shortest Path Problems with Scalarisation
Saarland University（萨尔兰大学）；Australian National University（澳大利亚国立大学）
针对约束随机最短路径问题（CSSPs），提出CARL算法，通过标量化构建无约束随机最短路径子问题，用启发式搜索求解并结合次梯度法优化标量化，生成最优策略，在现有基准上解决的问题数量比最先进方法多50%。
2025-08-24 cs.AI
Capacity-Aware Planning and Scheduling in Budget-Constrained Multi-Agent MDPs: A Meta-RL Approach
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对预算和容量受限的多智能体MDP，提出基于LSAP分组与元训练PPO的两阶段方法，在工业机器人维修调度中有效提升平均正常运行时间并具备可扩展性。
2025-09-26 cs.AI cs.LG
Multi-Agent Chance-Constrained Stochastic Shortest Path with Application to Risk-Aware Intelligent Intersection
Khalifa University（哈利法大学）；University of Oxford（牛津大学）；Massachusetts Institute of Technology（麻省理工学院）
在交通网络中，交通信号灯传统上用于车辆协调，交叉路口是天然的瓶颈。现有的自动交叉口的一个巨大挑战在于检测和推理的不确定性，从操作环境和人类驾驶的车辆。在本文中，我们提出了一个具有风险意识的智能交叉口系统的自动驾驶汽车（AV）以及人类驾驶的车辆（HV）。我们将该问题转换为一类新的多智能体机会约束随机最短路径（MCC-SSP）问题，并设计了一个精确的线性规划（ILP）公式，该公式在智能体的交互点（例如，交叉点处的潜在碰撞点）。特别是，当交互点内的代理数量很小时，这通常是在交叉口的情况下，ILP具有多项式数量的变量和约束。为了进一步提高运行时间的性能，我们表明，碰撞风险计算可以离线执行。另外，提供轨迹优化工作流程以生成针对任何给定交叉点的风险感知轨迹。该框架在CARLA仿真器中实现，并在一个完全自主的交叉口下进行评估，只有自动驾驶汽车，以及在一个混合设置与信号交叉口的HV和智能计划的自动驾驶汽车。通过仿真验证，该方法提高了交叉口的效率高达$200\%$，同时也符合指定的可调风险阈值。
2022-10-03 cs.AI
Grid-based angle-constrained path planning
Institute for Systems Analysis of Russian Academy of Sciences（俄罗斯科学院系统分析研究所）
正方形网格通常用于机器人和游戏开发中作为空间模型，并且在AI社区的启发式搜索算法（例如A*，JPS，Theta* 等）中众所周知。广泛用于网格上的路径规划。大量的研究集中在寻找最短的（在几何意义上）路径，而在许多应用中，寻找平滑的路径（而不是最短的，但包含急转弯）是更可取的。本文研究了光滑路径的生成问题，重点研究了角度约束的路径规划问题。将角度约束路径规划问题形式化，提出了一种新的求解算法-- LIAN算法。我们从理论和实证两个方面对LIAN进行了研究。我们证明它是健全的和完整的（在一定的限制下）。我们还表明，LIAN在解决城市户外导航场景中的众多路径规划任务时优于类似物。
2015-08-25 cs.AI
Enhanced Methods for the Weight Constrained Shortest Path Problem
RMIT University（皇家墨尔本理工大学）；Monash University（莫纳什大学）；CSIRO Data61（澳大利亚联邦科学与工业研究组织 Data61）
针对权重约束最短路径问题，本文结合约束路径规划与双目标搜索前沿技术，提出两种基于A*搜索的新方法，可求解大规模图难题，在时空指标上优于现有最优算法，同时验证了无平局打破的桶式队列对穷举式A*双准则搜索的性能提升作用。
2023-06-30 cs.AI cs.DS
Logic-Constrained Shortest Paths for Flight Planning
Zuse Institute Berlin（柏林楚泽研究所）；Lufthansa Systems GmbH（汉莎系统有限公司）
针对带交通流量限制的飞行规划场景，提出适配逻辑约束最短路径问题的分支定界算法，公开含2万条真实限制的数据集，验证合理配置算法组件可带来数量级性能提升。
2025-06-11 cs.AI cs.DM
Constrained Shortest Path Search with Graph Convolutional Neural Networks
Safran Electronics & Defense（赛峰电子与防务公司）；LAMSADE, Université Paris-Dauphine（巴黎多芬大学LAMSADE实验室）；Safran SA（赛峰集团）；MACCLIA, Ecoles de Saint-Cyr Coëtquidan（圣西尔军校MACCLIA机构）
自主无人地面车辆（AUGV）的规划仍然是一个挑战，特别是在困难的，越野的，关键的情况下。自动规划可用于达到任务目标，执行导航或机动。大多数情况下，问题在于找到从源到目的地的路径，同时满足一些操作约束。在无负圈的图中，从起始点到结束点的单对最短路的计算在多项式时间内解决。然而，解决方案路径上的额外约束可能会使问题更难解决。当我们需要路径通过几个强制节点而不需要特定的访问顺序时，就会出现这种情况。复杂性随着要访问的强制节点的数量呈指数级增长。在本文中，我们专注于最短路径搜索与强制节点上给定的连通图。我们提出了一个混合模型，结合了基于约束的求解器和图卷积神经网络，以提高搜索性能。在现实的场景中获得了令人满意的结果。
2021-08-02 cs.AI cs.LG cs.RO
SciNets: Graph-Constrained Multi-Hop Reasoning for Scientific Literature Synthesis
Jaypee Institute of Information Technology（杰伊佩 Institute 信息科技学院）
SciNets通过图约束多跳推理实现科学文献综合，通过多跳路径连接罕见共现的概念，提升机制解释的稳定性和多样性。
2025-12-28 cs.AI cs.CL cs.IR
S-Path-RAG: Semantic-Aware Shortest-Path Retrieval Augmented Generation for Multi-Hop Knowledge Graph Question Answering
University of Macau（澳门大学）；Xiamen University（厦门大学）；Peking University（北京大学）；Hanyang University（翰阳大学）；University of Liverpool（利物浦大学）；Zhejiang University（浙江大学）
S-Path-RAG通过混合加权k最短路径、束搜索和约束随机游走策略，实现语义感知的多跳知识图谱问答，提升检索效率与生成准确性。
2026-03-05 cs.AI cs.CL cs.IR
