Sublinear Regret for Learning POMDPs
The Chinese University of Hong Kong（香港中文大学）；University of Toronto（多伦多大学）
研究了部分可观测马尔可夫决策过程（POMDPs）的基于模型的非折扣强化学习。我们考虑的预言是POMDP与一个已知的环境中的平均回报在无限的地平线上的最优策略。我们提出了一个学习算法，建立在隐马尔可夫模型的谱矩估计方法，POMDPs的信念误差控制和在线学习的置信上限方法。我们建立了一个遗憾界的$O(T^{2/3}\sqrt{\log T})$的建议的学习算法，其中$T$是学习视野。这是，据我们所知，第一个算法实现次线性遗憾我们的神谕学习一般POMDPs。
2022-07-16 cs.LG math.OC
Solving Robust Markov Decision Processes: Generic, Reliable, Efficient
Lancaster University Leipzig（莱比锡兰卡斯特大学）；Institute of Science and Technology Austria（奥地利科学技术研究所）；Dresden University of Technology（德累斯顿工业大学）；Centre for Tactile Internet with Human-in-the-Loop (CeTI)（人在环触觉互联网中心（CeTI））
本研究基于RMDP与随机博弈的理论关联，提出通用、可靠、高效的RMDP求解框架，支持多种不确定集与决策目标，可随时提供精度保证，无需显式构建随机博弈，性能较现有工具提升数个数量级，可一分钟内求解百万状态RMDP。
2024-12-13 cs.AI cs.LG
Formal Controller Synthesis for Markov Jump Linear Systems with Uncertain Dynamics
University of Oxford（牛津大学）；Radboud University（拉德堡德大学）
提出一种为具有不确定动力学的马尔可夫跳变线性系统综合控制器的方法，通过有限状态抽象和区间MDP实现概率计算树逻辑的满足，并在温度控制和飞行器交付等基准问题中验证有效性。
2023-08-04 cs.AI cs.RO cs.SY
A maximum-entropy approach to off-policy evaluation in average-reward MDPs
DeepMind（深度思维）；Google（谷歌）
本文主要研究无限时域非折扣马尔可夫决策过程中的函数逼近离政策评估问题。对于遍历性和线性的MDP（即奖励和动态在一些已知特征中是线性的），我们提供了第一个有限样本OPE误差界，将现有结果扩展到情节和折扣情况之外。在一个更一般的设置，当特征动态近似线性和任意奖励，我们提出了一种新的方法来估计平稳分布函数近似。我们制定了这个问题，找到最大熵分布的经验动力学下匹配功能的期望。我们表明，这导致指数族分布，其充分的统计特征，并行最大熵方法在监督学习。我们证明了所提出的OPE方法在多种环境中的有效性。
2020-06-17 cs.AI cs.LG
Improving Controller Generalization with Dimensionless Markov Decision Processes
School of Computing Science, University of Glasgow（格拉斯哥大学计算科学学院）
针对强化学习控制器泛化能力差的问题，提出基于无量纲马尔可夫决策过程（Π-MDP）的模型方法，结合白金汉Π定理实现状态动作空间无量纲化，提升策略对动力学上下文变化的鲁棒性。
2025-04-14 cs.LG
Vector Bellman Theory for Multichain Robust Average-Reward Markov Decision Processes
University of Central Florida（中佛罗里达大学）
本文提出多链鲁棒平均奖励MDP的向量贝尔曼理论，通过增益-偏差系统求解状态依赖的最优鲁棒奖励，并设计近似移位Halpern算法实现有限收敛。
2026-09-25 cs.LG
Optimistic Policy Gradient in Multi-Player Markov Games with a Single Controller: Convergence Beyond the Minty Property
Meta AI；University of California Irvine（加州大学欧文分校）；Archimedes research unit（阿基米德研究单元）；Massachusetts Institute of Technology（麻省理工学院）；Strategy Robot, Inc.（战略机器人公司）；Strategic Machine, Inc.（战略机器公司）；Optimized Markets, Inc.（优化市场公司）；Carnegie Mellon University（卡内基梅隆大学）
本文提出新框架，证明在均衡坍缩假设下，单控制器多玩家马尔可夫博弈的乐观策略梯度方法以O(1/ε²)迭代收敛到平稳ε-NE，并引入推广的Minty性质绕过复杂性障碍。
2023-12-21 cs.GT cs.LG
Global Algorithms for Mean-Variance Optimization in Markov Decision Processes
Sun Yat-Sen University（中山大学）
马尔可夫决策过程均值和方差的动态最优化是一个长期存在的挑战，由于动态规划的失败。在本文中，我们提出了一种新的方法来找到全局最优的政策，稳态均值和方差的组合指标在无限时域未贴现MDP。通过引入伪均值和伪方差的概念，将原问题转化为一个双层MDP问题，其中内层是标准MDP优化伪均值-方差，外层是单参数选择优化伪均值.我们使用MDP的灵敏度分析来推导这个双层问题的性质。通过求解伪均值-方差优化的内标准MDP，我们可以识别伪问题的最优策略所支配的劣策略空间。我们提出了一个优化算法，可以找到全局最优的策略，通过反复删除较差的策略空间。研究了算法的收敛性和复杂度。另外还提出了一种策略优势属性，进一步提高了算法的效率.数值实验证明了我们的算法的性能和效率。据我们所知，我们的算法是第一个有效地找到全局最优的平均方差优化的MDP政策。这些结果对于仅最小化MDP中的方差度量也是有效的。
2023-02-27 cs.LG math.OC
Generating Probabilistic Safety Guarantees for Neural Network Controllers
Stanford University（斯坦福大学）
神经网络由于其表达策略的能力而在各种复杂设置中充当有效的控制器。然而，神经网络的复杂性质使得它们的输出难以验证和预测，这限制了它们在安全关键应用中的使用。虽然仿真提供了对神经网络控制器性能的深入了解，但它们不足以保证控制器在所有情况下都能安全地执行。为了解决这个问题，最近的工作集中在形式化的方法来验证神经网络输出的属性。对于神经网络控制器，我们可以使用动态模型来确定控制器安全运行所必须保持的输出特性。在这项工作中，我们开发了一种方法来使用神经网络验证工具的结果，提供概率安全保证的神经网络控制器。我们开发了一种自适应验证方法，有效地产生一个过度近似的神经网络政策。接下来，我们修改了传统的马尔可夫决策过程（MDP）模型检验的制定提供保证的过度近似的政策，给出了一个随机动力学模型。最后，我们将技术在状态抽象，以减少过度近似错误在模型检验过程中。我们表明，我们的方法是能够产生有意义的概率安全保证飞机防撞神经网络是松散的启发机载防撞系统X（ACAS X），一个家庭的防撞系统，制定了一个部分可观察的马尔可夫决策过程（POMDP）的问题。
2021-10-20 cs.AI cs.LG
Policy Iteration for Decentralized Control of Markov Decision Processes
University of Massachusetts（马萨诸塞大学）；Mississippi State University（密西西比州立大学）
在许多领域，包括多机器人系统，网络和电子商务中出现的问题，需要分布式代理的协调。作为一个正式的框架，这样的问题，我们使用分散的部分可观察马尔可夫决策过程（DEC-POMDP）。虽然已经做了大量的工作，最佳的动态规划算法的单代理版本的问题，最佳算法的多代理的情况下一直难以捉摸。本文的主要贡献是一个求解DEC-POMDP的最优策略迭代算法。该算法使用随机有限状态控制器来表示策略。该解决方案可以包括一个关联设备，它允许代理在不进行通信的情况下关联其动作。这种方法在扩展控制器和执行值保持转换之间交替，值保持转换在不牺牲值的情况下修改控制器。我们提出了两个有效的值保持变换：一个可以减少控制器的大小，另一个可以提高其值，同时保持大小固定。实证结果表明，在增加值，同时保持控制器的大小为最小值的保值变换的有用性。为了扩大该方法的适用性，我们还提出了一个启发式版本的政策迭代算法，牺牲收敛到最优。该算法通过假设其他代理动作的概率分布是已知的，进一步减小了每一步控制器的大小。虽然这个假设可能不适用于一般情况，但它有助于在我们的测试问题中产生更高质量的解决方案。
2014-01-15 cs.AI
A Finite-State Controller Based Offline Solver for Deterministic POMDPs
University of Oxford（牛津大学）；UK Atomic Energy Authority（英国原子能局）
针对智能体状态不确定但行动观测确定的DetPOMDP规划问题，提出以有限状态控制器构建策略的DetMCVI算法，其求解大规模问题成功率优于现有基准，且在真实机器人森林建图场景中得到验证。
2025-05-01 cs.AI cs.LG cs.RO
Optimal Adaptive Learning in Uncontrolled Restless Bandit Problems
University of California, Los Angeles（加州大学洛杉矶分校）；University of Michigan（密歇根大学）
在本文中，我们考虑的问题，学习的最佳政策不受控制的不安土匪问题。在一个不受控制的不安分的强盗问题中，有一个有限集的手臂，每一个手臂在被拉动时都会产生正的奖励。有一个玩家在每个时间步顺序选择一个手臂。参与人的目标是在时间范围T内最大化其未折现的奖励。每个手臂的奖励过程是一个有限状态的马尔可夫链，其转移概率是未知的球员。每个手臂的状态转换与玩家的选择无关。我们提出了一个学习算法与对数遗憾一致的时间上的最佳有限时域政策。我们的研究结果将MDP的最优自适应学习扩展到POMDP。
2015-01-29 cs.LG math.OC
Formal Language Constraints for Markov Decision Processes
University of Nebraska-Lincoln（内布拉斯加大学林肯分校）；University of Virginia（弗吉尼亚大学）
为了满足安全条件，可以限制代理自由地行动。一个安全的控制器可以设计一个先验的，如果一个环境是很好的理解，但不是当学习。特别是，强化学习（RL）控制器需要探索，这在安全关键情况下可能是危险的。我们研究了结构的约束马尔可夫决策过程的约束，通过指定它们在形式语言作为一个步骤，使用安全的方法从软件工程和控制器合成的好处。我们将这些约束实例化为有限自动机，以有效地识别违反约束的行为。约束状态，然后用于增强底层MDP状态，并学习密集的成本函数，缓解了快速学习联合MDP/约束动态的问题。我们经验性地评估了这些方法在安全健身房，MuJoCo和Atari环境中指定的几个约束条件下训练各种RL算法的效果。
2020-10-13 cs.LG stat.ML
Policy Gradient for Continuous-Time Robust Markov Decision Processes
Centre for Frontier AI Research, Agency for Science, Technology and Research (A*STAR)（前沿人工智能研究中心，科技研究局（A*STAR））；Institute of High Performance Computing, Agency for Science, Technology and Research (A*STAR)（高性能计算研究所，科技研究局（A*STAR））；College of Computing and Data Science, Nanyang Technological University（计算与数据科学学院，南洋理工大学）
本文针对连续时间鲁棒马尔可夫决策过程，推导了策略梯度和对抗梯度，并提出双循环优化器和平均场优化器，分别实现线性收敛和亚线性收敛，同时给出了样本复杂度分析。
2026-06-04 cs.LG cs.SY eess.SY
Performance Bounds for Lambda Policy Iteration and Application to the Game of Tetris
INRIA Lorraine（洛林国家信息与自动化研究所）
我们考虑离散时间无限时域最优控制问题的形式化马尔可夫决策过程。我们回顾了Bertsekas和Ioffe的工作，他们引入了$λ$策略迭代，这是一个由$λ$参数化的算法族，它概括了标准算法值迭代和策略迭代，并且与Sutton和Barto描述的时间差异算法TD（$λ$）有一些深层联系。我们深化了原来的理论发展的作者提供的收敛速度界，推广标准界的值迭代描述，例如由Puterman。然后，本文的主要贡献是发展的理论，这种算法时，它是在一个近似的形式，并表明这是健全的。这样做，我们扩展并统一了Munos为近似值迭代和近似策略迭代开发的单独分析。最后，我们重新审视使用该算法在训练的俄罗斯方块播放控制器最初所做的Bertsekas和Ioffe。我们提供了一个原始的性能界，可以应用到这样一个未折现的控制问题。我们的实证结果不同于Bertsekas和Ioffe的结果（他们最初被定性为“矛盾的”和“有趣的”），而更符合人们对学习实验的期望。我们讨论了这种差异的可能原因。
2011-10-11 cs.AI cs.RO
Controller Synthesis for Omega-Regular and Steady-State Specifications
Air Force Research Laboratory（空军研究实验室）；University of Central Florida（中佛罗里达大学）；University of Colorado Boulder（科罗拉多大学博尔德分校）
给定马尔可夫决策过程（MDP）和线性时间（$ω$ -正则或LTL）规范，控制器综合问题的目标是计算满足规范的最优策略.最近，已经通过稳态规划的透镜提出了对系统的渐近行为进行推理的问题。这需要找到一个控制策略的MDP，使马尔可夫链引起的解决方案的政策，满足一组给定的约束条件，其稳态分布。本文研究了一类线性时间系统在稳态约束下的控制器综合问题的渐近性态。我们提出了一个算法，以找到一个确定性的政策，满足$ω$ -定期和稳态约束的解决方案作为一个整数线性规划的特征，并通过实验评估我们的方法。
2022-02-07 cs.AI cs.SY eess.SY
Bayesian learning of noisy Markov decision processes
University of Cambridge（剑桥大学）；CREST—ENSAE（法国国家统计与经济研究所-国立统计与经济管理学院）；HEC Paris（巴黎高等商学院）；University of Bristol（布里斯托大学）
我们考虑逆强化学习问题，也就是说，学习的问题，然后预测或模仿基于状态/动作数据的控制器。我们提出了一个统计模型，这样的数据，来自结构的马尔可夫决策过程。采用贝叶斯推理方法，我们展示了如何估计模型的潜在变量，以及如何在一个统一的框架中预测行动。设计了一种新的基于后验分布的马尔可夫链蒙特卡罗（MCMC）采样器。这一步包括一个参数扩展步骤，这是必不可少的良好的收敛性能的MCMC采样器。作为示例，该方法被应用于学习人类控制器。
2012-11-26 cs.LG stat.CO stat.ML
Policy Optimization for Markovian Jump Linear Quadratic Control: Gradient-Based Methods and Global Convergence
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
最近，由于对强化学习的兴趣越来越大，用于控制目的的策略优化重新受到关注。本文研究离散马尔可夫跳变线性系二次最优控制的基于梯度的策略最优化方法的整体收敛性。首先，我们研究了MJLS的直接策略优化的优化景观，静态状态反馈控制器和二次性能成本。尽管结果问题的非凸性，我们仍然能够确定几个有用的属性，如bandwidth，梯度优势，几乎光滑。基于这些性质，我们证明了三种策略最优化方法的整体收敛：梯度下降法，高斯-牛顿法和自然策略梯度法。我们证明了这三种方法收敛到最优的状态反馈控制器MJLS在一个线性的速度，如果初始化在一个控制器，这是均方稳定。给出了一些数值例子来支持理论。这项工作带来了新的见解，了解性能的政策梯度法的马尔可夫跳跃线性二次控制问题。
2020-11-24 cs.LG cs.SY eess.SY
Posterior sampling for reinforcement learning: worst-case regret bounds
Columbia University（哥伦比亚大学）
我们提出了一种基于后验采样（又名汤普森采样）的算法，当底层马尔可夫决策过程（MDP）与有限但未知的直径进行通信时，该算法可以实现接近最优的最坏情况下的遗憾界限。我们的主要结果是一个高概率后悔上界的$\tilde{O}(DS\sqrt{AT})$的任何通信MDP与$S$状态，$A$行动和直径$D$。在这里，后悔将算法实现的总回报与时间范围$T$中的最优无限时间范围未贴现平均回报策略的总预期回报进行比较。该结果与$Ω(\sqrt{DSAT})$的已知下限非常匹配。我们的技术涉及证明一些新的结果的反集中的Dirichlet分布，这可能是独立的利益。
2020-03-30 cs.LG
Nearly Minimax Optimal Reinforcement Learning for Linear Mixture Markov Decision Processes
University of California, Los Angeles（加州大学洛杉矶分校）；Deepmind（深度思维）；University of Alberta（阿尔伯塔大学）
我们研究了具有线性函数近似的强化学习（RL），其中马尔可夫决策过程（MDP）的潜在转移概率核是线性混合模型（Jia et al.，2020; Ayoub等人，2020; Zhou等人，2020），并且学习代理可以访问各个基核的积分或采样预言。本文对带有界噪声的线性Bandit问题的自正规鞅提出了一个新的Bernstein型集中不等式。基于新的不等式，我们提出了一个新的，计算效率高的算法命名为$\text{UCRL-VTR}^{+}$的线性函数逼近上述线性混合MDP在情节未贴现设置。我们发现，$\text{UCRL-VTR}^{+}$达到了$\tilde O(dH\sqrt{T})$遗憾，其中$d$是特征映射的维度，$H$是情节的长度和$T$是与MDP的交互次数。我们还证明了一个匹配的下限$Ω(dH\sqrt{T})$为这个设置，这表明，$\text{UCRL-VTR}^{+}$是最小最大最优的对数因子。此外，我们提出了$\text{UCLK}^{+}$算法的同一家庭的MDP下折扣，并表明它达到了$\tilde O(d\sqrt{T}/(1-γ)^{1.5})$遗憾，其中$γ\in [0,1)$是折扣因子。我们的上限与Zhou等人（2020）证明的下限$Ω(d\sqrt{T}/(1-γ)^{1.5})$匹配，达到对数因子，表明$\text{UCLK}^{+}$几乎是最小最大最优的。据…
2021-01-07 cs.LG math.OC stat.ML
Adaptive Approximate Policy Iteration
Deepmind（深度思维）
无模型强化学习算法结合价值函数逼近在各种应用领域取得了令人印象深刻的性能。然而，这种算法的理论理解是有限的，现有的结果主要集中在情节或折扣马尔可夫决策过程（MDP）。在这项工作中，我们提出了自适应近似策略迭代（AAPI），学习计划，享有$\tilde{O}(T^{2/3})$遗憾界的未折扣，持续学习一致遍历MDPs。这是一个改进的最佳现有界的$\tilde{O}(T^{3/4})$的平均回报的情况下，函数近似。我们的算法和分析依赖于在线学习技术，其中价值函数被视为损失。主要的技术新颖性是使用依赖于数据的自适应学习率，再加上所谓的乐观预测即将发生的损失。除了理论上的保证，我们证明了我们的方法的优势，经验上的几个环境。
2021-02-11 cs.LG stat.ML
Neuromuscular Reinforcement Learning to Actuate Human Limbs through FES
Imperial College London（帝国理工学院）
功能性电刺激（FES）是一种通过低能量电信号引起肌肉收缩的技术。FES可以激活瘫痪的肢体。然而，一个开放的挑战仍然是如何应用FES实现所需的运动。人体的复杂性和肌肉反应的非平稳性加剧了这一挑战。前者导致在执行逆动力学的困难，而后者导致控制性能下降，在延长使用期。在这里，我们通过数据驱动的方法来应对挑战。具体来说，我们通过强化学习（RL）学习控制FES，RL可以自动为患者定制刺激。然而，RL通常有马尔可夫假设，而FES控制系统是非马尔可夫的，因为非平稳性。为了解决这个问题，我们使用一个递归神经网络来创建马尔可夫状态表示。我们将FES控制转换为RL问题，并训练RL代理在模拟和现实世界的不同设置中控制FES。结果表明，RL控制器可以在较长的时间内保持控制性能，并具有比PID控制器更好的激励特性。
2022-09-16 cs.LG cs.RO
Efficient Exploration in Average-Reward Constrained Reinforcement Learning: Achieving Near-Optimal Regret With Posterior Sampling
Eindhoven University of Technology（埃因霍温理工大学）；Jheronimus Academy of Data Science（赫罗尼姆斯数据科学学院）；University of Jyväskylä（于韦斯屈莱大学）
针对无限时域无折扣设置下的约束马尔可夫决策过程（CMDP），提出一种基于后验采样的算法，实现了近似最优的贝叶斯遗憾界并在实验中优于现有方法。
2024-05-29 cs.LG
Deductive Controller Synthesis for Probabilistic Hyperproperties
Brno University of Technology（布尔诺理工大学）；TU Wien（维也纳工业大学）
本文提出一种基于抽象精化与演绎剪枝的控制器综合方法，用于求解MDP上的概率超性质，并首次支持控制器内及控制器间结构约束，实验表明其性能显著优于现有SMT工具HyperProb。
2023-07-10 cs.AI cs.LO cs.RO
Threshold Structure of Optimal Policies in Restart POMDPs
Inria（法国国家信息与自动化研究所）；University of Liverpool（利物浦大学）；University of Birmingham（伯明翰大学）
本文研究一般Borel状态空间上的Restart POMDP，通过充分统计量表示将其简化为完全可观察MDP，证明最优策略在不同成本准则下具有阈值结构，还分析了状态空间偏序时最优阈值的变化规律及平均成本准则下的相关结果。
2026-08-12 cs.LG math.OC math.PR
Internal State-Based Policy Gradient Methods for Partially Observable Markov Potential Games
University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出基于内部状态的策略梯度方法，用于解决部分可观测马尔可夫势博弈中的多智能体强化学习问题，通过压缩累积信息以保证可扩展性，并建立非渐近收敛界。
2026-04-01 cs.LG cs.MA
Convergence Guarantees of Policy Optimization Methods for Markovian Jump Linear Systems
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
最近，由于对强化学习的兴趣越来越大，用于控制目的的策略优化重新受到关注。本文研究马尔可夫跳变线性系二次控制策略优化的收敛性。首先，我们研究的直接政策优化MJLS的优化景观，特别是，显示，尽管所产生的问题的非凸性的唯一固定点是全局最优解。接下来，我们证明了高斯-牛顿法和自然政策梯度法收敛到最优状态反馈控制器的MJLS在一个线性速率，如果初始化在一个控制器，稳定的闭环动态的均方意义。我们提出了一个新的李雅普诺夫参数来解决收敛性证明中的一个关键稳定性问题。最后，我们给出了一个数值例子来支持我们的理论。我们的工作为理解策略学习方法在控制未知MJLS上的性能带来了新的见解。
2020-02-10 cs.LG cs.SY eess.SY
Probabilities Are Not Enough: Formal Controller Synthesis for Stochastic Dynamical Models with Epistemic Uncertainty
Radboud University（拉德堡德大学）；University of Oxford（牛津大学）
捕捉复杂动力系统模型中的不确定性对于设计安全控制器至关重要。随机噪声导致任意的不确定性，而模型参数的不精确知识导致认知的不确定性。有几种方法使用正式的抽象来合成满足与安全性和可达性相关的时间规范的策略。然而，基本模型只捕捉任意的，但不是认识的不确定性，因此需要模型参数是精确已知的。我们的贡献，克服这个限制是一种新的抽象为基础的控制器综合方法的连续状态模型的随机噪声和不确定参数。通过抽样技术和鲁棒性分析，我们捕获任意和认知的不确定性，与用户指定的置信水平，在转移概率区间的所谓的区间马尔可夫决策过程（iMDP）。我们合成一个最佳的政策，这iMDP，翻译（与指定的置信水平）的连续模型具有相同的性能保证的反馈控制器。我们的实验基准证实，占认知的不确定性导致控制器，更强大的参数值的变化。
2022-12-07 cs.AI cs.RO cs.SY
Bayesian learning of the optimal action-value function in a Markov decision process
University of Cambridge（剑桥大学）；University of Wollongong（伍伦贡大学）
本文针对无限时域无折扣MDP提出完整贝叶斯框架，通过基于贝尔曼最优性方程的最小假设似然、人工观测噪声松弛及自适应序贯蒙特卡洛算法实现最优动作价值函数学习与决策，并在Deep Sea基准上验证了后验采样的探索优势。
2025-05-03 cs.LG stat.CO stat.ML
Model-Free Learning of Safe yet Effective Controllers
Duke University（杜克大学）
本文研究学习安全且有效的控制策略，通过强化学习算法优先保证安全，再满足LTL规范，最后优化控制性能奖励。
2021-09-26 cs.FL cs.LG cs.LO
Synthesising Robust Controllers for Robot Collectives with Recurrent Tasks: A Case Study
University of Bremen（不来梅大学）
本文针对具有优化目标、循环性和安全性约束的机器人群体，提出将随机双玩家博弈简化为POMDP单玩家博弈进行高层控制器综合，并通过公共建筑清洁案例提供大规模建模与综合指导。
2024-11-21 cs.AI cs.MA cs.RO
On the Computational Complexity of Stochastic Controller Optimization in POMDPs
Luxembourg Centre for Systems Biomedicine（卢森堡系统生物医学中心）；Brown University（布朗大学）；University College London（伦敦大学学院）
本文证明在马尔可夫决策过程中寻找最优随机“盲”控制器是NP难问题，相应的决策问题属于PSPACE且是SQRT-SUM难的，并指出POMDP中更一般的随机控制器优化问题也是NP难的，但存在一个凸的特殊情况可高效求解。
2012-10-04 cs.CC cs.LG cs.SY
Risk-Averse Planning Under Uncertainty
California Institute of Technology（加州理工学院）；NASA Jet Propulsion Laboratory（美国国家航空航天局喷气推进实验室）
研究了具有动态一致风险目标的部分可观测马尔可夫决策过程的策略设计问题。为POMDP合成风险规避最优策略需要无限的内存，因此是不可判定的。为了克服这个困难，我们提出了一种基于有界策略迭代的方法来设计随机但有限状态（记忆）控制器，它利用了标准的凸优化方法。给定一个内存预算和最优性准则，该方法修改随机有限状态控制器，导致次优解具有较低的相干风险。
2019-09-27 cs.AI cs.RO math.OC
MACS: Deep Reinforcement Learning based SDN Controller Synchronization Policy Design
Imperial College London（伦敦帝国学院）；IBM T. J. Watson Research Center（IBM T. J. 沃森研究中心）；Yale University（耶鲁大学）；U.K. Defence Science and Technology Laboratory（英国国防科学与技术实验室）；U.S. Army Research Laboratory（美国陆军研究实验室）
在分布式软件定义网络（SDN）中，实现多个物理SDN控制器，每个物理SDN控制器管理网络域，以平衡集中控制、可扩展性和可靠性要求。在这样的网络范例中，控制器彼此同步，试图维持逻辑上集中的网络视图。尽管存在用于分布式SDN控制器架构的各种设计方案，但大多数现有工作仅旨在消除由不同控制器的网络视图中的不一致性引起的异常。然而，相对于给定SDN应用的控制器同步设计的性能方面通常缺失。为了填补这一空白，我们将控制器同步问题制定为马尔可夫决策过程（MDP），并将强化学习技术与深度神经网络（DNN）相结合，以训练智能，可扩展和细粒度的控制器同步策略，称为多臂协作同步（MACS），其目标是最大限度地提高控制器同步带来的性能增强。评估结果证实了DNN在分布式SDN环境中抽象潜在模式的卓越能力，与基于MAC的同步策略相比具有显着的优越性，与ONOS和贪婪SDN控制器同步策略相比，性能分别提高了56%和30%。
2019-09-19 cs.LG cs.NI
Runtime Safety Assurance Using Reinforcement Learning
Stanford University（斯坦福大学）；GE Research（通用电气研究）
非血统自动驾驶仪的适航性和安全性必须得到验证，但正式这样做的成本可能令人望而却步。我们可以通过将安全性保证（RTSA）作为确保安全性的机制来绕过非血统组件的形式化验证。RTSA由一个元控制器组成，它观察非血统组件的输入和输出，并在系统运行时验证正式指定的行为。当系统被触发时，部署经验证的恢复控制器。恢复控制器的设计是安全的，但很可能破坏系统的操作目标，因此RTSA系统必须平衡安全和效率。本文的目的是设计一个元控制器，能够识别不安全的情况下，具有较高的准确性。高维和非线性动态，其中现代控制器部署随着黑盒子性质的名义控制器，使这是一个困难的问题。目前的方法在很大程度上依赖于领域专业知识和人类工程。我们用马尔可夫决策过程（MDP）框架设计RTSA，并使用强化学习（RL）来解决它。我们学习的元控制器在我们的实验中始终表现出优于我们的基线，人类工程方法。
2020-10-20 cs.AI cs.LG cs.SY
MultiGain: A controller synthesis tool for MDPs with multiple mean-payoff objectives
Masaryk University（马萨里克大学）；IST Austria（奥地利科学技术研究所）；University of Oxford（牛津大学）
我们提出了MultiGain，一个工具来合成多个平均回报目标的马尔可夫决策过程（MDP）的策略。我们的模型在PRISM中描述，我们的工具使用PRISM现有的接口和模拟器。我们的工具通过为多个平均收益目标添加新算法来扩展PRISM，并且还提供了以下功能：（i）生成策略并探索它们进行模拟，并检查它们的其他属性;以及（ii）为两个平均收益目标生成近似的帕累托曲线。此外，我们提出了一个新的实用算法分析的MDP与多个平均收益目标下的无记忆策略。
2015-01-13 cs.AI cs.LO
Multi-Objective Controller Synthesis with Uncertain Human Preferences
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Virginia（弗吉尼亚大学）；University of Birmingham（伯明翰大学）
复杂的现实世界中的应用程序的信息物理系统产生了需要多目标控制器的合成，这涉及到的问题，计算一个最优的控制器受到多个（可能相互冲突）的标准。目标的相对重要性通常由人类决策者指定。然而，在人类偏好中存在固有的不确定性（例如，由于由不同的偏好引出方法产生的伪像）。在本文中，我们形式化的概念不确定的人的喜好，并提出了一种新的方法，占这种不确定性的背景下，多目标控制器合成马尔可夫决策过程（MDP）。我们的方法是基于混合整数线性规划和合成一个最佳的许可多策略，满足不确定的人类偏好的多目标属性。一系列大型案例研究的实验结果表明，所提出的方法是可行的，可扩展性在不同的MDP模型大小和人类偏好的不确定性水平。通过在线用户研究进行的评估也证明了合成控制器的质量和效益。
2022-03-02 cs.AI cs.FL
Finite-Time Analysis of Natural Actor-Critic for POMDPs
RWTH Aachen University（亚琛工业大学）；ETH Zurich（苏黎世联邦理工学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
该研究针对大状态空间部分可观测马尔可夫决策过程的强化学习问题，分析带有限内部记忆与多步时序差分评估的自然actor-critic方法，首次证明其非渐近全局收敛性，刻画有限状态控制器带来的额外误差并给出减小该误差的途径。
2023-07-19 cs.LG math.OC stat.ML
A Function Approximation Approach to Estimation of Policy Gradient for POMDP with Structured Policies
Massachusetts Institute of Technology（麻省理工学院）
我们考虑部分可观测马尔可夫决策过程（POMDP）的策略梯度的估计与一类特殊的结构化政策，有限状态控制器。我们表明，梯度估计可以在演员的批评框架，通过使评论家计算一个“值”的功能，不依赖于POMDP的状态。此函数是取决于状态的真价值函数的条件均值。我们表明，评论家可以实现使用时间差分（TD）方法与线性函数近似，TD和Actor-Critic的分析结果可以转移到这种情况下。虽然Actor-Critic算法已被广泛用于马尔可夫决策过程（MDP），到目前为止，他们还没有被提出POMDP作为一个替代方案，较早的建议GPOMDP算法，一个演员的唯一方法。此外，我们表明，同样的想法适用于半马尔可夫问题的有限状态控制器的子集。
2012-07-04 cs.LG stat.ML
Finite-State Controllers for (Hidden-Model) POMDPs using Deep Reinforcement Learning
Brno University of Technology（布尔诺理工大学）；Radboud University（拉德堡德大学）；Masaryk University（马萨里克大学）
本文提出Lexpop框架，利用深度强化学习训练神经策略并构建有限状态控制器，解决POMDPs的可扩展性问题，并扩展至隐式模型POMDPs，通过迭代训练稳健策略并提取稳健控制器，实验显示其在大状态空间问题上优于现有方法。
2026-04-01 cs.AI
Entropic Regularization of Markov Decision Processes
Technische Universität Darmstadt（达姆施塔特工业大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
对于给定的马尔可夫决策过程（MDP），最优反馈控制器原则上可以通过值迭代或策略迭代来合成。然而，如果系统动力学和奖励函数是未知的，学习代理必须通过与环境的直接交互来发现最优控制器。这种交互式数据收集通常会导致发散到状态空间的危险或无信息区域，除非采取额外的正则化措施。先前的工作提出了在每个策略改进步骤中限制由Kullback-Leibler（KL）发散度量的信息损失，以消除学习动态中的不稳定性。在本文中，我们认为一个更广泛的家庭的$f$ -分歧，更具体的$α$ -分歧，继承了有益的财产提供的政策改进步骤在封闭的形式，同时产生相应的双重目标的政策评估。这种熵近端策略优化视图给出了关于兼容的行动者-批评者架构的统一视角。特别是，常见的最小二乘价值函数估计加上加权最大似然策略的改进，以对应于皮尔逊$χ^2$发散惩罚。对于惩罚生成函数$f$的各种选择，会出现其他行动者-批评者对。在我们的框架与$α$发散的具体实例，我们进行了渐近分析的解决方案，为不同的值的$α$，并展示了常见的标准强化学习问题的发散函数的选择的影响。
2019-07-18 cs.LG stat.ML
Leveraging Symmetry to Accelerate Learning of Trajectory Tracking Controllers for Free-Flying Robotic Systems
GRASP Laboratory at the University of Pennsylvania（宾夕法尼亚大学GRASP实验室）
本文利用浮动基座机器人系统的李群对称性，通过构建MDP同态将策略从低维商MDP提升为原系统最优跟踪控制器，结合PPO算法验证该方法能加速训练并降低收敛时的跟踪误差。
2025-05-01 cs.LG cs.RO cs.SY
POMDPs under Probabilistic Semantics
IST Austria（奥地利科学技术研究所）
考虑具有极限平均收益的部分可观测马尔可夫决策过程（POMDPs），其中每一个转移都对应一个区间[0，1]内的奖励值，无限路径的收益是这些奖励的长期平均.我们考虑两种类型的路径约束：（i）定量约束定义了收益至少为（0，1]中给定阈值λ的路径集合;以及（ii）定性约束，这是λ = 1的定量约束的特殊情况。我们考虑几乎确定获胜集的计算，其中控制器需要确保路径约束以概率1满足。我们对定性路径约束的主要结果如下：（i）判定有限记忆控制器存在性的问题是EXPTIME-完全的;（ii）判定无限记忆控制器存在性的问题是不可判定的。对于定量路径约束，我们证明了有限记忆控制器存在性的判定问题是不可判定的。
2013-08-22 cs.AI
Multi-Agent Deep Reinforcement Learning for Request Dispatching in Distributed-Controller Software-Defined Networking
University of Waikato（怀卡托大学）；Victoria University of Wellington（惠灵顿维多利亚大学）
本文提出一种基于多智能体深度强化学习的MA-PPO算法，通过多智能体马尔可夫决策过程建模，自动设计分布式控制器SDN中的请求调度策略，显著优于人工和单智能体策略。
2021-02-06 cs.LG cs.MA cs.NI
Lower Bound on Howard Policy Iteration for Deterministic Markov Decision Processes
Institute of Science and Technology Austria (ISTA)（奥地利科学技术研究所 (ISTA)）；Harvard University（哈佛大学）
针对确定性马尔可夫决策过程的Howard策略迭代算法现有下界为次线性的问题，通过构造证明将迭代次数下界从$\tildeΩ(\sqrt{I})$提升至$\tildeΩ(I)$，完善了该经典算法的复杂度理论分析。
2025-06-13 cs.AI cs.DM
Model-free Reinforcement Learning for Branching Markov Decision Processes
University of Twente（特文特大学）；University of Colorado Boulder（科罗拉多大学博尔德分校）；University of Liverpool（利物浦大学）
研究了分支马尔可夫决策过程（BMDPs）的最优控制的强化学习，BMDPs是（多类型）分支马尔可夫链（BMC）的自然扩展.（离散时间）BMC的状态是各种类型的实体的集合，这些实体在产生其他实体的同时产生回报。与BMC相比，其中相同类型的每个实体的演变遵循相同的概率模式，BMDP允许外部控制器从一系列选项中进行选择。这使我们能够研究系统的最佳/最差行为。我们推广无模型强化学习技术来计算一个未知的BMDP在极限的最优控制策略。我们提出的实施结果表明，该方法的实用性。
2021-06-12 cs.LG cs.LO cs.SY
Probabilistic Guarantees for Safe Deep Reinforcement Learning
University of Birmingham（伯明翰大学）
深度强化学习已成功应用于许多控制任务，但由于安全问题，此类智能体在安全关键场景中的应用受到限制。这些控制器的严格测试是具有挑战性的，特别是当它们由于例如硬件故障或噪声传感器而在概率环境中操作时。我们提出了MOSAIC，这是一种用于测量深度强化学习代理在随机设置中的安全性的算法。我们的方法是基于一个控制器的执行环境中的一个正式的抽象的迭代建设，并利用概率模型检验的马尔可夫决策过程中产生的概率保证在有限的时间范围内的安全行为。它产生的边界上的概率安全操作的控制器为不同的初始配置，并确定正确的行为可以得到保证的区域。我们实施和评估我们的方法对代理培训的几个基准控制问题。
2020-07-08 cs.AI
POMDPs under Probabilistic Semantics
IST Austria（奥地利科学技术研究所）
考虑具有极限平均收益的部分可观测马尔可夫决策过程（POMDPs），其中每一个转移都对应一个区间[0，1]内的奖励值，无限路径的收益是这些奖励的长期平均.我们考虑两种类型的路径约束：（i）定量约束定义了一组路径，其中收益至少是（0，1]中的给定阈值λ da_1;以及（ii）定性约束，这是λ da_1 =1的定量约束的特殊情况。我们考虑几乎确定获胜集的计算，其中控制器需要确保路径约束以概率1满足。我们对定性路径约束的主要结果如下：（i）判定有限记忆控制器存在性的问题是EXPTIME-完全的;（ii）判定无限记忆控制器存在性的问题是不可判定的。对于定量路径约束，我们证明了有限记忆控制器存在性的判定问题是不可判定的。
2014-08-09 cs.AI
Learning Finite-State Controllers for Partially Observable Environments
Brown University（布朗大学）
针对部分可观测马尔可夫决策过程，提出一种基于随机梯度下降的VAPS扩展算法，学习局部最优的有限状态自动机控制器，并通过实验验证其利用历史观测信息补偿不可观测性的能力。
2013-01-23 cs.AI cs.SY eess.SY
Improper Reinforcement Learning with Gradient-based Policy Optimization
Indian Institute of Science（印度科学学院）；Technion（以色列理工学院）
我们考虑一个不适当的强化学习设置，学习者被赋予$M$基地控制器的一个未知的马尔可夫决策过程，并希望将它们最佳地结合起来，产生一个潜在的新的控制器，可以优于每个基地。这在调节可能在失配或模拟环境中学习的控制器中可能是有用的，以获得针对给定目标环境的具有相对较少试验的良好控制器。\par我们提出了一种基于梯度的方法，在一类不适当的混合控制器。假设访问梯度预言，我们推导出该方法的收敛速度保证。混合物的价值函数及其梯度可能无法以封闭形式提供，但是，我们表明，我们可以采用推出和同步扰动随机近似（SPSA）显式梯度下降优化。数值结果（i）标准控制理论基准的稳定倒立摆和（ii）一个受约束的调度任务表明，我们不适当的政策优化算法可以稳定系统，即使在其处置的基本政策是不稳定的\footnote{Under review. Please do not distribute.}。
2021-07-03 cs.LG cs.SY eess.SY
Reinforcement Learning and Regret Bounds for Admission Control
Inria（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；PSL University（巴黎文理研究大学）；IFP Energies nouvelles（法国石油与新能源研究院）
本文研究具有多作业类别的M/M/c/S队列接纳控制问题，提出一种受UCRL2启发的算法，利用排队结构将期望总遗憾从通用下界显著降低，并证明在无限服务器情形下遗憾与缓冲区大小S无关。
2024-06-07 cs.LG math.OC stat.ML
Iterative Critique-and-Routing Controller for Multi-Agent Systems with Heterogeneous LLMs
Purdue University（普渡大学）；Yonsei University（延世大学）
本文提出一种迭代批评与路由控制器，通过将多智能体协调视为序列决策问题，改进多智能体系统的协调效率，实验表明其在多个异构系统和七个推理基准中优于现有方法。
2026-05-09 cs.AI
