Hierarchical POMDP Controller Optimization by Likelihood Maximization
TU Berlin（柏林工业大学）；University of Toronto（多伦多大学）；University of Waterloo（滑铁卢大学）
计划通常可以通过将任务分解为按层次安排的更小的任务来简化。Charlin等人。[4]最近表明，层次发现问题可以被框定为非凸优化问题。然而，解决这样的优化问题的固有计算困难使得难以扩展到现实世界的问题。在另一条研究路线中，Toussaint等人[18]开发了一种通过最大似然估计来解决规划问题的方法。在本文中，我们将展示如何层次发现问题，部分可观察域可以使用类似的最大似然方法来解决。我们的技术rst转换成一个动态的贝叶斯网络，通过它可以自然地发现一个层次结构，同时优化政策的问题。实验结果表明，该方法的规模优于以前的技术的基础上非凸优化。
2012-06-13 cs.AI
Monte-Carlo Search for an Equilibrium in Dec-POMDPs
Université de Lorraine（洛林大学）；INRIA（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；LORIA（洛林计算机科学及其应用研究所）
本文针对仅有模拟器的Dec-POMDPs，提出基于仿真的MC-JESP方法逐节点构建有限状态控制器以寻求纳什均衡，实验证明其优于多数离线方法。
2023-05-19 cs.AI
Safe Policy Improvement for POMDPs via Finite-State Controllers
Radboud University Nijmegen（拉德堡德大学奈梅亨分校）
研究了部分可观测马尔可夫决策过程的安全策略改进问题。SPI是一个离线强化学习（RL）问题，它假设可以访问（1）关于环境的历史数据，以及（2）所谓的行为策略，该策略先前通过与环境交互生成此数据。SPI方法既不需要访问模型，也不需要访问环境本身，而是旨在以离线方式可靠地改进行为策略。现有的方法假设环境是完全可观察的。在我们的新方法的SPI问题的POMDPs，我们假设一个有限状态控制器（FSC）表示的行为政策和有限的内存是足够的，以获得最佳的政策。这个假设允许我们将POMDP映射到有限状态的完全可观测MDP，即历史MDP。我们估计这个MDP相结合的历史数据和内存的FSC，并计算一个改进的政策，使用现成的SPI算法。底层SPI方法根据可用数据约束策略空间，使得新计算的策略仅在足够数据可用时不同于行为策略。我们表明，这种新的政策，转换成一个新的FSC（未知）POMDP，优于行为政策的概率很高。几个成熟的基准测试的实验结果表明，即使在有限的内存是不够的情况下，该方法的适用性。
2023-01-12 cs.AI cs.LG
On the Complexity Gap Between POMDPs and Multi-Environment POMDPs
Radboud University（拉德堡德大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Antwerp（安特卫普大学）；Ruhr-University Bochum（鲁尔大学波鸿分校）
该研究分析ME-POMDPs的复杂度，证明多环境盲MDPs等子类为NP完全、部分子类为PSPACE完全、部分问题为∃ℝ完全，揭示两类POMDPs复杂度的微妙关系。
2026-10-14 cs.AI
A Finite-State Controller Based Offline Solver for Deterministic POMDPs
University of Oxford（牛津大学）；UK Atomic Energy Authority（英国原子能局）
针对智能体状态不确定但行动观测确定的DetPOMDP规划问题，提出以有限状态控制器构建策略的DetMCVI算法，其求解大规模问题成功率优于现有基准，且在真实机器人森林建图场景中得到验证。
2025-05-01 cs.AI cs.LG cs.RO
DESPOT: Online POMDP Planning with Regularization
ACEMS & Queensland University of Technology（ACEMS 与昆士兰科技大学）；National University of Singapore（新加坡国立大学）
部分可观测马尔可夫决策过程（POMDP）提供了一个原则性的一般框架下的不确定性规划，但最佳解决POMDP是计算上棘手的，由于“维数灾难”和“历史灾难”。为了克服这些挑战，我们引入了确定的稀疏部分可观察树（DESPOT），一个稀疏近似的标准信念树，在线规划下的不确定性。DESPOT将在线计划集中在一组随机抽样的场景上，并在这些场景下完整地捕获所有策略的“执行”。我们表明，从DESPOT获得的最佳策略是接近最优的，与遗憾的界限，取决于最优策略的代表性大小。利用这一结果，我们给出了一个随时在线规划算法，搜索DESPOT的政策，优化正则化的目标函数。正则化平衡了抽样场景下策略的估计值和策略大小，从而避免了过拟合。该算法表现出强大的实验结果，与一些最好的在线POMDP算法。它还被纳入自动驾驶系统，用于实时车辆控制。该算法的源代码可在线获得。
2017-09-19 cs.AI
Online Risk-Averse Planning in POMDPs Using Iterated CVaR Value Function
Technion - Israel Institute of Technology（以色列理工学院）
本文提出在POMDPs中使用ICVaR价值函数进行在线风险厌恶规划，通过扩展三种算法以优化风险度量，实验显示其在降低尾部风险方面优于传统方法。
2026-01-28 cs.AI
Stochastic Finite State Control of POMDPs with LTL Specifications
California Institute of Technology（加州理工学院）
部分可观测马尔可夫决策过程（POMDPs）为不确定性和不完美感知下的自主决策提供了一个建模框架，例如机器人操作和自动驾驶汽车。然而，POMDPs的最优控制是众所周知的棘手。本文考虑了POMDP的次优随机有限状态控制器（sFSC）的定量合成问题，使得满足线性时序逻辑（LTL）公式的一组高级规范的概率最大化。我们开始铸造后一个问题的优化和使用松弛的泊松方程和麦考密克信封的基础上。然后，我们提出了一个随机有界的政策迭代算法，导致sFSC的大小和任何时间的算法，其中控制器的性能提高与连续迭代的控制增长，但可以停止由用户基于时间或内存的考虑。我们说明了所提出的方法的机器人导航的案例研究。
2020-01-21 cs.AI cs.FL cs.RO
Robust Finite-State Controllers for Uncertain POMDPs
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Radboud University（拉德堡德大学）；University of California, Berkeley（加州大学伯克利分校）；Eindhoven University of Technology（埃因霍温理工大学）
不确定部分可观测马尔可夫决策过程（uPOMDPs）允许标准POMDPs的概率转移和观测函数属于一个所谓的不确定集。这种不确定性，被称为认知不确定性，捕获了由例如缺乏可用数据引起的无数组概率分布。我们开发了一个算法来计算有限的内存政策uPOMDPs，鲁棒地满足规格对任何容许的分布。一般来说，计算此类策略在理论上和实践中都是棘手的。我们提供了一个有效的解决这个问题的四个步骤。(1)我们的国家作为一个非凸优化问题的无限多个约束的基本问题。(2)一个专用的对偶方案产生一个对偶问题，仍然是非凸的，但有许多约束。(3)我们线性化这个对偶问题和（4）解决所产生的有限线性规划，以获得局部最优解的原问题。由此产生的问题配方是指数小于从现有的方法。我们证明了我们的算法的适用性，使用大的飞机碰撞避免的情况下，一个新的航天器运动规划的案例研究。
2021-03-04 cs.AI cs.LG cs.RO
Stick-Breaking Policy Learning in Dec-POMDPs
MIT（麻省理工学院）；University of New Hampshire（新罕布什尔大学）；Duke University（杜克大学）
本文提出了一种变大小状态控制器的Dec-SBPR框架，通过Stick-Breaking先验构建局部策略，无需假设Dec-POMDP模型即可学习控制器参数，有效提升大规模问题的性能。
2015-11-23 cs.AI cs.SY eess.SY
Synthesising Robust Controllers for Robot Collectives with Recurrent Tasks: A Case Study
University of Bremen（不来梅大学）
本文针对具有优化目标、循环性和安全性约束的机器人群体，提出将随机双玩家博弈简化为POMDP单玩家博弈进行高层控制器综合，并通过公共建筑清洁案例提供大规模建模与综合指导。
2024-11-21 cs.AI cs.MA cs.RO
Policy Iteration for Decentralized Control of Markov Decision Processes
University of Massachusetts（马萨诸塞大学）；Mississippi State University（密西西比州立大学）
在许多领域，包括多机器人系统，网络和电子商务中出现的问题，需要分布式代理的协调。作为一个正式的框架，这样的问题，我们使用分散的部分可观察马尔可夫决策过程（DEC-POMDP）。虽然已经做了大量的工作，最佳的动态规划算法的单代理版本的问题，最佳算法的多代理的情况下一直难以捉摸。本文的主要贡献是一个求解DEC-POMDP的最优策略迭代算法。该算法使用随机有限状态控制器来表示策略。该解决方案可以包括一个关联设备，它允许代理在不进行通信的情况下关联其动作。这种方法在扩展控制器和执行值保持转换之间交替，值保持转换在不牺牲值的情况下修改控制器。我们提出了两个有效的值保持变换：一个可以减少控制器的大小，另一个可以提高其值，同时保持大小固定。实证结果表明，在增加值，同时保持控制器的大小为最小值的保值变换的有用性。为了扩大该方法的适用性，我们还提出了一个启发式版本的政策迭代算法，牺牲收敛到最优。该算法通过假设其他代理动作的概率分布是已知的，进一步减小了每一步控制器的大小。虽然这个假设可能不适用于一般情况，但它有助于在我们的测试问题中产生更高质量的解决方案。
2014-01-15 cs.AI
R-AIF: Solving Sparse-Reward Robotic Tasks from Pixels with Active Inference and World Models
Rochester Institute of Technology（罗切斯特理工学院）；VERSES AI Research Lab（VERSES AI 研究实验室）；University of Sussex（萨塞克斯大学）
本文提出R-AIF，通过引入新颖的先验偏好学习技术和自我修正计划，解决稀疏奖励下连续动作空间POMDPs的机器人控制问题，在累积奖励、稳定性和成功率上优于现有模型。
2024-09-21 cs.AI cs.CV cs.LG
Robustness Analysis of POMDP Policies to Observation Perturbations
University of Colorado Boulder（科罗拉多大学博尔德分校）；Virginia Tech（弗吉尼亚理工大学）；Jet Propulsion Laboratory（喷气推进实验室）；California Institute of Technology（加州理工学院）
研究POMDP策略在观测模型偏差下的鲁棒性，提出政策观测鲁棒性问题，并设计Robust Interval Search算法，验证其在大规模POMDP问题中的有效性。
2026-04-23 cs.AI
Risk-Averse Planning Under Uncertainty
California Institute of Technology（加州理工学院）；NASA Jet Propulsion Laboratory（美国国家航空航天局喷气推进实验室）
研究了具有动态一致风险目标的部分可观测马尔可夫决策过程的策略设计问题。为POMDP合成风险规避最优策略需要无限的内存，因此是不可判定的。为了克服这个困难，我们提出了一种基于有界策略迭代的方法来设计随机但有限状态（记忆）控制器，它利用了标准的凸优化方法。给定一个内存预算和最优性准则，该方法修改随机有限状态控制器，导致次优解具有较低的相干风险。
2019-09-27 cs.AI cs.RO math.OC
Explainable Representation of Finite-Memory Policies for POMDPs using Decision Trees
Technical University of Munich（慕尼黑技术大学）；Nanyang Technological University（南洋理工大学）；Masaryk University（马萨里克大学）
本文提出通过决策树和Mealy机结合的方法，为POMDPs中的有限内存策略提供可解释且更小的表示，提升策略的可解释性。
2026-04-29 cs.AI cs.LG cs.RO
My Brain is Full: When More Memory Helps
University of Kentucky（肯塔基大学）
我们考虑的问题，找到良好的有限时域政策POMDPs下的预期回报度量。所考虑的策略是{em free finite-memory policies with limited memory};策略是从观察-记忆对空间到动作-记忆对空间的映射（策略在其进行时更新记忆），并且可能的记忆状态的数量是策略查找算法的输入的参数。这里考虑的算法是三种搜索算法的初步实现：局部搜索、模拟退火和遗传算法。我们将它们的结果相互比较，并与每个实例的最优策略进行比较。我们比较运行时间的每一个政策和动态规划算法的POMDPs开发的汉森，迭代地提高了有限状态控制器-以前的状态，最先进的有限内存的政策。最佳策略的值只能随着内存量的增加而提高，直到达到最佳有限内存策略所需的内存量。我们最令人惊讶的发现是，更多的内存以另一种方式提供帮助：给定比最优策略所需的更多内存，算法更有可能收敛到最优值策略。
2013-01-23 cs.AI
Policy-contingent abstraction for robust robot control
Carnegie Mellon University（卡内基梅隆大学）
提出一种可扩展的控制算法，使移动机器人系统在充分考虑概率信念的情况下做出高层决策，并成功部署于护理机构。
2012-10-19 cs.AI cs.RO cs.SY
Robust Belief-State Policy Learning for Quantum Network Routing Under Decoherence and Time-Varying Conditions
Department of Electrical Engineering, Columbia University（哥伦比亚大学电气工程系）；Department of Electrical Engineering, Imam Khomeini International University（伊玛目·霍梅尼国际大学电气工程系）；Department of Electrical Engineering, Qatar University（卡塔尔大学电气工程系）
针对量子网络路由在复杂条件下的在线决策问题，基于q-POMDP和GNN开发鲁棒信念状态路由框架，通过原子微纪元等方法考虑多种因素，引入多种策略实现可扩展性，经融合与规则提供理论保证，模拟显示该混合控制器性能优于多种基线。
2026-07-22 cs.AI cs.LG cs.NI
Context Assembly as the Controlled Variable: A Control-Theoretic View of Harness Policies for Frozen LLM Agents
研究聚焦大语言模型智能体，以往控制工具选择等，本文将上下文组装视为受控变量，通过上下文博弈或强化学习策略在线学习，进行形式分解、稳定性论证及不确定性校准分析，给出控制理论视角的相关证据。
2026-07-29 cs.AI
Modulated Policy Hierarchies
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；INPG（格勒诺布尔国立理工学院）；LJK（让·昆特曼实验室）；Google Brain（谷歌大脑）；Third Wave Automation（第三波自动化公司）；Google Research（谷歌研究院）
解决具有稀疏奖励的任务是强化学习的主要挑战。虽然分层控制器是解决这个问题的直观方法，但当前的方法通常需要手动奖励塑造、交替训练阶段或手动定义子任务。我们引入调制策略层次结构（MPH），可以从稀疏奖励中学习端到端解决任务。为了实现这一点，我们研究了不同的调制信号和分层控制器的探索。具体来说，我们发现通过位向量进行通信比从多个技能中选择一个更有效，因为它可以实现它们之间的混合。为了促进探索，MPH使用不同的时间尺度，在层次结构的每个层次上的时间扩展的内在动机。我们评估MPH的机器人任务推和稀疏块堆叠，它优于最近的基线。
2018-11-30 cs.AI cs.LG
RecoveryChaining: Learning Local Recovery Policies for Robust Manipulation
The Robotics Institute, CMU（卡内基梅隆大学机器人研究所）；MERL（三菱电机研究实验室）
本文提出RecoveryChaining方法，利用分层强化学习和混合动作空间学习局部恢复策略，使机器人在基于模型的控制失败时能自主恢复并切换回标称控制器，在稀疏奖励操控任务中显著提升鲁棒性并实现仿真到现实迁移。
2025-03-07 cs.AI cs.RO
Multiplicative Controller Fusion: Leveraging Algorithmic Priors for Sample-efficient Reinforcement Learning and Safe Sim-To-Real Transfer
Australian Centre for Robotic Vision at Queensland University of Technology (QUT)（昆士兰科技大学澳大利亚机器人视觉中心）
对于机器人中的许多问题，基于学习的方法通常优于手工编码的算法解决方案。然而，在真实的机器人硬件上学习长时间任务可能是棘手的，并且将学习的策略从模拟转移到现实仍然具有极大的挑战性。我们提出了一种新颖的无模型强化学习方法，可以在训练和部署期间利用现有的次优解决方案作为算法先验。在训练过程中，我们的门控融合方法使先验知识能够指导探索的初始阶段，提高样本效率，并能够从稀疏的长视野奖励信号中学习。重要的是，由于先验的影响是逐渐退火的，因此该策略可以学习改进次优先验的性能。在部署过程中，策略的不确定性提供了一个可靠的策略，通过在不确定的状态下返回到先前的控制器，将模拟训练的策略转移到现实世界中。我们展示了我们的乘法控制器融合方法在机器人导航任务上的有效性，并展示了从模拟到现实世界的安全转移，而无需任何微调。该项目的代码可在https://sites.google.com/view/mcf-nav/home上公开获取
2020-07-27 cs.AI cs.RO
Coaching a Robotic Sonographer: Learning Robotic Ultrasound with Sparse Expert's Feedback
Johns Hopkins University（约翰斯·霍普金斯大学）；Nikon Research Corporation of America（美国尼康研究公司）；Purdue University（普渡大学）
本文提出一种结合DRL与稀疏专家教练指导的机器人超声框架，将专家指导建模为POMDP更新策略，显著提升了学习率和高质量图像采集量。
2024-09-03 cs.AI cs.CV cs.RO
