Welfare Maximization Algorithm for Solving Budget-Constrained Multi-Component POMDPs
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Engineer Research and Development Center（工程研究与发展中心）；US Army Corps of Engineers（美国陆军工程兵团）
针对多组件基础设施维护检查的预算约束序贯决策问题，提出基于b-POMDP模型与福利最大化的最优策略求解算法，利用价值函数凹性实现预算最优分配，性能显著优于现有实用策略。
2023-05-14 cs.AI math.OC
POMDPs under Probabilistic Semantics
IST Austria（奥地利科学技术研究所）
考虑具有极限平均收益的部分可观测马尔可夫决策过程（POMDPs），其中每一个转移都对应一个区间[0，1]内的奖励值，无限路径的收益是这些奖励的长期平均.我们考虑两种类型的路径约束：（i）定量约束定义了收益至少为（0，1]中给定阈值λ的路径集合;以及（ii）定性约束，这是λ = 1的定量约束的特殊情况。我们考虑几乎确定获胜集的计算，其中控制器需要确保路径约束以概率1满足。我们对定性路径约束的主要结果如下：（i）判定有限记忆控制器存在性的问题是EXPTIME-完全的;（ii）判定无限记忆控制器存在性的问题是不可判定的。对于定量路径约束，我们证明了有限记忆控制器存在性的判定问题是不可判定的。
2013-08-22 cs.AI
POMDPs under Probabilistic Semantics
IST Austria（奥地利科学技术研究所）
考虑具有极限平均收益的部分可观测马尔可夫决策过程（POMDPs），其中每一个转移都对应一个区间[0，1]内的奖励值，无限路径的收益是这些奖励的长期平均.我们考虑两种类型的路径约束：（i）定量约束定义了一组路径，其中收益至少是（0，1]中的给定阈值λ da_1;以及（ii）定性约束，这是λ da_1 =1的定量约束的特殊情况。我们考虑几乎确定获胜集的计算，其中控制器需要确保路径约束以概率1满足。我们对定性路径约束的主要结果如下：（i）判定有限记忆控制器存在性的问题是EXPTIME-完全的;（ii）判定无限记忆控制器存在性的问题是不可判定的。对于定量路径约束，我们证明了有限记忆控制器存在性的判定问题是不可判定的。
2014-08-09 cs.AI
Influence Maximization for Social Good: Use of Social Networks in Low Resource Communities
本论文的主要技术贡献在于：（i）定义了不确定性下的动态影响力最大化（DIME）问题，它准确地模拟了无家可归者收容所所面临的问题;（ii）提出了一种新的部分可观测马尔可夫决策过程（POMDP）模型来解决DIME问题;（iii）设计了两个可扩展的POMDP算法（PSINET和HEALER）用于解决DIME问题，因为常规POMDP求解器不能按比例放大到感兴趣的尺寸;和（iv）我们通过对洛杉矶无家可归的年轻人进行试点研究来测试我们的算法在现实世界中的有效性。这一试点的成功（如后所述）显示了在更大范围内将影响力最大化用于社会公益的前景。
2019-12-03 cs.AI cs.SI
How to Explore with Belief: State Entropy Maximization in POMDPs
Politecnico di Milano（米兰理工大学）；Technion – Israel Institute of Technology（以色列理工学院）
本文研究了部分可观测环境下的状态熵最大化问题，提出了一种基于信念状态的高效策略梯度方法，并形式化分析了近似差距、优化景观与幻觉问题。
2024-06-04 cs.AI cs.LG
Monte-Carlo Search for an Equilibrium in Dec-POMDPs
Université de Lorraine（洛林大学）；INRIA（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；LORIA（洛林计算机科学及其应用研究所）
本文针对仅有模拟器的Dec-POMDPs，提出基于仿真的MC-JESP方法逐节点构建有限状态控制器以寻求纳什均衡，实验证明其优于多数离线方法。
2023-05-19 cs.AI
Safe Policy Improvement for POMDPs via Finite-State Controllers
Radboud University Nijmegen（拉德堡德大学奈梅亨分校）
研究了部分可观测马尔可夫决策过程的安全策略改进问题。SPI是一个离线强化学习（RL）问题，它假设可以访问（1）关于环境的历史数据，以及（2）所谓的行为策略，该策略先前通过与环境交互生成此数据。SPI方法既不需要访问模型，也不需要访问环境本身，而是旨在以离线方式可靠地改进行为策略。现有的方法假设环境是完全可观察的。在我们的新方法的SPI问题的POMDPs，我们假设一个有限状态控制器（FSC）表示的行为政策和有限的内存是足够的，以获得最佳的政策。这个假设允许我们将POMDP映射到有限状态的完全可观测MDP，即历史MDP。我们估计这个MDP相结合的历史数据和内存的FSC，并计算一个改进的政策，使用现成的SPI算法。底层SPI方法根据可用数据约束策略空间，使得新计算的策略仅在足够数据可用时不同于行为策略。我们表明，这种新的政策，转换成一个新的FSC（未知）POMDP，优于行为政策的概率很高。几个成熟的基准测试的实验结果表明，即使在有限的内存是不够的情况下，该方法的适用性。
2023-01-12 cs.AI cs.LG
Robust Belief-State Policy Learning for Quantum Network Routing Under Decoherence and Time-Varying Conditions
Department of Electrical Engineering, Columbia University（哥伦比亚大学电气工程系）；Department of Electrical Engineering, Imam Khomeini International University（伊玛目·霍梅尼国际大学电气工程系）；Department of Electrical Engineering, Qatar University（卡塔尔大学电气工程系）
针对量子网络路由在复杂条件下的在线决策问题，基于q-POMDP和GNN开发鲁棒信念状态路由框架，通过原子微纪元等方法考虑多种因素，引入多种策略实现可扩展性，经融合与规则提供理论保证，模拟显示该混合控制器性能优于多种基线。
2026-07-22 cs.AI cs.LG cs.NI
A Finite-State Controller Based Offline Solver for Deterministic POMDPs
University of Oxford（牛津大学）；UK Atomic Energy Authority（英国原子能局）
针对智能体状态不确定但行动观测确定的DetPOMDP规划问题，提出以有限状态控制器构建策略的DetMCVI算法，其求解大规模问题成功率优于现有基准，且在真实机器人森林建图场景中得到验证。
2025-05-01 cs.AI cs.LG cs.RO
Stochastic Finite State Control of POMDPs with LTL Specifications
California Institute of Technology（加州理工学院）
部分可观测马尔可夫决策过程（POMDPs）为不确定性和不完美感知下的自主决策提供了一个建模框架，例如机器人操作和自动驾驶汽车。然而，POMDPs的最优控制是众所周知的棘手。本文考虑了POMDP的次优随机有限状态控制器（sFSC）的定量合成问题，使得满足线性时序逻辑（LTL）公式的一组高级规范的概率最大化。我们开始铸造后一个问题的优化和使用松弛的泊松方程和麦考密克信封的基础上。然后，我们提出了一个随机有界的政策迭代算法，导致sFSC的大小和任何时间的算法，其中控制器的性能提高与连续迭代的控制增长，但可以停止由用户基于时间或内存的考虑。我们说明了所提出的方法的机器人导航的案例研究。
2020-01-21 cs.AI cs.FL cs.RO
Robust Finite-State Controllers for Uncertain POMDPs
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Radboud University（拉德堡德大学）；University of California, Berkeley（加州大学伯克利分校）；Eindhoven University of Technology（埃因霍温理工大学）
不确定部分可观测马尔可夫决策过程（uPOMDPs）允许标准POMDPs的概率转移和观测函数属于一个所谓的不确定集。这种不确定性，被称为认知不确定性，捕获了由例如缺乏可用数据引起的无数组概率分布。我们开发了一个算法来计算有限的内存政策uPOMDPs，鲁棒地满足规格对任何容许的分布。一般来说，计算此类策略在理论上和实践中都是棘手的。我们提供了一个有效的解决这个问题的四个步骤。(1)我们的国家作为一个非凸优化问题的无限多个约束的基本问题。(2)一个专用的对偶方案产生一个对偶问题，仍然是非凸的，但有许多约束。(3)我们线性化这个对偶问题和（4）解决所产生的有限线性规划，以获得局部最优解的原问题。由此产生的问题配方是指数小于从现有的方法。我们证明了我们的算法的适用性，使用大的飞机碰撞避免的情况下，一个新的航天器运动规划的案例研究。
2021-03-04 cs.AI cs.LG cs.RO
Stick-Breaking Policy Learning in Dec-POMDPs
MIT（麻省理工学院）；University of New Hampshire（新罕布什尔大学）；Duke University（杜克大学）
本文提出了一种变大小状态控制器的Dec-SBPR框架，通过Stick-Breaking先验构建局部策略，无需假设Dec-POMDP模型即可学习控制器参数，有效提升大规模问题的性能。
2015-11-23 cs.AI cs.SY eess.SY
Verifiable RNN-Based Policies for POMDPs Under Temporal Logic Constraints
The University of Texas at Austin（得克萨斯大学奥斯汀分校）；Radboud University（拉德堡德大学）
递归神经网络（RNN）已经成为顺序决策问题中控制策略的有效表示。然而，基于RNN的策略应用的一个主要缺点是难以提供对行为规范（例如安全性和/或可达性）的满足的正式保证。通过整合形式化方法和机器学习的技术，我们提出了一种从RNN中自动提取有限状态控制器（FSC）的方法，当RNN与有限状态系统模型组合时，可以使用现有的形式化验证工具。具体来说，我们引入了一个迭代修改所谓的量化瓶颈插入技术，以创建一个FSC作为一个随机化的策略与内存。对于所得到的FSC不满足规范的情况，验证生成诊断信息。我们利用这些信息来调整提取的FSC中的内存量，或者对RNN进行集中的重新训练。虽然普遍适用，我们详细说明了部分可观察马尔可夫决策过程（POMDPs），这是众所周知的是非常困难的政策合成的背景下，由此产生的迭代过程。数值实验表明，在最优基准值的2%以内，该方法比传统的POMDP综合方法的性能提高了3个数量级。
2020-02-13 cs.AI
Synthesising Robust Controllers for Robot Collectives with Recurrent Tasks: A Case Study
University of Bremen（不来梅大学）
本文针对具有优化目标、循环性和安全性约束的机器人群体，提出将随机双玩家博弈简化为POMDP单玩家博弈进行高层控制器综合，并通过公共建筑清洁案例提供大规模建模与综合指导。
2024-11-21 cs.AI cs.MA cs.RO
Supervisor Synthesis of POMDP based on Automata Learning
University of Notre Dame（圣母大学）
本文提出基于概率计算树逻辑的POMDP监督器合成框架，采用确定性有限自动机作为控制器，通过L*学习算法确定自动机的结构，以满足安全关键应用的性能保证。
2017-03-24 cs.AI cs.FL cs.SY
Policy Iteration for Decentralized Control of Markov Decision Processes
University of Massachusetts（马萨诸塞大学）；Mississippi State University（密西西比州立大学）
在许多领域，包括多机器人系统，网络和电子商务中出现的问题，需要分布式代理的协调。作为一个正式的框架，这样的问题，我们使用分散的部分可观察马尔可夫决策过程（DEC-POMDP）。虽然已经做了大量的工作，最佳的动态规划算法的单代理版本的问题，最佳算法的多代理的情况下一直难以捉摸。本文的主要贡献是一个求解DEC-POMDP的最优策略迭代算法。该算法使用随机有限状态控制器来表示策略。该解决方案可以包括一个关联设备，它允许代理在不进行通信的情况下关联其动作。这种方法在扩展控制器和执行值保持转换之间交替，值保持转换在不牺牲值的情况下修改控制器。我们提出了两个有效的值保持变换：一个可以减少控制器的大小，另一个可以提高其值，同时保持大小固定。实证结果表明，在增加值，同时保持控制器的大小为最小值的保值变换的有用性。为了扩大该方法的适用性，我们还提出了一个启发式版本的政策迭代算法，牺牲收敛到最优。该算法通过假设其他代理动作的概率分布是已知的，进一步减小了每一步控制器的大小。虽然这个假设可能不适用于一般情况，但它有助于在我们的测试问题中产生更高质量的解决方案。
2014-01-15 cs.AI
Pessimistic Iterative Planning with RNNs for Robust POMDPs
Radboud University Nijmegen（奈杰姆大学拉德博德）
针对鲁棒POMDPs需记忆性且鲁棒性策略的问题，提出悲观迭代规划（PIP）框架及rFSCNet算法，交替选悲观POMDPs并优化循环神经网络计算有限状态控制器，实证性能优于基线及现有求解器。
2025-08-26 cs.AI cs.LG
Reinforcement Learning in POMDPs with Memoryless Options and Option-Observation Initiation Sets
Artificial Intelligence Lab, Vrije Universiteit Brussel（布鲁塞尔自由大学人工智能实验室）
许多现实世界的强化学习问题具有层次性，并且通常表现出一定程度的部分可观察性。虽然层次结构和部分可观测性通常是分开解决的（例如通过结合递归神经网络和选项），但我们表明，在许多情况下，同时解决这两个问题更简单，更有效。更具体地说，我们的初始设置的选项条件上的先前执行的选项，并表明，这样的选项观察初始集（OOI）的选项至少是表达有限状态控制器（FSC），一个国家的最先进的POMDPs学习方法。OOI很容易基于任务的直观描述进行设计，导致可解释的策略，并保持顶级和选项策略无记忆。我们的实验表明，OOI允许代理在挑战POMDPs时学习最优策略，同时比递归神经网络在选项上的样本效率更高。
2017-09-12 cs.AI cs.LG
Robustness Analysis of POMDP Policies to Observation Perturbations
University of Colorado Boulder（科罗拉多大学博尔德分校）；Virginia Tech（弗吉尼亚理工大学）；Jet Propulsion Laboratory（喷气推进实验室）；California Institute of Technology（加州理工学院）
研究POMDP策略在观测模型偏差下的鲁棒性，提出政策观测鲁棒性问题，并设计Robust Interval Search算法，验证其在大规模POMDP问题中的有效性。
2026-04-23 cs.AI
Risk-Averse Planning Under Uncertainty
California Institute of Technology（加州理工学院）；NASA Jet Propulsion Laboratory（美国国家航空航天局喷气推进实验室）
研究了具有动态一致风险目标的部分可观测马尔可夫决策过程的策略设计问题。为POMDP合成风险规避最优策略需要无限的内存，因此是不可判定的。为了克服这个困难，我们提出了一种基于有界策略迭代的方法来设计随机但有限状态（记忆）控制器，它利用了标准的凸优化方法。给定一个内存预算和最优性准则，该方法修改随机有限状态控制器，导致次优解具有较低的相干风险。
2019-09-27 cs.AI cs.RO math.OC
Exploiting Submodular Value Functions For Scaling Up Active Perception
University of Amsterdam（阿姆斯特丹大学）；University of Oxford（牛津大学）；University of Liverpool（利物浦大学）；Delft University of Technology（代尔夫特理工大学）
在主动感知任务中，智能体的目标是选择感官动作，以减少其对一个或多个隐藏变量的不确定性。虽然部分可观察马尔可夫决策过程（POMDP）提供了一个自然的模型，这样的问题，奖励功能，直接惩罚代理的信念的不确定性，可以删除分段线性和凸属性的价值函数所需的大多数POMDP规划。此外，随着代理可用的传感器数量的增加，POMDP规划的计算成本也随之呈指数级增长，使得POMDP规划不可行。在这篇文章中，我们解决了建模和规划主动感知任务的双重挑战。我们展示了$ρ$ POMDP和POMDP-IR的数学等价性，这两个框架用于建模主动感知任务，恢复了价值函数的PWLC属性。为了有效地规划主动感知任务，我们识别和利用POMDP-IR的独立性，以减少求解POMDP-IR（和$ρ$ POMDP）的计算成本。我们提出了贪婪的基于点的值迭代（PBVI），一个新的POMDP规划方法，使用贪婪的最大化，大大提高了可扩展性的行动空间的主动感知POMDP。此外，我们表明，在一定的条件下，包括子模块，使用贪婪PBVI计算的价值函数保证有界误差的最佳价值函数。我们建立的条件下，价值函数的主动感知POMDP保证是次模。最后，我们提出了一个详细的实证分析，从多摄像机跟踪系统在一个购物中心收集的数据集。我们的方法实现了类似的性能，现有的方法，但在一小部分的计算成本，导致更好的可扩展性解决主动感知任务。
2020-09-21 cs.AI cs.LG
Evolving Inborn Knowledge For Fast Adaptation in Dynamic POMDP Problems
Loughborough University（拉夫堡大学）；HRL Laboratories（HRL实验室）
快速在线适应不断变化的任务是机器学习中的一个重要问题，也是Meta强化学习的一个焦点。然而，强化学习（RL）算法在POMDP环境中挣扎，因为在RL框架中必不可少的系统状态并不总是可见的。此外，手工设计的元RL架构可能不包括用于特定学习问题的合适的计算结构。相反，在线学习机制的进化具有将学习策略纳入代理的能力，该代理可以（i）在需要时进化记忆，以及（ii）优化对特定在线学习问题的适应速度。在本文中，我们利用神经调制神经网络的高度自适应性来发展一个控制器，它使用POMDP中的自编码器的潜在空间。对进化网络的分析揭示了所提出的算法在各个方面获得先天知识的能力，例如检测揭示隐含奖励的线索，以及进化有助于导航的位置神经元的能力。与一些非进化的Meta强化学习算法相比，先天知识和在线可塑性的集成使其能够快速适应和更好的性能。该算法在3D游戏环境Malmo Minecraft中也取得了成功。
2020-04-28 cs.AI cs.LG cs.NE
Optimizing Task Completion Time Updates Using POMDPs
本文将任务公告问题建模为POMDP，通过MOMDP框架优化公告策略，减少不必要的更新并提升预测准确性。
2026-03-16 cs.AI cs.SY eess.SY
Policy-contingent abstraction for robust robot control
Carnegie Mellon University（卡内基梅隆大学）
提出一种可扩展的控制算法，使移动机器人系统在充分考虑概率信念的情况下做出高层决策，并成功部署于护理机构。
2012-10-19 cs.AI cs.RO cs.SY
Risk-Averse Decision Making Under Uncertainty
California Institute of Technology（加州理工学院）；NASA Jet Propulsion Laboratory（NASA喷气推进实验室）
在不确定性问题下的一大类决策可以通过马尔可夫决策过程（MDP）或部分可观测MDP（POMDP）来描述，并应用于人工智能和运筹学等。传统上，策略合成技术被提出，使得总期望成本或回报最小化或最大化。然而，在总的预期成本意义上的最优性是合理的，如果在大量的运行系统的行为是感兴趣的，这限制了使用这样的政策在实际的任务关键的情况下，其中从预期的行为大的偏差可能会导致任务失败。在本文中，我们考虑的问题，设计政策的MDPs和POMDPs的目标和约束的动态一致的风险措施，我们称之为约束风险厌恶问题。对于MDP，我们通过拉格朗日框架将问题转化为infsup问题，并提出了一种基于优化的方法来合成马尔可夫策略。对于MDP，我们证明了制定的优化问题的形式是差分凸规划（DCP），可以解决纪律凹凸规划（DCCP）的框架。我们表明，这些结果推广了线性规划的约束MDPs总折扣的期望成本和约束。对于POMDPs，我们表明，如果连贯的风险措施可以被定义为一个马尔可夫风险转移映射，一个无限维的优化可以用来设计马尔可夫信念为基础的政策。对于随机有限状态控制器（FSC），我们表明，后者的优化简化为（有限维）DCP，可以解决的DCCP框架。我们将这些DCP的政策迭代算法设计风险规避FSC POMDPs。
2021-09-09 cs.AI cs.RO cs.SY
Hierarchical LLM-Driven Control for HAPS-Assisted UAV Networks: Joint Optimization of Flight and Connectivity
Department of Electrical Engineering and Computer Science, York University（约克大学电气工程与计算机科学系）；Samsung Research America（三星美国研究院）；Department of Software and IT Engineering, École de technologie supérieure (ÉTS), University of Quebec（魁北克大学软件与信息技术工程系，École de technologie supérieure）；Non-Terrestrial Networks (Carleton-NTN) Lab and the Department of Systems and Computer Engineering, Carleton University（非地面网络（Carleton-NTN）实验室和系统与计算机工程系，卡尔顿大学）
本文研究了在整合陆地和非陆地网络中多无人机系统的联合优化问题，提出基于LLM的分层多速率控制框架，通过高精度仿真平台验证了其在提升运输效率、通信吞吐量和减少碰撞率方面的优势。
2026-05-12 cs.AI cs.LG cs.MA
