Perseus: Randomized Point-based Value Iteration for POMDPs
University of Amsterdam（阿姆斯特丹大学）
部分可观测马尔可夫决策过程（POMDPs）形成了一个有吸引力的和原则性的框架下不确定性的代理规划。POMDP基于点的近似技术计算的基础上，提前从代理的信念空间收集的一组有限的点的政策。我们提出了一个随机点为基础的值迭代算法称为珀尔修斯。该算法执行近似值备份阶段，确保在每个备份阶段的信念集中的每个点的值得到改善;关键的观察是，一个单一的备份可能会提高许多信念点的值。与其他基于点的方法相反，Perseus只备份信念集中的（随机选择的）点子集，足以提高集合中每个信念点的值。我们展示了同样的想法可以扩展到处理连续的动作空间。实验结果显示了Perseus在大规模POMDP问题中的潜力。
2011-09-09 cs.AI
Restricted Value Iteration: Theory and Algorithms
Washington University（华盛顿大学）；Hong Kong University of Science & Technology（香港科技大学）
值迭代是一种寻找POMDPs近似最优策略的常用算法。由于需要考虑整个置信空间，这需要解决大量的线性规划，因此效率低下。本文研究了限制于信念子集的值迭代问题。我们表明，连同适当选择的信念子集，限制值迭代产生接近最优的政策，我们给出了一个条件，以确定是否一个给定的信念子集将带来节省空间和时间。我们还将限制值迭代应用于两类有趣的POMDPs，即信息POMDPs和近可辨别的POMDPs。
2011-06-30 cs.AI
Rollout Sampling Policy Iteration for Decentralized POMDPs
我们提出了分散式铺开抽样策略迭代（DecRSPI）-一种新的算法，多智能体决策问题正式的DEC-POMDPs。DecRSPI旨在提高可扩展性并解决缺乏显式模型的问题。该算法使用蒙特卡罗方法来产生一个样本的可达信念状态。然后，它计算一个联合政策的基础上，每个信念状态的推出估计。一个新的政策表示允许我们代表解决方案的复杂性。该算法的主要优点是它的线性时间复杂度的代理数量，其有限的内存使用和良好的解决方案的质量。它可以解决现有规划算法难以解决的较大问题。实验结果证实了该方法的有效性和可扩展性。
2012-03-15 cs.AI
Neural Value Iteration
本文提出神经价值迭代算法，利用神经网络的泛化能力替代传统价值迭代中的α向量，解决大规模POMDP问题的计算难题。
2026-03-16 cs.AI
A Method for Speeding Up Value Iteration in Partially Observable Markov Decision Processes
Hong Kong University of Science & Technology（香港科技大学）
我们提出了一种加速部分可观察马尔可夫决策过程（POMDP）值迭代收敛的技术。其基本思想类似于完全可观测马尔可夫决策过程（MDP）的修改策略迭代。该技术可以很容易地纳入任何现有的POMDP值迭代算法。在几个测试问题上进行了实验，一个POMDP值迭代算法称为增量修剪。我们发现，该技术可以使增量修剪运行几个数量级更快。
2013-01-23 cs.AI
Sparse Stochastic Finite-State Controllers for POMDPs
Mississippi State University（密西西比州立大学）
有界策略迭代是一种求解无限时域POMDP的方法，它将策略表示为随机有限状态控制器，并通过使用线性规划调整每个节点的参数来迭代地改进控制器。在原算法中，线性规划的大小，从而策略改进的复杂性，取决于每个节点的参数的数量，这与控制器的大小增长。但在实际中，具有非零值的节点的参数的数量往往很小，并且不随控制器的大小而增长。基于这一观察，我们开发了一个版本的有界策略迭代，利用稀疏结构的随机有限状态控制器。在每次迭代中，它改进策略的数量与原始算法相同，但具有更好的可扩展性。
2012-06-13 cs.AI
BetaZero: Belief-State Planning for Long-Horizon POMDPs using Learned Approximations
Stanford University（斯坦福大学）
BetaZero将离线神经网络近似与在线蒙特卡洛树搜索结合，用于高维POMDP的信念状态规划，通过Q加权访问计数策略训练，在多个基准和矿产勘探任务中优于现有求解器。
2024-07-31 cs.AI
Speeding Up the Convergence of Value Iteration in Partially Observable Markov Decision Processes
Hong Kong University of Science & Technology（香港科技大学）
部分可观测马尔可夫决策过程（POMDPs）最近在许多人工智能研究人员中很受欢迎，因为它们可以作为不确定性下规划的自然模型。值迭代是一个著名的算法，为POMDPs寻找最优策略。它通常需要大量的迭代来收敛。本文提出了一种加速数值迭代收敛的方法。该方法已在一系列基准问题上进行了评估，发现非常有效：它使值迭代在所有测试问题上仅经过几次迭代后就收敛。
2011-06-01 cs.AI
Solving Collaborative Dec-POMDPs with Deep Reinforcement Learning Heuristics
针对现有 Dec-POMDP 最先进算法难以处理复杂智能体协作的问题，提出 SA2MA 两阶段方法：先学习单智能体策略，再将其用于多智能体求解，并在复杂协作领域中取得明显优势。
2024-08-30 cs.AI cs.LG cs.MA
Learning Symbolic Persistent Macro-Actions for POMDP Solving Over Time
University of Verona（威尼斯大学）
本文提出用基于事件演算的 LTL 片段生成持续宏动作，并通过 ILP 从少量轨迹中学习，以引导 MCTS 求解 POMDP，在 Pocman 和 Rocksample 上实现了更强表达能力和计算效率提升。
2025-05-06 cs.AI
Incremental Clustering and Expansion for Faster Optimal Planning in Dec-POMDPs
Maastricht University（马斯特里赫特大学）；Delft University of Technology（代尔夫特理工大学）；Massachusetts Institute of Technology（麻省理工学院）；University of Amsterdam（阿姆斯特丹大学）
本文提出了最佳的解决方案的分散部分可观察马尔可夫决策过程（Dec-POMDPs），这是一般模型的协作多智能体规划下的不确定性的方法的最新技术。建立了广义多智能体A*（GMAA*）算法，它减少了问题的一棵树的一次性协作贝叶斯游戏（CBG），我们描述了几个进步，大大扩大了范围的Dec-POMDPs，可以最佳地解决。首先，我们引入无损增量聚类的CBG解决GMAA*，实现指数加速而不牺牲最优性。其次，我们在GMAA* 搜索树中引入了节点的增量扩展，这避免了扩展所有子节点的需要，在最坏的情况下，子节点的数量在节点深度上是双指数的。这在可能的聚类很少时特别有益。此外，我们引入了新的混合启发式表示，更紧凑，从而使较大的Dec-POMDPs的解决方案。我们提供了理论保证，当使用一个合适的启发式，增量聚类和增量扩展产量算法，都是完整的和搜索等价的。最后，我们提出了广泛的实证结果表明，GMAA*-ICE，一个算法，综合了这些进步，可以最佳地解决Dec-POMDPs前所未有的大小。
2014-02-04 cs.AI
Solving infinite-horizon Dec-POMDPs using Finite State Controllers within JESP
Université de Lorraine（洛林大学）；INRIA（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；LORIA（洛林计算机科学与应用数学实验室）
本文着眼于通过搜索纳什均衡来解决形式化为分散式POMDP（Dec-POMDP）的协同规划问题，即，每个代理的策略是对其他代理的（固定）策略的最佳响应的情况。虽然联合基于平衡的搜索策略（JESP）算法在有限时域设置依赖于策略树，我们建议在这里适应它的无限时域Dec-POMDPs通过使用有限状态控制器（FSC）的政策表示。在这篇文章中，我们（1）解释了如何将具有$N-1$固定FSC的Dec-POMDP转化为解是$N^\text{th}$代理最佳对策的无限时域POMDP;（2）提出了一个JESP变体，称为\infJESP，使用它来求解无限时域Dec-POMDP;（3）引入JESP的启发式初始化，旨在得到好的解;以及（4）在最先进的基准问题上进行实验以评估我们的方法。
2021-09-17 cs.AI
Approximate Dec-POMDP Solving Using Multi-Agent A*
Radboud University（拉德堡德大学）；Ruhr-University Bochum（波鸿鲁尔大学）
针对有限视野 Dec-POMDP，本文提出基于聚类滑动窗口记忆、搜索树剪枝和新启发式的多智能体 A* 近似算法，并给出长视野上界算法，提升了可扩展性且在多个基准上优于现有方法。
2024-05-09 cs.AI
Online Planning Algorithms for POMDPs
McGill University（麦吉尔大学）；Laval University（拉瓦尔大学）
部分可观测马尔可夫决策过程（POMDPs）为随机域中不确定性下的序贯决策提供了一个丰富的框架。然而，解决POMDP往往是棘手的，除了小问题，由于其复杂性。在这里，我们专注于在线方法，减轻计算复杂性计算良好的本地政策在执行过程中的每个决策步骤。在线算法通常由前瞻搜索组成，以找到在环境中的每个时间步执行的最佳动作。我们在这里的目标是调查现有的各种在线POMDP方法，分析其属性，并讨论其优点和缺点;并彻底评估这些在线方法在不同的环境下的各种指标（返回，误差界减少，下界改进）。我们的实验结果表明，国家的最先进的在线启发式搜索方法可以有效地处理大POMDP域。
2014-01-15 cs.AI
Heuristics for Partially Observable Stochastic Contingent Planning
eBay Research（eBay研究院）；Ben Gurion University（本古里安大学）
针对基于目标的POMDP求解中启发式引导收敛的问题，提出利用域模型结构化表示、兼顾信息价值与随机效应的启发式函数，可减少RTDP-BEL收敛所需轨迹数，提升求解速度。
2024-10-08 cs.AI
Deceptive Kernel Function on Observations of Discrete POMDP
New York University（纽约大学）
研究了部分可观测马尔可夫决策过程中对主体的欺骗问题。在离散POMDP模型中引入欺骗性核函数（核），用于智能体的观测。基于Agent使用的值迭代、价值函数逼近和POMCP三种特征算法，分析了其信念被作为内核输出的虚假观测所误导，并预测了其对Agent奖励和潜在其他性能可能造成的威胁。我们验证了我们的期望，并通过实验两个POMDP问题的欺骗探索更有害的影响。结果表明，应用于Agent观测的核函数会影响Agent的信念，从而大大降低Agent的收益;同时，核函数的某些实现也会导致Agent的其他异常行为。
2020-08-12 cs.AI
Value-Directed Belief State Approximation for POMDPs
University of British Columbia（不列颠哥伦比亚大学）；University of Toronto（多伦多大学）
我们认为问题的信念状态监测的目的是实现一个政策的部分可观察马尔可夫决策过程（POMDP），特别是如何可以近似的信念状态。用于置信状态近似的其他方案（例如，基于最小化诸如真实状态和估计状态之间的KL-发散的测量）不一定适合于POMDP。相反，我们提出了一个框架，用于分析价值导向的近似方案，近似质量是由预期的误差效用，而不是由错误的信念状态本身。我们提出了探试法找到良好的投影方案的信念状态估计-展示任何时候的特点-给定的POMDP值funcntion。我们还描述了几种算法，用于构建的决策质量（预期效用）的错误的界限，根据一个给定的信念状态近似与行动。
2013-01-16 cs.AI
Reinforcement Learning for POMDP: Partitioned Rollout and Policy Iteration with Application to Autonomous Sequential Repair Problems
Arizona State University（亚利桑那州立大学）；Massachusetts Institute of Technology（麻省理工学院）
本文研究了具有有限状态空间和控制空间，部分状态观测的无限时域折扣动态规划问题。我们讨论了一个算法，使用多步前瞻，截断推出一个已知的基本政策，和终端成本函数近似。该算法还用于近似策略迭代方案中的策略改进，其中通过使用神经网络分类器来近似连续的策略。我们的方法的一个新的特点是，它非常适合分布式计算，通过扩展的信念空间配方和使用分区架构，这是训练与多个神经网络。我们应用我们的方法在模拟一类顺序修复问题，机器人检查和修复管道与潜在的几个破裂部位下的部分信息的管道的状态。
2020-02-11 cs.AI cs.RO
Can $Q$-Learning with Graph Networks Learn a Generalizable Branching Heuristic for a SAT Solver?
University of Oxford（牛津大学）；NVIDIA（英伟达）
我们提出了图- $Q$ -SAT，一个分支启发式的布尔SAT求解器训练与基于值的强化学习（RL）使用图神经网络函数逼近。使用Graph- $Q$ -SAT的求解器是完整的SAT求解器，可以提供令人满意的赋值或不可满足性证明，这是许多SAT应用程序所需的。SAT求解器中常用的分支算法在预热期间会做出糟糕的决策，而Graph- $Q$ -SAT则经过训练，可以检查特定问题实例的结构，以便在搜索早期做出更好的决策。训练图- $Q$ -SAT是数据高效的，不需要精心的数据集准备或特征工程。我们训练Graph- $Q$ -SAT使用RL接口与MiniSat求解器，并表明Graph- $Q$ -SAT可以减少2- 3倍的迭代次数来解决SAT问题。此外，它推广到不可满足的SAT实例，以及与5倍以上的变量比它是trainedon. We的问题表明，对于较大的问题，减少迭代次数导致挂钟时间减少，最终目标时，设计算法。我们还显示出积极的zero-shot传输行为时，测试图- $Q$ -SAT的任务家庭不同的训练。虽然需要更多的工作来应用Graph- $Q$ -SAT来减少现代SAT求解设置中的挂钟时间，但这是一个令人信服的概念验证，表明配备图神经网络的RL可以学习SAT搜索的通用分支启发式。
2020-11-25 cs.AI cs.LG
Shielding in Resource-Constrained Goal POMDPs
Faculty of Informatics, Masaryk University（马萨里克大学信息学院）
我们考虑部分可观测马尔可夫决策过程（POMDPs）建模需要某种资源供应的代理（例如，存储在电池中的电力）以正确地操作。资源被代理的动作消耗，并且只能在某些状态下被补充。代理的目标是最小化达到某个目标的预期成本，同时防止资源耗尽，我们称之为\emph{resource-constrained goal optimization}（RSGO）的问题。我们对RSGO问题采取两步走的方法。首先，使用正式的方法技术，我们设计了一个算法计算一个\emph{shield}为一个给定的场景：一个程序，观察代理，并防止它使用的行动，最终可能导致资源枯竭。其次，我们用我们的屏蔽增强了POMDP规划的POMCP启发式搜索算法，得到了一个求解RSGO问题的算法。我们实现了我们的算法，目前的实验表明其适用性的基准从文献。
2022-11-28 cs.AI
Reinforcement Learning Methods for Wordle: A POMDP/Adaptive Control Approach
Arizona State University（亚利桑那州立大学）
在本文中，我们解决流行的Wordle难题的解决方案，使用新的强化学习方法，适用于更普遍的自适应控制的动态系统和类的部分可观察马尔可夫决策过程（POMDP）的问题。这些方法是基于近似值空间和推出的方法，承认一个简单的实现，并提供各种启发式方法的性能改善。对于Wordle难题，他们产生的在线解决方案的战略，是非常接近最佳的计算成本相对适中。我们的方法是可行的更复杂的版本的Wordle和相关的搜索问题，最佳策略将是不可能计算。它们也适用于广泛的自适应序贯决策问题，涉及一个未知的或经常变化的环境，其参数估计在线。
2022-11-29 cs.AI
Monte-Carlo Search for an Equilibrium in Dec-POMDPs
Université de Lorraine（洛林大学）；INRIA（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；LORIA（洛林计算机科学及其应用研究所）
本文针对仅有模拟器的Dec-POMDPs，提出基于仿真的MC-JESP方法逐节点构建有限状态控制器以寻求纳什均衡，实验证明其优于多数离线方法。
2023-05-19 cs.AI
Technical Report: The Policy Graph Improvement Algorithm
Aalto University（阿尔托大学）；TU Darmstadt（达姆施塔特工业大学）
优化部分可观测马尔可夫决策过程（POMDP）策略具有挑战性。POMDP的策略图改进算法（PGI）将策略表示为固定大小的策略图，并单调地改进策略。由于固定的策略大小，每个改进迭代的计算时间是预先已知的。此外，该方法允许紧凑的可理解的策略。本报告描述了POMDP的PGI [1]和基于粒子的PGI [2]算法的技术细节，比[1]或[2]更容易理解，使从业者和学生能够理解和实现算法。
2020-09-04 cs.AI
Anytime Point-Based Approximations for Large POMDPs
McGill University（麦吉尔大学）；Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）
部分可观测马尔可夫决策过程长期以来被认为是现实世界规划和控制问题的丰富框架，特别是在机器人领域。然而，在这个框架中的精确解通常是计算上难以处理的，但最小的问题。一种用于加速POMDP求解的众所周知的技术涉及在特定的信念点执行值备份，而不是在整个信念单形上执行值备份。然而，这种方法的效率在很大程度上取决于点的选择。本文提出了一套新的技术，选择信息的信念点，在实践中工作得很好。点选择过程与基于点的值备份相结合，形成一个有效的随时POMDP算法称为基于点的值迭代（PBVI）。本文的第一个目的是介绍这种算法，并提出了一个理论分析证明选择的信念选择技术。本文的第二个目的是提供一个彻底的实证比较PBVI和其他国家的最先进的POMDP方法，特别是英仙座算法，在努力突出他们的相似性和差异。使用标准POMDP域和现实的机器人任务进行评估。
2011-10-04 cs.AI
Learning Logic Specifications for Policy Guidance in POMDPs: an Inductive Logic Programming Approach
University of Verona（维罗纳大学）
本文利用 ILP 从 POMDP 执行轨迹中学习可解释的 ASP 置信策略规约，作为在线启发式指导 POMCP、DESPOT 和 AdaOPS，并在 rocksample 与 pocman 上验证其高效、优越且可泛化。
2024-02-29 cs.AI cs.LG cs.LO
Point-Based Value Iteration for POMDPs with Neural Perception Mechanisms
University of Oxford（牛津大学）；University of Glasgow（格拉斯哥大学）
本文提出NS-POMDP框架，通过分段线性凸表示和NS-HSVI算法，解决了连续状态空间中神经感知机制下的POMDP最优策略合成问题。
2024-08-07 cs.AI cs.SY eess.SY
GammaZero: Learning To Guide POMDP Belief Space Search With Graph Representations
GammaZero通过图表示框架学习引导POMDP规划，利用统一的图信念表示实现跨问题规模的泛化，通过图神经网络和解码器架构从专家示范中学习价值函数和策略，指导蒙特卡洛树搜索。
2026-03-29 cs.AI
Sound Heuristic Search Value Iteration for Undiscounted POMDPs with Reachability Objectives
University of Colorado Boulder（科罗拉多大学博尔德分校）；Jet Propulsion Laboratory（喷气推进实验室）；California Institute of Technology（加州理工学院）
本文研究无折扣 POMDP 的最大可达性概率问题，提出一种基于试验的启发式搜索值迭代新算法，通过值边界引导信念空间探索并解决循环处理缺陷，提供双侧概率界限，实验证明其在概率保证和计算时间上优于现有方法。
2024-06-05 cs.AI cs.LO cs.RO
Zooming Cautiously: Linear-Memory Heuristic Search With Node Expansion Guarantees
DeepMind（深度思维）；Universidade Federal de Viçosa（维索萨联邦大学）
介绍并分析了两种无参数线性记忆树搜索算法。在适当的假设下，我们证明了当搜索空间是树时，我们的算法保证只执行比A* 多一个对数因子的节点扩展。以前，在类似的假设下，线性记忆算法的最佳保证是通过IDA* 实现的，在最坏的情况下，它比上一次迭代扩展了更多的节点。实验结果支持了理论，并证明了我们的算法的实用性和鲁棒性。此外，它们快速且易于实施。
2019-06-07 cs.AI cs.DS
Stochastic Finite State Control of POMDPs with LTL Specifications
California Institute of Technology（加州理工学院）
部分可观测马尔可夫决策过程（POMDPs）为不确定性和不完美感知下的自主决策提供了一个建模框架，例如机器人操作和自动驾驶汽车。然而，POMDPs的最优控制是众所周知的棘手。本文考虑了POMDP的次优随机有限状态控制器（sFSC）的定量合成问题，使得满足线性时序逻辑（LTL）公式的一组高级规范的概率最大化。我们开始铸造后一个问题的优化和使用松弛的泊松方程和麦考密克信封的基础上。然后，我们提出了一个随机有界的政策迭代算法，导致sFSC的大小和任何时间的算法，其中控制器的性能提高与连续迭代的控制增长，但可以停止由用户基于时间或内存的考虑。我们说明了所提出的方法的机器人导航的案例研究。
2020-01-21 cs.AI cs.FL cs.RO
Information Gathering in Decentralized POMDPs by Policy Graph Improvement
University of Hamburg（汉堡大学）；TU Darmstadt（达姆施塔特工业大学）
当部署多个自主智能体来收集关于感兴趣的现象的数据而没有通信能力时，需要分散的信息收集策略。分散部分可观察马尔可夫决策过程（Dec-POMDPs）是一个通用的，原则性的模型，非常适合这种分散的多智能体决策问题。在本文中，我们研究Dec-POMDPs分散信息收集问题。Dec-POMDP的最优解使期望的回报之和随时间最大化。为了鼓励信息收集，我们将奖励设置为代理状态信息的函数，例如负香农熵。我们证明了，如果奖励是凸的，那么相应的Dec-POMDP的有限时域价值函数也是凸的。我们提出了第一个启发式算法的信息收集Dec-POMDPs，并通过解决问题的数量级大于以前的国家的最先进的经验证明其有效性。
2019-02-26 cs.AI cs.MA
Policy Iteration for Decentralized Control of Markov Decision Processes
University of Massachusetts（马萨诸塞大学）；Mississippi State University（密西西比州立大学）
在许多领域，包括多机器人系统，网络和电子商务中出现的问题，需要分布式代理的协调。作为一个正式的框架，这样的问题，我们使用分散的部分可观察马尔可夫决策过程（DEC-POMDP）。虽然已经做了大量的工作，最佳的动态规划算法的单代理版本的问题，最佳算法的多代理的情况下一直难以捉摸。本文的主要贡献是一个求解DEC-POMDP的最优策略迭代算法。该算法使用随机有限状态控制器来表示策略。该解决方案可以包括一个关联设备，它允许代理在不进行通信的情况下关联其动作。这种方法在扩展控制器和执行值保持转换之间交替，值保持转换在不牺牲值的情况下修改控制器。我们提出了两个有效的值保持变换：一个可以减少控制器的大小，另一个可以提高其值，同时保持大小固定。实证结果表明，在增加值，同时保持控制器的大小为最小值的保值变换的有用性。为了扩大该方法的适用性，我们还提出了一个启发式版本的政策迭代算法，牺牲收敛到最优。该算法通过假设其他代理动作的概率分布是已知的，进一步减小了每一步控制器的大小。虽然这个假设可能不适用于一般情况，但它有助于在我们的测试问题中产生更高质量的解决方案。
2014-01-15 cs.AI
ChronosPerseus: Randomized Point-based Value Iteration with Importance Sampling for POSMDPs
Royal Military College of Canada（加拿大皇家军事学院）
在强化学习中，智能体已经成功地使用了用马尔可夫决策过程（MDP）建模的环境。然而，在许多问题域中，代理可能会遭受噪声观测或随机时间，直到其随后的决定。虽然部分可观测马尔可夫决策过程（POMDPs）已经处理了噪声观测，但它们尚未处理未知时间方面。当然，我们可以将时间离散化，但这会导致贝尔曼的非理性诅咒。为了将连续sojourn时间分布在代理的决策，我们建议，部分可观察的半马尔可夫决策过程（POSMDP）在这方面可能是有帮助的。我们扩展\citet{Spaan2005a}随机基于点的值迭代（PBVI）\textsc{Perseus}算法用于POMDP POSMDP通过纳入连续逗留时间分布和使用重要性采样，以减少求解器的复杂性。我们把这种新的基于重要性采样的POSMDP的PBVI算法称为\textsc{ChronosPerseus}。这通过将时间状态信息移动到POMSDP的状态逗留时间中来进一步允许压缩的复杂POMDP需要时间状态信息。第二个观点是，保持一组采样时间并根据其可能性对其进行加权可以在单个备份中使用;这有助于进一步降低算法复杂性。解决者还可以处理情节性和非情节性问题。最后，我们的文件与两个例子，一个情节总线问题和非情节维护问题。
2022-07-16 cs.AI cs.LG
Multiagent Rollout and Policy Iteration for POMDP with Application to Multi-Robot Repair Problems
Harvard University（哈佛大学）；Arizona State University（亚利桑那州立大学）
在本文中，我们考虑无限地平线折扣动态规划问题与有限的状态和控制空间，部分状态观测，和一个多智能体结构。我们讨论和比较算法，同时或顺序优化代理的控制，通过使用多步前瞻，截断推出与一个已知的基本政策，和终端成本函数近似。我们的方法专门解决部分可观察的多智能体问题的计算挑战。特别是：1）我们考虑了显著减少所需计算同时保留标准卷展方法的关键成本改进属性的卷展算法。我们的方法的每一步的计算要求是$O(Cm)$的顺序相比，$O(C^m)$标准推出，其中$C$是每个代理的控制组件的约束集的最大基数，和$m$是代理的数量。2)我们表明，我们的方法可以应用于具有挑战性的问题，图结构，包括一类机器人修复问题，多个机器人协作检查和修复系统的部分信息。3)我们提供了一个模拟研究，比较我们的方法与现有的方法，并证明我们的方法可以处理更大，更复杂的部分可观察的多智能体问题（状态空间大小$10^{37}$和控制空间大小$10^{7}$，分别）。最后，我们将我们的多智能体推出算法的积木在一个近似的政策迭代方案，连续推出的政策近似使用神经网络分类。虽然这个方案需要一个严格的离线实现，它在我们的计算实验中工作良好，并产生额外的显着性能改善的单一在线推出迭代方法。
2020-11-09 cs.AI cs.MA cs.RO
Sequential Monte Carlo for Policy Optimization in Continuous POMDPs
University of Amsterdam（阿姆斯特丹大学）；Aalto University（阿尔托大学）
本文提出了一种基于序列蒙特卡洛的策略优化方法，用于解决连续部分可观测马尔可夫决策过程中的探索与利用平衡问题。
2025-12-04 cs.AI cs.LG stat.ML
Hilbert Space Embeddings of POMDPs
The Institute of Statistical Mathematics（统计数理研究所）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Gatsby Computational Neuroscience Unit, CSML, UCL（盖茨比计算神经科学单元，CSML，伦敦大学学院）
提出了一种POMDPs策略学习的非参数方法。该方法将状态、观测和动作的分布表示为特征空间中的嵌入，特征空间是再生核希尔伯特空间。通过将核贝叶斯规则应用于这些分布嵌入来获得给定观测值的状态分布。在状态特征空间上定义了策略和价值函数，从而得到了Bellman方程的特征空间表达式。然后，可以使用值迭代来估计最优价值函数和相关联的策略。实验结果证实，正确的政策学习使用的特征空间表示。
2012-10-16 cs.AI cs.LG stat.ML
Exploiting Submodular Value Functions For Scaling Up Active Perception
University of Amsterdam（阿姆斯特丹大学）；University of Oxford（牛津大学）；University of Liverpool（利物浦大学）；Delft University of Technology（代尔夫特理工大学）
在主动感知任务中，智能体的目标是选择感官动作，以减少其对一个或多个隐藏变量的不确定性。虽然部分可观察马尔可夫决策过程（POMDP）提供了一个自然的模型，这样的问题，奖励功能，直接惩罚代理的信念的不确定性，可以删除分段线性和凸属性的价值函数所需的大多数POMDP规划。此外，随着代理可用的传感器数量的增加，POMDP规划的计算成本也随之呈指数级增长，使得POMDP规划不可行。在这篇文章中，我们解决了建模和规划主动感知任务的双重挑战。我们展示了$ρ$ POMDP和POMDP-IR的数学等价性，这两个框架用于建模主动感知任务，恢复了价值函数的PWLC属性。为了有效地规划主动感知任务，我们识别和利用POMDP-IR的独立性，以减少求解POMDP-IR（和$ρ$ POMDP）的计算成本。我们提出了贪婪的基于点的值迭代（PBVI），一个新的POMDP规划方法，使用贪婪的最大化，大大提高了可扩展性的行动空间的主动感知POMDP。此外，我们表明，在一定的条件下，包括子模块，使用贪婪PBVI计算的价值函数保证有界误差的最佳价值函数。我们建立的条件下，价值函数的主动感知POMDP保证是次模。最后，我们提出了一个详细的实证分析，从多摄像机跟踪系统在一个购物中心收集的数据集。我们的方法实现了类似的性能，现有的方法，但在一小部分的计算成本，导致更好的可扩展性解决主动感知任务。
2020-09-21 cs.AI cs.LG
Optimizing Agent Collaboration through Heuristic Multi-Agent Planning
针对QDec-FP和QDec-FPS无法处理不同类型感知智能体的问题，提出一种启发式多智能体规划算法，通过强制智能体在感知能力不对称时采用相同计划，显著提升了协作表现。
2024-08-30 cs.AI cs.MA
The Actor Search Tree Critic (ASTC) for Off-Policy POMDP Learning in Medical Decision Making
Imperial College London（帝国理工学院）
非策略强化学习能够从次优经验中获得接近最优的策略，从而为人工智能在医疗保健中的应用提供了机会。以前的工作主要是将患者与临床医生的互动框定为马尔可夫决策过程，而真正的生理状态不一定完全可以从临床数据中观察到。我们捕捉这种情况与部分可观察的马尔可夫决策过程，其中代理优化其行动的信念表示为从个人的历史轨迹推断的患者状态的分布。高斯混合模型拟合的观测数据。此外，我们考虑到这样一个事实，即药物剂量的细微差别可能会导致显着不同的效果，通过直接在政策空间，即演员的高斯近似建模连续的政策。为了解决无限数量的可能的信念状态，使精确值迭代棘手的挑战，我们评估和计划，只有每一个遇到的信念，通过启发式搜索树，严格维护下限和上限的真实值的信念。我们进一步求助于函数近似来更新值边界估计，即评论家，使得树搜索可以通过边缘节点处的更紧凑的边界来改进，边缘节点将被反向传播到根。演员和评论家参数都是通过基于梯度的方法学习的。我们提出的政策从真正的重症监护病房数据训练，能够支配剂量的血管加压药和静脉输液败血症患者，导致最佳的患者结果。
2018-06-03 cs.AI
Optimal Inspection and Maintenance Planning for Deteriorating Structural Components through Dynamic Bayesian Networks and Markov Decision Processes
University of Liege（列日大学）；The Pennsylvania State University（宾夕法尼亚州立大学）；Aalborg University（奥尔堡大学）
土木和海事工程系统，尤其是从桥梁到海上平台和风力涡轮机，必须得到有效的管理，因为它们在整个使用寿命期间都暴露于老化机制，如疲劳或腐蚀。确定最佳的检查和维修政策需要解决一个复杂的顺序决策问题的不确定性，有效地控制与结构故障相关的风险的主要目标。为了解决这种复杂性，基于风险的检查规划方法，通常由动态贝叶斯网络支持，评估一组预定义的启发式决策规则，以合理地简化决策问题。然而，所得到的策略可能会受到决策规则定义中考虑的有限空间的影响。部分可观测马尔可夫决策过程（POMDPs）为不确定行为结果和观测下的随机最优控制提供了一种原则性的数学方法，其中最优行为被规定为整个动态更新的状态概率分布的函数。在本文中，我们结合动态贝叶斯网络与POMDPs在一个联合框架的最佳检查和维修规划，我们提供了制定无限和有限的地平线POMDPs在结构可靠性的背景下。所提出的方法的实施和测试的情况下，受到疲劳退化的结构部件，展示了最先进的点为基础的POMDP求解器的能力，用于解决潜在的规划优化问题。在数值实验中，POMDP和基于竞争的政策进行了彻底的比较，结果表明，POMDP实现大幅降低成本相比，他们的同行，即使是传统的问题设置。
2021-11-28 cs.AI cs.SY eess.SY
A Novel Point-based Algorithm for Multi-agent Control Using the Common Information Approach
University of Southern California（南加州大学）
针对多智能体随机控制转化为单智能体POMDP后动作空间过大难以求解的问题，提出结合CI方法与基于点POMDP算法的CHSVI算法，并成功求解多个基准问题。
2023-04-10 cs.AI cs.MA cs.SY
Value-Function Approximations for Partially Observable Markov Decision Processes
Brown University（布朗大学）
部分可观测马尔可夫决策过程（POMDPs）提供了一个优雅的数学框架，用于建模复杂的决策和规划问题的随机域中，系统的状态只能间接观察，通过一组不完美的或嘈杂的意见。然而，POMDPs的建模优势是有代价的--求解它们的精确方法在计算上非常昂贵，因此在实践中只适用于非常简单的问题。我们专注于有效的近似（启发式）的方法，试图减轻计算问题和权衡速度的准确性。我们有两个目标。首先，我们综述了各种近似方法，分析了它们的性质和关系，并对它们的差异提供了一些新的见解。其次，我们提出了一些新的近似方法和现有技术的新改进。从代理导航域的问题上的实验支持的理论结果。
2011-06-01 cs.AI
A Finite-State Controller Based Offline Solver for Deterministic POMDPs
University of Oxford（牛津大学）；UK Atomic Energy Authority（英国原子能局）
针对智能体状态不确定但行动观测确定的DetPOMDP规划问题，提出以有限状态控制器构建策略的DetMCVI算法，其求解大规模问题成功率优于现有基准，且在真实机器人森林建图场景中得到验证。
2025-05-01 cs.AI cs.LG cs.RO
Policy Design for Active Sequential Hypothesis Testing using Deep Learning
USC Information Sciences Institute（美国南加州大学信息科学研究所）
本文研究了如何利用深度学习设计更有效的主动顺序假设检验策略，通过比较新提出的启发式方法与现有方法，展示了在某些场景下性能的显著提升。
2018-10-11 cs.AI cs.IT cs.LG
SOAP-RL: Sequential Option Advantage Propagation for Reinforcement Learning in POMDP Environments
Visual Geometry Group（视觉几何组）；University of Oxford（牛津大学）
本文提出PPOEM和SOAP两种算法解决POMDP中无监督学习时间一致选项的挑战，SOAP通过扩展GAE传播选项优势，在Atari等基准上表现最优。
2024-10-11 cs.AI cs.LG
HSVI for zs-POSGs using Concavity, Convexity and Lipschitz Properties
Univ. Lyon（里昂大学）；INSA Lyon（里昂国立应用科学学院）；INRIA（法国国家信息与自动化研究所）；Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）
动态规划和启发式搜索是最先进的顺序决策问题求解器的核心。在部分可观察或协作设置（\eg，POMDP和Dec-POMDP），这需要引入一个适当的统计，诱导一个完全可观察的问题，以及边界（凸）逼近的最佳价值函数。这种方法在2-player零和部分可观察随机博弈（zs-POSGs）的一些子类中也取得了成功，但在一般情况下失败了，尽管已知的凸性和凸性，这只会导致启发式算法的收敛性差的保证。我们克服了这个问题，利用这些属性来获得边界逼近和有效的更新和选择算子，然后推导出一个原型求解器的启发HSVI，可证明收敛到一个$ε$ -最佳的解决方案，在有限的时间内，我们凭经验评估。这打开了一扇大门，一个新的家庭有前途的方法，补充那些依赖于线性规划或迭代法。
2022-11-15 cs.AI cs.GT cs.LG
Active Inference Tree Search in Large POMDPs
Institute of Cognitive Sciences and Technologies, National Research Council（国家研究委员会认知科学与技术研究所）；Institute for High Performance Computing and Networking, National Research Council（国家研究委员会高性能计算与网络研究所）；University College London（伦敦大学学院）；VERSES AI Research Lab（VERSES人工智能研究实验室）
本文提出主动推断树搜索方法，结合神经科学与人工智能的规划理论，实现大规模POMDP问题的高效解决。
2024-12-10 cs.AI math.PR q-bio.NC
Topological Value Iteration Algorithms
Google Inc.（谷歌公司）；University of Washington（华盛顿大学）；University of Kentucky（肯塔基大学）
值迭代是马尔可夫决策过程（MDP）的一种功能强大但效率低下的算法，因为它将大部分精力放在备份整个状态空间上，而这在许多情况下是不必要的。为了克服这个问题，已经提出了许多方法。其中，ILAO* 和RTDP的变体是最先进的。这些方法使用可达性分析和启发式搜索来避免一些不必要的备份。然而，这些方法都没有在预处理步骤中构建状态转换的图形结构，或者使用结构信息来系统地分解问题，从而生成状态空间的智能备份序列。在本文中，我们提出了两个最佳的MDP算法。第一种算法，拓扑值迭代（TVI），检测MDP的结构和备份的基础上的拓扑序列的状态。它（1）将MDP划分为强连接分量（SCC），（2）依次求解这些分量。当MDP具有多个大小接近相等的SCC时，TVI的性能大大优于VI和其他最先进的算法。第二种算法，聚焦拓扑值迭代（FTVI），是TVI的扩展。FTVI将其注意力限制在与解决MDP相关的连接组件上。具体来说，它使用少量的启发式搜索来消除可证明的次优操作;这种修剪允许FTVI找到更小的连接组件，从而运行更快。我们证明，FTVI优于TVI的数量级，平均在几个领域。令人惊讶的是，FTVI在许多领域中也显著优于流行的统计信息MDP算法，如ILAO*，LRTDP，BRTDP和贝叶斯RTDP，有时多达两个数量级。最后，我们描述了FTVI擅长的领域类型-提出了一种明智选择求解器的方法。
2014-01-16 cs.AI
PODDP: Partially Observable Differential Dynamic Programming for Latent Belief Space Planning
自主智能体观察世界状态的能力有限。部分可观测马尔可夫决策过程（POMDPs）对世界状态不确定性下的规划问题进行了形式化建模，但具有连续动作和非线性动力学特性的POMDPs适合于机器人应用，其求解具有挑战性。在本文中，我们提出了一个有效的差分动态规划（DDP）算法的信任空间规划POMDP的不确定性在一个离散的潜在状态，连续的状态，行动，观察，和非线性动力学。这种表示允许规划的动态轨迹是敏感的离散的潜在世界状态的结构化不确定性。我们开发了动态规划技术，以优化一个可能的观测和信念空间轨迹树的应急计划，并得出一个层次版本的算法。我们的方法适用于成本或回报函数不确定的问题（例如，目标或障碍的配置），动态的不确定性（例如，混合系统的动态模式），以及交互的不确定性，其中其他代理的行为取决于潜在的意图。基准测试表明，我们的算法优于流行的启发式方法规划下的不确定性，从一个自主变道任务的结果表明，我们的算法可以合成强大的互动轨迹。
2019-12-14 cs.AI cs.RO
Beyond Single-Step Updates: Reinforcement Learning of Heuristics with Limited-Horizon Search
针对现有基于强化学习的启发式方法依赖单步Bellman更新的局限，提出结合有限视野搜索的通用启发式学习框架，通过融合边代价与搜索前沿状态启发值优化更新过程。
2025-11-13 cs.AI
Predicting the Performance of IDA* using Conditional Distributions
Bar-Ilan University（巴伊兰大学）；Ben-Gurion University（本-古里安大学）；University of Alberta（阿尔伯塔大学）
Korf、Reid和Edelkamp引入了一个公式来预测IDA* 在给定的一致性启发式算法的单次迭代中将扩展的节点数，并通过实验证明它可以做出非常准确的预测。在本文中，我们表明，除了要求启发式是一致的，他们的公式预测是准确的，只有在暴力搜索树的启发式值服从无条件分布，他们定义，然后在他们的公式中使用的水平。然后，我们提出了一个新的公式，没有这些要求，即，对于启发式算法不一致的情况，以及启发式算法在任一层的值不服从无条件分布的情况，该算法都能准确地预测出IDA算法的性能。为了实现这一目标，我们引入了启发式值的条件分布，这是其无条件启发式分布的推广。我们还提供了扩展我们的公式，处理个人的开始状态和增加IDA* 与双向pathmax（BPMX），传播启发式的值时，不一致的启发式的技术。实验结果证明了我们的新方法及其所有变化的准确性。
2014-01-15 cs.AI
Local Branching Relaxation Heuristics for Integer Linear Programs
University of Southern California（南加州大学）；Meta AI (FAIR)（Meta人工智能（基础人工智能研究院））
针对整数线性规划中局部分支邻域选择成本高的问题，提出用线性规划松弛选择邻域的LB-RELAX及变体，在保持邻域质量的同时提升速度并达到最优任意时间性能。
2023-05-31 cs.AI
Value of structural health information in partially observable stochastic environments
The Pennsylvania State University（宾夕法尼亚州立大学）；ETH Zürich（苏黎世联邦理工学院）
不确定性观测与决策优化的有效整合是制定知情干预行动的关键，能够保护恶化的工程系统的结构安全。为此，有必要根据其预期的基于价值的收益客观地执行检查和监测策略的调度，这些收益尤其反映了诸如信息价值（VoI）和结构健康监测价值（VoSHM）之类的定量度量。在这项工作中，我们介绍和研究的理论和计算基础的部分可观察马尔可夫决策过程（POMDPs）的背景下，上述指标，从而暗示了广泛的一类决策问题的部分可观察的随机恶化的环境，可以建模为POMDPs。逐步和生命周期的VOI和VOSHM的定义和他们的界限进行了分析，根据贝尔曼方程和由此产生的最佳价值函数的属性。结果表明，POMDP政策本质上是利用的概念VoI指导观测行动在每一个决策步骤中的最佳方式，以及SHM或检查访问，分别提供的永久或间歇性的信息，只能提高成本的这种政策在长期内，这是不一定是真的，在当地最优的政策，通常采用的结构和基础设施的决策。POMDP的解决方案是基于点为基础的价值迭代方法的基础上得出的，和各种定义量化的静态和非静态恶化的环境中，无限和有限的规划视野，具有单一或多组件的工程系统。
2020-07-20 cs.AI cs.LG cs.SY
Risk-Averse Decision Making Under Uncertainty
California Institute of Technology（加州理工学院）；NASA Jet Propulsion Laboratory（NASA喷气推进实验室）
在不确定性问题下的一大类决策可以通过马尔可夫决策过程（MDP）或部分可观测MDP（POMDP）来描述，并应用于人工智能和运筹学等。传统上，策略合成技术被提出，使得总期望成本或回报最小化或最大化。然而，在总的预期成本意义上的最优性是合理的，如果在大量的运行系统的行为是感兴趣的，这限制了使用这样的政策在实际的任务关键的情况下，其中从预期的行为大的偏差可能会导致任务失败。在本文中，我们考虑的问题，设计政策的MDPs和POMDPs的目标和约束的动态一致的风险措施，我们称之为约束风险厌恶问题。对于MDP，我们通过拉格朗日框架将问题转化为infsup问题，并提出了一种基于优化的方法来合成马尔可夫策略。对于MDP，我们证明了制定的优化问题的形式是差分凸规划（DCP），可以解决纪律凹凸规划（DCCP）的框架。我们表明，这些结果推广了线性规划的约束MDPs总折扣的期望成本和约束。对于POMDPs，我们表明，如果连贯的风险措施可以被定义为一个马尔可夫风险转移映射，一个无限维的优化可以用来设计马尔可夫信念为基础的政策。对于随机有限状态控制器（FSC），我们表明，后者的优化简化为（有限维）DCP，可以解决的DCCP框架。我们将这些DCP的政策迭代算法设计风险规避FSC POMDPs。
2021-09-09 cs.AI cs.RO cs.SY
