Rollout Sampling Policy Iteration for Decentralized POMDPs
我们提出了分散式铺开抽样策略迭代（DecRSPI）-一种新的算法，多智能体决策问题正式的DEC-POMDPs。DecRSPI旨在提高可扩展性并解决缺乏显式模型的问题。该算法使用蒙特卡罗方法来产生一个样本的可达信念状态。然后，它计算一个联合政策的基础上，每个信念状态的推出估计。一个新的政策表示允许我们代表解决方案的复杂性。该算法的主要优点是它的线性时间复杂度的代理数量，其有限的内存使用和良好的解决方案的质量。它可以解决现有规划算法难以解决的较大问题。实验结果证实了该方法的有效性和可扩展性。
2012-03-15 cs.AI
End-to-End Policy Gradient Method for POMDPs and Explainable Agents
The University of Tokyo（东京大学）；Kyoto University（京都大学）；Advanced Telecommunications Research Institute International (ATR)（国际电气通信基础技术研究所）
针对部分可观测决策问题，提出一种端到端训练并估计隐藏状态的强化学习算法，同时以状态转移图实现可解释性，实验验证其能解决简单 POMDP。
2023-04-19 cs.AI
Solving infinite-horizon Dec-POMDPs using Finite State Controllers within JESP
Université de Lorraine（洛林大学）；INRIA（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；LORIA（洛林计算机科学与应用数学实验室）
本文着眼于通过搜索纳什均衡来解决形式化为分散式POMDP（Dec-POMDP）的协同规划问题，即，每个代理的策略是对其他代理的（固定）策略的最佳响应的情况。虽然联合基于平衡的搜索策略（JESP）算法在有限时域设置依赖于策略树，我们建议在这里适应它的无限时域Dec-POMDPs通过使用有限状态控制器（FSC）的政策表示。在这篇文章中，我们（1）解释了如何将具有$N-1$固定FSC的Dec-POMDP转化为解是$N^\text{th}$代理最佳对策的无限时域POMDP;（2）提出了一个JESP变体，称为\infJESP，使用它来求解无限时域Dec-POMDP;（3）引入JESP的启发式初始化，旨在得到好的解;以及（4）在最先进的基准问题上进行实验以评估我们的方法。
2021-09-17 cs.AI
Technical Report: The Policy Graph Improvement Algorithm
Aalto University（阿尔托大学）；TU Darmstadt（达姆施塔特工业大学）
优化部分可观测马尔可夫决策过程（POMDP）策略具有挑战性。POMDP的策略图改进算法（PGI）将策略表示为固定大小的策略图，并单调地改进策略。由于固定的策略大小，每个改进迭代的计算时间是预先已知的。此外，该方法允许紧凑的可理解的策略。本报告描述了POMDP的PGI [1]和基于粒子的PGI [2]算法的技术细节，比[1]或[2]更容易理解，使从业者和学生能够理解和实现算法。
2020-09-04 cs.AI
A Surprisingly Simple Continuous-Action POMDP Solver: Lazy Cross-Entropy Search Over Policy Trees
The University of Queensland（昆士兰大学）；Australian National University（澳大利亚国立大学）
针对连续动作 POMDP 在线规划难题，提出 LCEOPT，用惰性交叉熵搜索迭代优化有限时域策略树分布，最高节省两个数量级计算并在高维动作问题上优于现有方法。
2023-12-18 cs.AI
Partially Observable Reference Policy Programming: Solving POMDPs Sans Numerical Optimisation
Australian National University（澳大利亚国立大学）
本文提出部分可观测参考策略规划求解器，通过深度采样未来历史并渐进更新策略，将性能损失界从采样误差最大值改进为平均值，并在大规模动态环境问题中显著超越现有在线基准。
2025-07-16 cs.AI
DESPOT: Online POMDP Planning with Regularization
ACEMS & Queensland University of Technology（ACEMS 与昆士兰科技大学）；National University of Singapore（新加坡国立大学）
部分可观测马尔可夫决策过程（POMDP）提供了一个原则性的一般框架下的不确定性规划，但最佳解决POMDP是计算上棘手的，由于“维数灾难”和“历史灾难”。为了克服这些挑战，我们引入了确定的稀疏部分可观察树（DESPOT），一个稀疏近似的标准信念树，在线规划下的不确定性。DESPOT将在线计划集中在一组随机抽样的场景上，并在这些场景下完整地捕获所有策略的“执行”。我们表明，从DESPOT获得的最佳策略是接近最优的，与遗憾的界限，取决于最优策略的代表性大小。利用这一结果，我们给出了一个随时在线规划算法，搜索DESPOT的政策，优化正则化的目标函数。正则化平衡了抽样场景下策略的估计值和策略大小，从而避免了过拟合。该算法表现出强大的实验结果，与一些最好的在线POMDP算法。它还被纳入自动驾驶系统，用于实时车辆控制。该算法的源代码可在线获得。
2017-09-19 cs.AI
Monte Carlo Sampling Methods for Approximating Interactive POMDPs
University of Georgia（佐治亚大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
部分可观测马尔可夫决策过程（POMDPs）提供了一个原则性的框架，顺序规划在不确定的单代理设置。POMDP的扩展到多智能体设置，称为交互式POMDP（I-POMDP），取代POMDP的信念空间与交互式层次的信念系统，代表一个代理人的信念，对物理世界，对其他代理人的信念，以及对他们的信念对他人的信念。这种修改使得由于信念和政策空间的复杂性而获得解决方案的困难变得更加尖锐。我们描述了一种基于粒子滤波（PF）的I-POMDPs的近似解的一般方法。我们引入了交互式PF，它降低了交互式信念层次结构和样本的水平，并在每个级别上传播信念。交互式PF能够降低信念空间复杂度，但不能解决策略空间复杂度。为了减轻政策的空间复杂度-有时也被称为历史的诅咒-我们利用一个互补的方法的基础上采样可能的意见，同时建立前瞻可达树。虽然这种方法不能完全解决历史的诅咒，但它大大削弱了诅咒的影响。我们提供实验结果和图表未来的工作。
2014-01-15 cs.AI
Robust Finite-Memory Policy Gradients for Hidden-Model POMDPs
Radboud University Nijmegen（奈克梅根雷达堡大学）；Brno University of Technology（布拉格技术大学）；Ruhr-University Bochum（波恩鲁尔大学）
针对隐模型POMDPs（HM-POMDPs）中策略对环境扰动鲁棒性不足的问题，结合演绎形式验证技术与子梯度上升优化，提出鲁棒有限记忆策略梯度方法，提升策略鲁棒性与泛化性并实现大规模扩展。
2025-08-20 cs.AI cs.LG
Sparse Stochastic Finite-State Controllers for POMDPs
Mississippi State University（密西西比州立大学）
有界策略迭代是一种求解无限时域POMDP的方法，它将策略表示为随机有限状态控制器，并通过使用线性规划调整每个节点的参数来迭代地改进控制器。在原算法中，线性规划的大小，从而策略改进的复杂性，取决于每个节点的参数的数量，这与控制器的大小增长。但在实际中，具有非零值的节点的参数的数量往往很小，并且不随控制器的大小而增长。基于这一观察，我们开发了一个版本的有界策略迭代，利用稀疏结构的随机有限状态控制器。在每次迭代中，它改进策略的数量与原始算法相同，但具有更好的可扩展性。
2012-06-13 cs.AI
Mixed Integer Linear Programming For Exact Finite-Horizon Planning In Decentralized Pomdps
INRIA-Lorraine（洛林法国国家信息与自动化研究所）；Loria（洛林计算机科学及其应用实验室）
我们考虑的问题，找到一个n-agent联合政策的最优有限时域控制的分散Pomdp（Dec-Pomdp）。这是一个非常复杂的问题（NEXP困难，n >= 2）。在本文中，我们提出了一个新的数学规划方法的问题。我们的方法是基于两个想法：第一，我们代表每个代理的政策在序列的形式，而不是在树的形式，从而获得一个非常紧凑的表示的联合政策。其次，使用这种紧凑的表示，我们解决这个问题的组合优化的情况下，我们制定了一个混合整数线性规划（MILP）。MILP的最优解直接产生Dec-Pomdp的最优联合策略。计算经验表明，制定和解决MILP需要显着更少的时间来解决基准Dec-Pomdp问题比现有的算法。例如，地平线4的多智能体老虎问题用MILP在72秒内解决，而现有的算法需要几个小时才能解决。
2007-07-17 cs.AI
Safe Policy Improvement for POMDPs via Finite-State Controllers
Radboud University Nijmegen（拉德堡德大学奈梅亨分校）
研究了部分可观测马尔可夫决策过程的安全策略改进问题。SPI是一个离线强化学习（RL）问题，它假设可以访问（1）关于环境的历史数据，以及（2）所谓的行为策略，该策略先前通过与环境交互生成此数据。SPI方法既不需要访问模型，也不需要访问环境本身，而是旨在以离线方式可靠地改进行为策略。现有的方法假设环境是完全可观察的。在我们的新方法的SPI问题的POMDPs，我们假设一个有限状态控制器（FSC）表示的行为政策和有限的内存是足够的，以获得最佳的政策。这个假设允许我们将POMDP映射到有限状态的完全可观测MDP，即历史MDP。我们估计这个MDP相结合的历史数据和内存的FSC，并计算一个改进的政策，使用现成的SPI算法。底层SPI方法根据可用数据约束策略空间，使得新计算的策略仅在足够数据可用时不同于行为策略。我们表明，这种新的政策，转换成一个新的FSC（未知）POMDP，优于行为政策的概率很高。几个成熟的基准测试的实验结果表明，即使在有限的内存是不够的情况下，该方法的适用性。
2023-01-12 cs.AI cs.LG
Policy Improvement for POMDPs Using Normalized Importance Sampling
Massachusetts Institute of Technology（麻省理工学院）
我们提出了一种新的方法来估计的POMDP的预期收益率从经验。该方法不假设任何知识的POMDP，并允许从一个任意序列的政策收集的经验。估计POMDP的任何新政策的回报。我们从函数逼近和重要性采样的观点出发，推导了该估计量的理论性质。虽然估计量是有偏的，但它具有低方差，并且当估计量用于成对比较时，偏差通常是不相关的。我们的结论是通过扩展的估计策略与内存和比较其性能在贪婪的搜索算法的增强算法显示的数量级减少所需的试验次数。
2013-01-10 cs.AI cs.LG
PEGASUS: A Policy Search Method for Large MDPs and POMDPs
UC Berkeley（加州大学伯克利分校）
我们提出了一种新的方法来搜索一个马尔可夫决策过程（MDP）或部分可观察马尔可夫决策过程（POMDP）的政策空间的问题，给定的模型。我们的方法是基于以下观察：任何（PO）MDP可以转化为一个“等效”POMDP中的所有状态转换（给定当前状态和动作）是确定性的。这将策略搜索的一般问题减少到我们只需要考虑具有确定性转换的POMDP的问题。我们给出了一个自然的方法来估计这些转换POMDPs中所有政策的价值。然后，通过搜索具有高估计值的策略来简单地执行策略搜索。我们还建立了我们的价值估计将是好的条件下，恢复类似于Kearns，Mansour和Ng（1999）的理论结果，但“样本复杂性”的界限，只有一个多项式，而不是指数依赖于地平线时间。我们的方法适用于任意POMDPs，包括无限状态和动作空间。我们还提出了一个小的离散问题，我们的方法的实证结果，并在一个复杂的连续状态/连续动作的问题，涉及学习骑自行车。
2013-01-16 cs.AI cs.LG
Bounded Policy Synthesis for POMDPs with Safe-Reachability Objectives
Rice University（莱斯大学）
在不确定性下规划鲁棒执行是构建自主机器人的基本挑战。部分可观测马尔可夫决策过程（POMDP）为许多应用中的不确定性建模提供了一个标准框架。在这项工作中，我们研究POMDPs的安全可达性的目标，这需要一个概率高于一定的阈值，最终达到一个目标状态，同时保持访问不安全状态的概率低于一定的阈值。这POMDP制定是不同于传统的POMDP模型的最优性目标，我们表明，在某些情况下，安全可达性目标的POMDP可以提供更好的保证安全性和可达性比现有的POMDP模型通过一个例子。POMDP的一个关键算法问题是策略综合，这需要在一个巨大的信念空间（概率分布）上进行推理。为了解决这一挑战，我们引入了一个目标约束的信念空间的概念，其中只包含信念可达到的初始信念下所需的执行，可以实现给定的安全可达性目标。我们的方法competently表示这个空间在一个有界的地平线上使用符号约束，并采用增量可满足性模理论（SMT）求解器，有效地搜索一个有效的policy.We评估我们的方法使用的案例研究，涉及部分可观察的机器人领域与不确定的障碍。结果表明，我们的方法可以合成政策在大的信念空间与少量的SMT求解器调用集中在目标约束的信念空间。
2018-05-09 cs.AI cs.RO
Finding Approximate POMDP solutions Through Belief Compression
Massachusetts Institute of Technology（麻省理工学院）；Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）
标准价值函数方法寻找部分可观测马尔可夫决策过程（POMDPs）的政策，通常被认为是棘手的大型模型。这些算法的棘手性在很大程度上是在整个信念空间上计算精确的最优策略的结果。然而，在现实世界的POMDP问题，计算最优策略的完整的信念空间往往是不必要的良好的控制，即使是复杂的政策类的问题。控制器所经历的信念通常位于嵌入在高维信念空间中的结构化的低维子空间附近。找到仅针对该子空间的最优价值函数的良好近似比计算完整的价值函数容易得多。我们介绍了一种新的方法来解决大规模POMDPs通过降低信仰空间的维数。我们使用指数族主成分分析（Collins，Dasgupta和Schapire，2002）来表示稀疏的，高维的信念空间，使用信念状态的小集合的学习特征。然后，我们仅根据低维信念特征进行规划。通过在这个低维空间中进行规划，我们可以找到POMDP模型的策略，这些策略比传统技术可以处理的模型大几个数量级。我们演示了使用该算法的合成问题和移动机器人导航任务。
2011-10-04 cs.AI
Information Gathering in Decentralized POMDPs by Policy Graph Improvement
University of Hamburg（汉堡大学）；TU Darmstadt（达姆施塔特工业大学）
当部署多个自主智能体来收集关于感兴趣的现象的数据而没有通信能力时，需要分散的信息收集策略。分散部分可观察马尔可夫决策过程（Dec-POMDPs）是一个通用的，原则性的模型，非常适合这种分散的多智能体决策问题。在本文中，我们研究Dec-POMDPs分散信息收集问题。Dec-POMDP的最优解使期望的回报之和随时间最大化。为了鼓励信息收集，我们将奖励设置为代理状态信息的函数，例如负香农熵。我们证明了，如果奖励是凸的，那么相应的Dec-POMDP的有限时域价值函数也是凸的。我们提出了第一个启发式算法的信息收集Dec-POMDPs，并通过解决问题的数量级大于以前的国家的最先进的经验证明其有效性。
2019-02-26 cs.AI cs.MA
A Model Approximation Scheme for Planning in Partially Observable Stochastic Domains
部分可观测马尔可夫决策过程（POMDPs）是规划问题的自然模型，其中行动的影响是不确定的，世界的状态是不完全可观测的。精确求解POMDPs是困难的。本文提出了一种新的近似方案。其基本思想是将POMDP转换为另一个由Oracle提供额外信息的POMDP。预言机通知规划代理世界的当前状态在某个区域中。转换后的POMDP因此被称为区域可观察。它比原来的POMDP更容易解决。我们建议解决转换后的POMDP，并使用其最优策略来构造原POMDP的近似策略。通过控制预言机提供的额外信息量，可以在计算时间和近似质量之间找到适当的折衷。在算法贡献方面，我们详细研究了如何利用区域可观性求解变换后的POMDP。为了便于研究，我们还提出了一个新的精确算法一般POMDPs。该算法在概念上是简单的，但显着比以前的精确算法更有效。
1997-11-01 cs.AI
Welfare Maximization Algorithm for Solving Budget-Constrained Multi-Component POMDPs
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Engineer Research and Development Center（工程研究与发展中心）；US Army Corps of Engineers（美国陆军工程兵团）
针对多组件基础设施维护检查的预算约束序贯决策问题，提出基于b-POMDP模型与福利最大化的最优策略求解算法，利用价值函数凹性实现预算最优分配，性能显著优于现有实用策略。
2023-05-14 cs.AI math.OC
ConstrainedZero: Chance-Constrained POMDP Planning using Learned Probabilistic Failure Surrogates and Adaptive Safety Constraints
Stanford University（斯坦福大学）；Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）
本文提出ConstrainedZero算法，通过神经网络学习CC-POMDP的最优值、策略和失败概率，并结合$Δ$-MCTS自适应调整安全阈值，在多个安全关键任务中实现了无需权衡奖励与成本即可满足目标安全水平。
2024-05-01 cs.AI
Utilization of domain knowledge to improve POMDP belief estimation
Honda Research Institute Japan（日本本田研究所）
部分可观测马尔可夫决策过程（POMDP）框架是一种常见的不确定性决策方法。最近，多项研究表明，通过将相关领域知识整合到POMDP信念估计中，我们可以提高学习策略的性能。在这项研究中，我们提出了一种新的方法集成领域知识的概率信念更新POMDP框架中使用杰弗里的规则和规范化。我们表明，领域知识可以利用，以减少数据需求，提高性能的POMDP策略学习与RL。
2023-02-17 cs.AI cs.LG
Towards Using Fully Observable Policies for POMDPs
Pázmány Péter Catholic University（帕兹马尼·彼得天主教大学）
部分可观测马尔可夫决策过程（POMDP）是一个适用于许多现实世界问题的框架。在这项工作中，我们提出了一种方法来解决POMDPs与多模态信念依赖于一个政策，解决了完全可观察的版本。通过定义一个新的，混合价值函数的基础上的价值函数从完全可观察变量，我们可以使用相应的贪婪策略来解决POMDP本身。我们开发必要的数学框架进行讨论，并介绍了一个基准建立在侦察盲TicTacToe的任务。在这个基准，我们表明，我们的政策优于政策，忽略存在多种模式。
2022-07-24 cs.AI cs.LG
Sequential Monte Carlo for Policy Optimization in Continuous POMDPs
University of Amsterdam（阿姆斯特丹大学）；Aalto University（阿尔托大学）
本文提出了一种基于序列蒙特卡洛的策略优化方法，用于解决连续部分可观测马尔可夫决策过程中的探索与利用平衡问题。
2025-12-04 cs.AI cs.LG stat.ML
The Actor Search Tree Critic (ASTC) for Off-Policy POMDP Learning in Medical Decision Making
Imperial College London（帝国理工学院）
非策略强化学习能够从次优经验中获得接近最优的策略，从而为人工智能在医疗保健中的应用提供了机会。以前的工作主要是将患者与临床医生的互动框定为马尔可夫决策过程，而真正的生理状态不一定完全可以从临床数据中观察到。我们捕捉这种情况与部分可观察的马尔可夫决策过程，其中代理优化其行动的信念表示为从个人的历史轨迹推断的患者状态的分布。高斯混合模型拟合的观测数据。此外，我们考虑到这样一个事实，即药物剂量的细微差别可能会导致显着不同的效果，通过直接在政策空间，即演员的高斯近似建模连续的政策。为了解决无限数量的可能的信念状态，使精确值迭代棘手的挑战，我们评估和计划，只有每一个遇到的信念，通过启发式搜索树，严格维护下限和上限的真实值的信念。我们进一步求助于函数近似来更新值边界估计，即评论家，使得树搜索可以通过边缘节点处的更紧凑的边界来改进，边缘节点将被反向传播到根。演员和评论家参数都是通过基于梯度的方法学习的。我们提出的政策从真正的重症监护病房数据训练，能够支配剂量的血管加压药和静脉输液败血症患者，导致最佳的患者结果。
2018-06-03 cs.AI
Centralized Model and Exploration Policy for Multi-Agent RL
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；University of Oxford（牛津大学）；NVIDIA（英伟达）
部分可观察、完全合作的多智能体环境（Dec-POMDP）中的强化学习（RL）原则上可以用于解决许多现实世界的挑战，例如控制一群救援机器人或一组四轴飞行器。然而，Dec-POMDP比单智能体问题更难解决，前者是NEXP-完全的，而后者，MDP，只是P-完全的。因此，目前的RL算法的Dec-POMDPs遭受的样本复杂性差，这大大降低了它们的适用性，环境交互是昂贵的实际问题。我们的关键见解是，只需使用多项式数量的样本，就可以学习一个集中式模型，该模型可以在不同的策略中进行推广。然后，我们可以在学习的模型而不是真实系统中优化策略，而不需要额外的环境交互。我们还在模型中学习了一种集中式探索策略，该策略学习在具有高模型不确定性的状态-动作区域中收集额外的数据。我们经验评估所提出的基于模型的算法，MARCO，在三个合作的通信任务，它提高了样本效率高达20倍。最后，为了研究理论上的样本复杂度，我们将现有的基于模型的表格MDP方法应用于Dec-POMDP，并证明它达到了多项式样本复杂度。
2022-02-07 cs.AI
Scalable Policy-Based RL Algorithms for POMDPs
UIUC（伊利诺伊大学香槟分校）
本文提出将POMDP近似为有限状态MDP，用线性函数逼近的基于策略方法求解，理论证明误差随历史长度指数衰减，并给出首个非马尔可夫动态下TD学习的有限时间误差界。
2025-10-13 cs.AI cs.LG stat.ML
Statistical Tractability of Off-policy Evaluation of History-dependent Policies in POMDPs
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文研究了POMDPs中依赖历史策略的离策略评估问题，证明了无模型方法在多种设定下的信息论困难性，并提出一种简单的基于模型的算法来规避部分困难，证明了无模型与基于模型方法间的可证明分离。
2025-03-03 cs.AI cs.LG
Robustness Analysis of POMDP Policies to Observation Perturbations
University of Colorado Boulder（科罗拉多大学博尔德分校）；Virginia Tech（弗吉尼亚理工大学）；Jet Propulsion Laboratory（喷气推进实验室）；California Institute of Technology（加州理工学院）
研究POMDP策略在观测模型偏差下的鲁棒性，提出政策观测鲁棒性问题，并设计Robust Interval Search算法，验证其在大规模POMDP问题中的有效性。
2026-04-23 cs.AI
Optimal and Approximate Q-value Functions for Decentralized POMDPs
University of Amsterdam（阿姆斯特丹大学）；Instituto Superior Técnico（里斯本高等理工学院）；Technical University of Crete（克里特理工大学）
决策理论规划是一种流行的方法，顺序决策问题，因为它处理的不确定性，在传感器和行动的原则。在MDP和POMDP等单智能体框架中，规划可以通过求助于Q-价值函数来执行：通过动态规划以递归方式计算最优Q-值函数Q*，然后从Q* 中提取最优策略。在本文中，我们研究是否可以定义类似的Q-价值函数的分散POMDP模型（Dec-POMDP），以及如何从这样的价值函数中提取政策。我们定义了两种形式的最佳Q-价值函数的Dec-POMDPs：一个是一个规范的描述作为Q-价值函数的最佳纯联合政策和另一个是顺序合理的，从而给出了一个配方的计算。然而，除了最小的问题之外，这种计算对所有问题都是不可行的。因此，我们分析了各种近似Q-价值函数，允许有效的计算。我们描述了它们之间的关系，并证明了它们都提供了最优Q-价值函数Q* 的上界。最后，统一以前的一些方法来解决Dec-POMDPs，我们描述了一个家庭的算法，从这样的Q-价值函数提取政策，并进行实验评估现有的测试问题，包括一个新的消防基准问题。
2011-10-31 cs.AI
Off-Policy Evaluation in Partially Observable Environments
Technion Institute of Technology（以色列理工学院）
本文研究了部分可观测环境下强化学习的批量离策评估问题。在部分可观测性下的非政策评估本质上倾向于偏差，具有任意大误差的风险。我们定义了部分可观测马尔可夫决策过程（POMDPs）的离政策评估问题，并建立了我们认为是POMDPs的第一个离政策评估结果。此外，我们制定了一个模型，其中观察到的和未观察到的变量被解耦成两个动态过程，称为解耦POMDP。我们展示了如何在这个新模型下进行政策评估，减轻一般POMDPs固有的估计误差。我们证明了POMDP的政策外评估的陷阱，使用一个著名的政策外的方法，重要性采样，并将其与我们的结果进行比较合成的医疗数据。
2019-11-24 cs.AI cs.LG cs.SY
Stick-Breaking Policy Learning in Dec-POMDPs
MIT（麻省理工学院）；University of New Hampshire（新罕布什尔大学）；Duke University（杜克大学）
本文提出了一种变大小状态控制器的Dec-SBPR框架，通过Stick-Breaking先验构建局部策略，无需假设Dec-POMDP模型即可学习控制器参数，有效提升大规模问题的性能。
2015-11-23 cs.AI cs.SY eess.SY
Multi-Environment POMDPs with Finite-Horizon Objectives
Institute of Science and Technology Austria（奥地利科学与技术研究所）
本文研究多环境POMDPs在有限时间目标下的最优值与策略计算，证明该问题在POMDPs中为PSPACE完全问题，并提出有效算法在经典基准上表现优异。
2026-05-08 cs.AI
Experimental results : Reinforcement Learning of POMDPs using Spectral Methods
University of California, Irvine（加利福尼亚大学欧文分校）；INRIA, France（法国国家信息与自动化研究所）
提出了一种基于谱分解方法的部分可观测马尔可夫决策过程（POMDP）的强化学习新算法。虽然谱方法以前已经用于（被动）潜变量模型（如隐马尔可夫模型）的一致学习，但POMDP更具挑战性，因为学习者与环境交互，并可能改变过程中的未来观测。我们设计了一个贯穿各个时期的学习算法，在每个时期，我们采用谱技术从一个固定的策略生成的轨迹中学习POMDP参数。在历元结束时，优化预言机返回最优无记忆规划策略，该策略基于估计的POMDP模型最大化期望回报。我们证明了一个订单最优的遗憾界方面的最优无记忆政策和有效的缩放方面的维度的观察和行动空间。
2017-05-07 cs.AI cs.LG stat.ML
Reinforcement Learning for POMDP: Partitioned Rollout and Policy Iteration with Application to Autonomous Sequential Repair Problems
Arizona State University（亚利桑那州立大学）；Massachusetts Institute of Technology（麻省理工学院）
本文研究了具有有限状态空间和控制空间，部分状态观测的无限时域折扣动态规划问题。我们讨论了一个算法，使用多步前瞻，截断推出一个已知的基本政策，和终端成本函数近似。该算法还用于近似策略迭代方案中的策略改进，其中通过使用神经网络分类器来近似连续的策略。我们的方法的一个新的特点是，它非常适合分布式计算，通过扩展的信念空间配方和使用分区架构，这是训练与多个神经网络。我们应用我们的方法在模拟一类顺序修复问题，机器人检查和修复管道与潜在的几个破裂部位下的部分信息的管道的状态。
2020-02-11 cs.AI cs.RO
Value-Directed Belief State Approximation for POMDPs
University of British Columbia（不列颠哥伦比亚大学）；University of Toronto（多伦多大学）
我们认为问题的信念状态监测的目的是实现一个政策的部分可观察马尔可夫决策过程（POMDP），特别是如何可以近似的信念状态。用于置信状态近似的其他方案（例如，基于最小化诸如真实状态和估计状态之间的KL-发散的测量）不一定适合于POMDP。相反，我们提出了一个框架，用于分析价值导向的近似方案，近似质量是由预期的误差效用，而不是由错误的信念状态本身。我们提出了探试法找到良好的投影方案的信念状态估计-展示任何时候的特点-给定的POMDP值funcntion。我们还描述了几种算法，用于构建的决策质量（预期效用）的错误的界限，根据一个给定的信念状态近似与行动。
2013-01-16 cs.AI
Anytime Planning for Decentralized POMDPs using Expectation Maximization
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
分散POMDPs提供了一个表达框架，多代理顺序决策。虽然有限时域DECPOMDPs已经取得了显著的成功，进展仍然缓慢的无限时域的情况下，主要是由于固有的复杂性，优化随机控制器代表代理政策。我们提出了一个很有前途的新一类算法的无限地平线的情况下，重铸的优化问题的推理混合DBNs。这种方法的一个有吸引力的特点是直接采用现有的推理技术在DBN解决DEC-POMDP和支持更丰富的表示，如因子或连续的状态和动作。我们还推导出期望最大化（EM）算法来优化联合政策表示为DBN。在基准域上的实验表明，EM与最先进的求解器相比毫不逊色。
2012-03-15 cs.AI
Perseus: Randomized Point-based Value Iteration for POMDPs
University of Amsterdam（阿姆斯特丹大学）
部分可观测马尔可夫决策过程（POMDPs）形成了一个有吸引力的和原则性的框架下不确定性的代理规划。POMDP基于点的近似技术计算的基础上，提前从代理的信念空间收集的一组有限的点的政策。我们提出了一个随机点为基础的值迭代算法称为珀尔修斯。该算法执行近似值备份阶段，确保在每个备份阶段的信念集中的每个点的值得到改善;关键的观察是，一个单一的备份可能会提高许多信念点的值。与其他基于点的方法相反，Perseus只备份信念集中的（随机选择的）点子集，足以提高集合中每个信念点的值。我们展示了同样的想法可以扩展到处理连续的动作空间。实验结果显示了Perseus在大规模POMDP问题中的潜力。
2011-09-09 cs.AI
Partially Observable Monte-Carlo Graph Search
本文提出离线采样算法POMCGS，通过动态折叠蒙特卡洛搜索树构建策略图，并结合动作渐进加宽与观测聚类处理大型及连续POMDP，实验表明其策略质量可媲美先进在线算法。
2025-07-28 cs.AI cs.RO
Value-Directed Sampling Methods for POMDPs
Brown University（布朗大学）
我们考虑的问题，近似的信念状态监测，使用粒子滤波的目的是实现一个政策的部分可观察马尔可夫决策过程（POMDP）。虽然粒子滤波已经成为人工智能中用于监测动态系统的广泛使用的工具，但很少有人关注它们在决策环境中的使用。假设存在一个价值函数，我们推导出与过滤使用重要性采样的决策质量的误差界。我们还描述了一个自适应程序，可用于动态确定所需的样本数，以满足特定的误差范围。经验证据支持这种技术作为一种有利可图的手段，指导抽样工作，它是需要区分政策。
2013-01-10 cs.AI
Monte-Carlo Search for an Equilibrium in Dec-POMDPs
Université de Lorraine（洛林大学）；INRIA（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；LORIA（洛林计算机科学及其应用研究所）
本文针对仅有模拟器的Dec-POMDPs，提出基于仿真的MC-JESP方法逐节点构建有限状态控制器以寻求纳什均衡，实验证明其优于多数离线方法。
2023-05-19 cs.AI
Hilbert Space Embeddings of POMDPs
The Institute of Statistical Mathematics（统计数理研究所）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Gatsby Computational Neuroscience Unit, CSML, UCL（盖茨比计算神经科学单元，CSML，伦敦大学学院）
提出了一种POMDPs策略学习的非参数方法。该方法将状态、观测和动作的分布表示为特征空间中的嵌入，特征空间是再生核希尔伯特空间。通过将核贝叶斯规则应用于这些分布嵌入来获得给定观测值的状态分布。在状态特征空间上定义了策略和价值函数，从而得到了Bellman方程的特征空间表达式。然后，可以使用值迭代来估计最优价值函数和相关联的策略。实验结果证实，正确的政策学习使用的特征空间表示。
2012-10-16 cs.AI cs.LG stat.ML
Solving Collaborative Dec-POMDPs with Deep Reinforcement Learning Heuristics
针对现有 Dec-POMDP 最先进算法难以处理复杂智能体协作的问题，提出 SA2MA 两阶段方法：先学习单智能体策略，再将其用于多智能体求解，并在复杂协作领域中取得明显优势。
2024-08-30 cs.AI cs.LG cs.MA
Accelerated Online Risk-Averse Policy Evaluation in POMDPs with Theoretical Guarantees and Novel CVaR Bounds
Technion - Israel Institute of Technology（技术学院-以色列理工学院）
本文提出了一种在POMDP中加速风险厌恶策略评估的方法，通过理论保证和新的CVaR界限，实现计算效率的提升。
2026-02-26 cs.AI math.ST stat.TH
Reinforcement Learning of POMDPs using Spectral Methods
University of California, Irvine（加州大学欧文分校）
本文提出基于谱分解方法的POMDP强化学习算法，通过轨迹学习参数并利用优化 oracle 得到最优无记忆策略，证明了与最优无记忆策略的最优 regret 绑定和高维空间的高效扩展性。
2016-05-29 cs.AI cs.LG cs.NA
Improving Training Result of Partially Observable Markov Decision Process by Filtering Beliefs
在这项研究中，我提出了一个过滤信念的方法来提高性能的部分可观察马尔可夫决策过程（POMDPs），这是一种广泛使用的方法在自主机器人和许多其他领域的控制策略。我的方法搜索和比较每一个相似的信念对。由于相似信念对控制策略的影响不大，为了减少训练时间，过滤掉了相似信念。实验结果表明，该方法优于基于点的近似POMDPs的训练结果的质量以及该方法的效率。
2021-01-05 cs.AI
Memory-based Deep Reinforcement Learning for POMDPs
University of Waterloo（滑铁卢大学）；Monash University（莫纳什大学）
深度强化学习（DRL）的一个有前途的特性是它能够以端到端的方式学习最优策略，而不依赖于特征工程。然而，大多数方法假设完全可观察的状态空间，即完全可观察的马尔可夫决策过程（MDP）。在现实世界的机器人中，这种假设是不切实际的，因为传感器灵敏度限制和传感器噪声等问题，以及缺乏关于观察设计是否完整的知识。这些场景导致部分可观察的MDP（POMDP）。本文通过在TD 3中引入记忆成分，提出了基于长短期记忆的双延迟深度确定性策略梯度（LSTM-TD 3），并在MDP和POMDP中与其他DRL算法进行了性能比较。我们的研究结果表明，内存组件在解决POMDPs的显着优势，包括处理丢失和嘈杂的观测数据的能力。
2021-09-13 cs.AI cs.LG cs.RO
SOAP-RL: Sequential Option Advantage Propagation for Reinforcement Learning in POMDP Environments
Visual Geometry Group（视觉几何组）；University of Oxford（牛津大学）
本文提出PPOEM和SOAP两种算法解决POMDP中无监督学习时间一致选项的挑战，SOAP通过扩展GAE传播选项优势，在Atari等基准上表现最优。
2024-10-11 cs.AI cs.LG
Learning Logic Specifications for Policy Guidance in POMDPs: an Inductive Logic Programming Approach
University of Verona（维罗纳大学）
本文利用 ILP 从 POMDP 执行轨迹中学习可解释的 ASP 置信策略规约，作为在线启发式指导 POMCP、DESPOT 和 AdaOPS，并在 rocksample 与 pocman 上验证其高效、优越且可泛化。
2024-02-29 cs.AI cs.LG cs.LO
A Method for Speeding Up Value Iteration in Partially Observable Markov Decision Processes
Hong Kong University of Science & Technology（香港科技大学）
我们提出了一种加速部分可观察马尔可夫决策过程（POMDP）值迭代收敛的技术。其基本思想类似于完全可观测马尔可夫决策过程（MDP）的修改策略迭代。该技术可以很容易地纳入任何现有的POMDP值迭代算法。在几个测试问题上进行了实验，一个POMDP值迭代算法称为增量修剪。我们发现，该技术可以使增量修剪运行几个数量级更快。
2013-01-23 cs.AI
A Scalable Method for Solving High-Dimensional Continuous POMDPs Using Local Approximation
Washington University in St. Louis（圣路易斯华盛顿大学）
部分可观测马尔可夫决策过程（POMDP）通常通过找到相应的信念MDP的近似全局解来求解。本文针对具有连续状态、动作和观测空间的POMDP问题，提出了一种新的规划算法。由于这样的域具有固有的局部性概念，我们可以使用局部优化方法找到近似解。我们参数化的信念分布为高斯混合，并使用扩展卡尔曼滤波器（EKF）近似的信念更新。由于EKF是一阶滤波器，因此我们可以通过分析对观测值进行边缘化。通过在政策执行期间使用反馈控制和状态估计，我们可以恢复有效地取决于传入观察的行为，尽管是无条件的规划。局部优化提供了没有保证的全局最优性，但它允许我们处理域，至少是一个数量级大于目前最先进的。我们证明了我们的算法的可扩展性，考虑模拟手眼协调域与16个连续的状态维度和6个连续的动作维度。
2012-03-15 cs.AI
Voronoi Progressive Widening: Efficient Online Solvers for Continuous State, Action, and Observation POMDPs
University of California, Berkeley（加州大学伯克利分校）；University of Colorado Boulder（科罗拉多大学博尔德分校）
本文介绍了Voronoi渐进加宽（VPW），Voronoi乐观优化（VOO）和行动渐进加宽部分可观测马尔可夫决策过程（POMDPs）的推广。树搜索算法可以使用VPW有效地处理连续或混合动作空间，有效地平衡局部和全局动作搜索。本文提出了两种基于VPW的算法，并从理论和仿真的角度进行了分析。Voronoi乐观加权稀疏采样（VOWSS）是一种理论工具，证明了基于VPW的在线求解器，它是第一个具有连续状态，动作和观测POMDPs全局收敛保证的算法。VOMCPOW是一种多功能和高效的算法，在几个仿真实验中始终优于最先进的POMDP算法。
2021-04-01 cs.AI cs.LG cs.RO
Risk-Averse Online POMDP Planning via CVaR of the Immediate Cost with Performance Guarantees
Technion – Israel Institute of Technology（以色列理工学院）
针对在线POMDP规划中期望成本掩盖高风险状态的问题，提出对每步信念上的即时成本应用CVaR，保留期望累积回报为目标，使任何基于期望的规划器仅通过改变成本计算即可实现风险敏感，并给出有限时间性能保证。
2026-09-30 cs.AI
Point-Based Methods for Model Checking in Partially Observable Markov Decision Processes
Stanford University（斯坦福大学）；KTH Royal Institute of Technology（KTH皇家理工学院）
自治系统通常需要在部分可观察的环境中运行。它们必须可靠地执行指定的目标，即使有关环境状态的信息不完整。我们提出了一种方法来合成的政策，满足线性时序逻辑公式的部分可观察马尔可夫决策过程（POMDP）。通过制定规划问题，我们展示了如何使用基于点的值迭代方法来有效地近似满足所需逻辑公式的最大概率，并计算相关的信念状态策略。我们证明了我们的方法可扩展到大POMDP域，并提供了强大的界限所产生的政策的性能。
2020-01-11 cs.AI
Online Risk-Averse Planning in POMDPs Using Iterated CVaR Value Function
Technion - Israel Institute of Technology（以色列理工学院）
本文提出在POMDPs中使用ICVaR价值函数进行在线风险厌恶规划，通过扩展三种算法以优化风险度量，实验显示其在降低尾部风险方面优于传统方法。
2026-01-28 cs.AI
