Verification of indefinite-horizon POMDPs
RWTH Aachen University（亚琛工业大学）；University of California, Berkeley（加州大学伯克利分校）
MDP中的验证问题是，对于任何解决不确定性的策略，发生不好的事情的概率是否受某个给定阈值的限制。这个验证问题通常过于悲观，因为它考虑的策略可能依赖于完整的系统状态。本文考虑了部分可观测MDP的验证问题，其中策略根据系统发出的观测（历史）做出决策。我们提出了一个抽象细化框架扩展以前的实例化的Lovejoy的方法。我们的实验表明，该框架显着提高了方法的可扩展性。
2020-06-30 cs.AI cs.LO
On the Complexity Gap Between POMDPs and Multi-Environment POMDPs
Radboud University（拉德堡德大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Antwerp（安特卫普大学）；Ruhr-University Bochum（鲁尔大学波鸿分校）
该研究分析ME-POMDPs的复杂度，证明多环境盲MDPs等子类为NP完全、部分子类为PSPACE完全、部分问题为∃ℝ完全，揭示两类POMDPs复杂度的微妙关系。
2026-10-14 cs.AI
Optimal Cost Almost-sure Reachability in POMDPs
IST Austria（奥地利科学技术研究所）；IIT Bombay（印度理工学院孟买分校）
我们考虑部分可观测马尔可夫决策过程（POMDPs）与一组目标状态和每一个过渡与一个整数成本。我们研究的优化目标要求最小化期望总成本，直到达到目标集，同时确保几乎肯定达到目标集（概率为1）。我们表明，整数成本近似的最优成本是不可判定的。对于正成本，我们的结果如下：（i）我们建立了最优成本的匹配上下界，并且该界是双指数的;（ii）我们证明了最优成本的近似问题是可判定的，并在有限时间目标的POMDPs的现有算法的基础上提出了近似算法.虽然我们的算法的最坏情况下的运行时间是双指数，我们还提出了有效的停止标准的算法，并通过实验表明，它在许多感兴趣的例子中表现良好。
2014-11-14 cs.AI
Online Planning Algorithms for POMDPs
McGill University（麦吉尔大学）；Laval University（拉瓦尔大学）
部分可观测马尔可夫决策过程（POMDPs）为随机域中不确定性下的序贯决策提供了一个丰富的框架。然而，解决POMDP往往是棘手的，除了小问题，由于其复杂性。在这里，我们专注于在线方法，减轻计算复杂性计算良好的本地政策在执行过程中的每个决策步骤。在线算法通常由前瞻搜索组成，以找到在环境中的每个时间步执行的最佳动作。我们在这里的目标是调查现有的各种在线POMDP方法，分析其属性，并讨论其优点和缺点;并彻底评估这些在线方法在不同的环境下的各种指标（返回，误差界减少，下界改进）。我们的实验结果表明，国家的最先进的在线启发式搜索方法可以有效地处理大POMDP域。
2014-01-15 cs.AI
Monte-Carlo Search for an Equilibrium in Dec-POMDPs
Université de Lorraine（洛林大学）；INRIA（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；LORIA（洛林计算机科学及其应用研究所）
本文针对仅有模拟器的Dec-POMDPs，提出基于仿真的MC-JESP方法逐节点构建有限状态控制器以寻求纳什均衡，实验证明其优于多数离线方法。
2023-05-19 cs.AI
Qualitative Possibilistic Mixed-Observable MDPs
IRIT – Paul Sabatier University（IRIT - 图卢兹第三大学（保罗·萨巴蒂埃大学））；Onera – The French Aerospace Lab（法国国家航空航天研究中心）
可能性和定性POMDP（pi-POMDP）是POMDP的对应物，用于模拟由于缺乏过去的经验或数据汇集不足而导致代理的初始信念或观察概率不精确的情况。然而，像概率POMDPs，最佳解决pi-POMDPs是棘手的：有限的信念状态空间指数增长与系统的状态数。在本文中，一个可能性版本的混合可观测MDP的解决这个问题：解决pi-POMDP的复杂性，其中一些状态变量是完全可观测的，然后可以显着降低。一个值迭代算法，这个新的配方下无限地平线提出和最优性的返回策略（指定的标准）示出假设存在一个“停留”的行动在一些目标状态。实验工作最后表明，这种可能性模型优于概率POMDPs通常用于机器人技术中，对于目标识别问题，代理的意见是不精确的。
2013-09-26 cs.AI
Stochastic Shortest Path with Energy Constraints in POMDPs
Masaryk University（马萨里克大学）；IST Austria（奥地利科学技术研究所）；IIT Bombay（印度理工学院孟买分校）
我们考虑部分可观测马尔可夫决策过程（POMDPs）与一组目标状态和正整数成本与每一个过渡。传统的优化目标（随机最短路径）要求最小化期望的总成本，直到达到目标集。我们扩展了传统的框架POMDPs模型的能源消耗，这是一个硬约束。能量水平可以随着转变而增加和减少，并且硬约束要求能量水平必须在所有步骤中保持为正，直到达到目标。首先，我们提出了一种新的算法求解POMDP的能量水平，现有的POMDP求解器的发展，并使用RTDP作为其主要方法。我们的第二个贡献与政策代表性有关。对于较大的POMDP实例，现有求解器计算的策略太大而无法理解。我们提出了一个基于机器学习技术的自动化过程，该技术自动提取策略的重要决策，使我们能够计算简洁的人类可读策略。最后，我们的实验表明，我们的算法表现良好，并计算简洁的政策上的一些POMDP实例从文献中自然增强的能量水平。
2016-05-11 cs.AI
Revelations: A Decidable Class of POMDPs with Omega-Regular Objectives
CNRS（法国国家科学研究中心）；University of Antwerp（安特卫普大学）；Flanders Make（法兰德斯制造研究院）
针对POMDP中omega正则目标的可判定性问题，提出启示机制限制信息损失，将弱启示和强启示两类POMDP的可判定情形归结为有限信念支撑MDP，从而给出精确算法。
2024-12-16 cs.AI cs.LO cs.SY
Learning Symbolic Persistent Macro-Actions for POMDP Solving Over Time
University of Verona（威尼斯大学）
本文提出用基于事件演算的 LTL 片段生成持续宏动作，并通过 ILP 从少量轨迹中学习，以引导 MCTS 求解 POMDP，在 Pocman 和 Rocksample 上实现了更强表达能力和计算效率提升。
2025-05-06 cs.AI
A multi-objective constrained POMDP model for breast cancer screening
Toronto Metropolitan University（多伦多都会大学）
提出一种用于乳腺癌筛查的多目标约束POMDP模型，通过最大化QALYs和最小化LBCMR，识别不同预算和风险下的Pareto前沿，为决策者提供优于单目标模型的均衡筛查政策。
2023-01-26 cs.AI
MAGIC: Learning Macro-Actions for Online POMDP Planning
National University of Singapore（新加坡国立大学）
部分可观测马尔可夫决策过程（POMDP）是机器人在不确定性条件下进行决策的基本框架，但当需要进行长期规划时，POMDP规划具有较高的计算复杂性。虽然时间扩展的宏动作有助于减少有效的规划视野和显着提高计算效率，我们如何获得良好的宏动作？本文提出了Macro-Action Generator-Critic（MAGIC），它对针对在线POMDP规划优化的宏动作进行离线学习。具体来说，MAGIC端到端地学习宏动作生成器，使用在线计划器的性能作为反馈。在在线规划过程中，生成器根据机器人的信念和环境上下文生成动态的情境感知宏动作。我们评估了MAGIC在模拟和真实机器人上的几个长期规划任务。实验结果表明，与原始动作和手工宏动作相比，学习的宏动作在在线规划性能方面具有显着优势。
2021-07-01 cs.AI cs.LG cs.RO
Optimizing Expectation with Guarantees in POMDPs (Technical Report)
IST Austria（奥地利科学技术研究所）；Université Libre de Bruxelles（布鲁塞尔自由大学）；University of Cambridge（剑桥大学）
部分可观测马尔可夫决策过程（POMDPs）的一个标准目标是找到一个最大化预期贴现和收益的策略。然而，这样的策略可能仍然允许不太可能但非常不期望的结果，这是有问题的，特别是在安全关键应用中。最近，人们对POMDPs的兴趣激增，其目标是最大化概率以确保回报至少是给定的阈值，但这些方法不考虑任何超出满足此阈值约束的优化。在这项工作中，我们超越了“期望”和“阈值”的方法，并考虑了POMDPs的“保证收益优化（PMM）”问题，其中我们给出了一个阈值$t$，目标是找到一个策略$σ$，使得a）$σ$的每个可能结果产生至少$t$的折扣和收益，以及b）在满足a）的所有策略中，$σ$的预期贴现和收益是最优的（或接近最优的）。我们提出了一个实用的方法来解决这个问题，并评估它的标准POMDP基准。
2017-01-29 cs.AI cs.GT
Intention-Aware Navigation in Crowds with Extended-Space POMDP Planning
University of Colorado Boulder（科罗拉多大学博尔德分校）
本文提出了一种混合在线部分可观测马尔可夫决策过程（POMDP）规划系统，解决了存在的多模态不确定性的环境中的其他代理的自主导航问题。作为一个特殊的例子，我们考虑在密集的行人和障碍物之间的自主导航的问题。这个问题的流行方法首先使用完整的规划器（例如，混合A*）与关于不确定性的特设假设，然后使用在线基于树的POMDP求解器来推理不确定性，并控制问题的有限方面（即沿着路径的速度）。我们提出了一种更有能力和响应更快的实时方法，使POMDP规划者能够控制更多的自由度（例如，速度和航向），以实现更灵活、更高效的解决方案。这种修改极大地扩展了POMDP规划器必须推理的状态空间的区域，显著地增加了在实时的控制提供的有限计算预算内找到有效的铺开策略的重要性。我们的关键见解是使用多查询运动规划技术（例如，ProbabilityRoadmaps或FastMarchingMethod）作为先验，用于为POMDP规划树在其有限范围搜索期间可能到达的每个状态快速生成有效的推出策略。我们提出的方法生成的轨迹是安全的，比以前的方法更有效，即使在密集拥挤的动态环境中，规划的视野很长。
2022-06-20 cs.AI cs.RO
Quantum POMDPs
Rethink Robotics（Rethink Robotics公司）；Denbar Robotics（Denbar Robotics公司）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
我们提出了量子可观测马尔可夫决策过程（QOMDPs），部分可观测马尔可夫决策过程（POMDPs）的量子模拟。在QOMDP中，代理的状态被表示为量子状态，并且代理可以选择要应用的超算子。这类似于POMDP信念状态，POMDP信念状态是世界状态的概率分布，并通过随机矩阵演化。我们表明，存在的政策，至少有一定的价值具有相同的复杂性，QOMDPs和POMDPs的多项式和无限地平线的情况下。然而，我们也证明了存在的政策，可以达到一个目标状态是可判定的目标POMDPs和不可判定的目标QOMDPs。
2014-10-01 cs.AI quant-ph
Recursively-Constrained Partially Observable Markov Decision Processes
University of Colorado Boulder（科罗拉多大学博尔德分校）；Jet Propulsion Laboratory（喷气推进实验室）；California Institute of Technology（加州理工学院）
针对C-POMDP违反最优子结构导致在线重规划无效的问题，提出RC-POMDP模型，引入依赖历史代价约束，确保确定性最优策略并遵循Bellman原理，同时提出基于点的动态规划算法，实验证明其能产生更理想行为。
2024-06-05 cs.AI cs.RO
DESPOT: Online POMDP Planning with Regularization
ACEMS & Queensland University of Technology（ACEMS 与昆士兰科技大学）；National University of Singapore（新加坡国立大学）
部分可观测马尔可夫决策过程（POMDP）提供了一个原则性的一般框架下的不确定性规划，但最佳解决POMDP是计算上棘手的，由于“维数灾难”和“历史灾难”。为了克服这些挑战，我们引入了确定的稀疏部分可观察树（DESPOT），一个稀疏近似的标准信念树，在线规划下的不确定性。DESPOT将在线计划集中在一组随机抽样的场景上，并在这些场景下完整地捕获所有策略的“执行”。我们表明，从DESPOT获得的最佳策略是接近最优的，与遗憾的界限，取决于最优策略的代表性大小。利用这一结果，我们给出了一个随时在线规划算法，搜索DESPOT的政策，优化正则化的目标函数。正则化平衡了抽样场景下策略的估计值和策略大小，从而避免了过拟合。该算法表现出强大的实验结果，与一些最好的在线POMDP算法。它还被纳入自动驾驶系统，用于实时车辆控制。该算法的源代码可在线获得。
2017-09-19 cs.AI
Information Gathering in Decentralized POMDPs by Policy Graph Improvement
University of Hamburg（汉堡大学）；TU Darmstadt（达姆施塔特工业大学）
当部署多个自主智能体来收集关于感兴趣的现象的数据而没有通信能力时，需要分散的信息收集策略。分散部分可观察马尔可夫决策过程（Dec-POMDPs）是一个通用的，原则性的模型，非常适合这种分散的多智能体决策问题。在本文中，我们研究Dec-POMDPs分散信息收集问题。Dec-POMDP的最优解使期望的回报之和随时间最大化。为了鼓励信息收集，我们将奖励设置为代理状态信息的函数，例如负香农熵。我们证明了，如果奖励是凸的，那么相应的Dec-POMDP的有限时域价值函数也是凸的。我们提出了第一个启发式算法的信息收集Dec-POMDPs，并通过解决问题的数量级大于以前的国家的最先进的经验证明其有效性。
2019-02-26 cs.AI cs.MA
A Surprisingly Simple Continuous-Action POMDP Solver: Lazy Cross-Entropy Search Over Policy Trees
The University of Queensland（昆士兰大学）；Australian National University（澳大利亚国立大学）
针对连续动作 POMDP 在线规划难题，提出 LCEOPT，用惰性交叉熵搜索迭代优化有限时域策略树分布，最高节省两个数量级计算并在高维动作问题上优于现有方法。
2023-12-18 cs.AI
Risk-Averse Online POMDP Planning via CVaR of the Immediate Cost with Performance Guarantees
Technion – Israel Institute of Technology（以色列理工学院）
针对在线POMDP规划中期望成本掩盖高风险状态的问题，提出对每步信念上的即时成本应用CVaR，保留期望累积回报为目标，使任何基于期望的规划器仅通过改变成本计算即可实现风险敏感，并给出有限时间性能保证。
2026-09-30 cs.AI
Optimizing Lithium Production Decisions under Geological, Demand, and Pricing Uncertainties: A POMDP Framework for Multi-Objective Decision Making
Computer Science Department, Stanford University（斯坦福大学计算机科学系）；Aeronautics and Astronautics Department, Stanford University（斯坦福大学航空与航天系）；Earth and Planetary Sciences Department, Stanford University（斯坦福大学地球与行星科学系）
提出POMDP框架，通过信念状态规划优化锂矿开采决策，动态适应价格不确定性，实现更高需求满足和更平衡的经济环境效益。
2026-06-18 cs.AI cs.LG
Formalizing the Problem of Side Effect Regularization
UC Berkeley（加州大学伯克利分校）；Oregon State University（俄勒冈州立大学）
人工智能的目标通常很难正确地指定。一些方法通过规范AI的副作用来解决这个问题：代理必须权衡“他们制造了多少混乱”与一个不完美的指定代理目标。我们提出了一个正式的标准，通过援助游戏框架的副作用正规化。在这些游戏中，智能体解决了一个部分可观察的马尔可夫决策过程（POMDP），表示它应该优化的目标函数的不确定性。我们考虑的设置，真实的目标是揭示代理在稍后的时间步骤。我们表明，这POMDP是解决了代理的代理奖励与代理的能力，以实现一系列的未来任务的权衡。我们实证证明我们的问题形式化的合理性，通过地面实况评估在两个网格世界环境。
2022-11-08 cs.AI
ConstrainedZero: Chance-Constrained POMDP Planning using Learned Probabilistic Failure Surrogates and Adaptive Safety Constraints
Stanford University（斯坦福大学）；Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）
本文提出ConstrainedZero算法，通过神经网络学习CC-POMDP的最优值、策略和失败概率，并结合$Δ$-MCTS自适应调整安全阈值，在多个安全关键任务中实现了无需权衡奖励与成本即可满足目标安全水平。
2024-05-01 cs.AI
Belief-State Query Policies for User-Aligned POMDPs
针对现实场景中部分可观测且需满足用户需求的规划问题，提出基于参数化信念状态查询（BSQ）策略的框架，通过理论分析得出隐式离散参数搜索空间有限的结论，进而设计优化算法并验证其计算可行性。
2025-04-15 cs.AI
REBA: A Revealed Belief Automaton Framework for Online Planning in Continuous POMDPs
School of Computer Science and Technology, Dalian University of Technology（大连理工大学计算机科学与技术学院）；School of Computer Science and Artificial Intelligence, Liaoning Normal University（辽宁师范大学计算机科学与人工智能学院）；Human-Centered AI Lab, Department of Ecosystem Management, Climate and Biodiversity, BOKU University（BOKU大学生态系统管理与气候生物多样性系人本人工智能实验室）；Institute of Human-Centered Computing, Graz University of Technology（格拉茨技术大学人本计算研究所）
提出REBA框架，通过信息论门在线分析连续信念空间并建立可靠锚点，构建有限信念自动机，结合ω-正则规范实现无需预定义离散抽象的在线规划，在巡逻和导航任务中性能提升17%-47.4%。
2026-06-23 cs.AI
PEGASUS: A Policy Search Method for Large MDPs and POMDPs
UC Berkeley（加州大学伯克利分校）
我们提出了一种新的方法来搜索一个马尔可夫决策过程（MDP）或部分可观察马尔可夫决策过程（POMDP）的政策空间的问题，给定的模型。我们的方法是基于以下观察：任何（PO）MDP可以转化为一个“等效”POMDP中的所有状态转换（给定当前状态和动作）是确定性的。这将策略搜索的一般问题减少到我们只需要考虑具有确定性转换的POMDP的问题。我们给出了一个自然的方法来估计这些转换POMDPs中所有政策的价值。然后，通过搜索具有高估计值的策略来简单地执行策略搜索。我们还建立了我们的价值估计将是好的条件下，恢复类似于Kearns，Mansour和Ng（1999）的理论结果，但“样本复杂性”的界限，只有一个多项式，而不是指数依赖于地平线时间。我们的方法适用于任意POMDPs，包括无限状态和动作空间。我们还提出了一个小的离散问题，我们的方法的实证结果，并在一个复杂的连续状态/连续动作的问题，涉及学习骑自行车。
2013-01-16 cs.AI cs.LG
Welfare Maximization Algorithm for Solving Budget-Constrained Multi-Component POMDPs
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Engineer Research and Development Center（工程研究与发展中心）；US Army Corps of Engineers（美国陆军工程兵团）
针对多组件基础设施维护检查的预算约束序贯决策问题，提出基于b-POMDP模型与福利最大化的最优策略求解算法，利用价值函数凹性实现预算最优分配，性能显著优于现有实用策略。
2023-05-14 cs.AI math.OC
Ensuring Logic in the Fog: Sound POMDP Synthesis with LTL Objectives
Imperial College London（伦敦帝国理工学院）；University College London（伦敦大学学院）
本文提出一种新的可靠奖励塑造机制，用于在部分可观测马尔可夫决策过程中实现LTL目标的合成，通过增强的蒙特卡洛规划框架提升在部分可观测环境中的导航能力。
2026-05-12 cs.AI cs.FL cs.LO
Sound Heuristic Search Value Iteration for Undiscounted POMDPs with Reachability Objectives
University of Colorado Boulder（科罗拉多大学博尔德分校）；Jet Propulsion Laboratory（喷气推进实验室）；California Institute of Technology（加州理工学院）
本文研究无折扣 POMDP 的最大可达性概率问题，提出一种基于试验的启发式搜索值迭代新算法，通过值边界引导信念空间探索并解决循环处理缺陷，提供双侧概率界限，实验证明其在概率保证和计算时间上优于现有方法。
2024-06-05 cs.AI cs.LO cs.RO
Smoother Entropy for Active State Trajectory Estimation and Obfuscation in POMDPs
University of Melbourne（墨尔本大学）；Australian National University（澳大利亚国立大学）
本研究将POMDP中状态轨迹估计的促进或阻碍问题编码为平滑熵优化，通过信念状态重构为可处理的MDP，实现更优的主动估计与混淆。
2023-02-12 cs.AI cs.IT cs.SY
Monte Carlo Planning in Hybrid Belief POMDPs
Technion - Israel Institute of Technology（以色列理工学院）
针对现有在线POMDP求解器无法直接支持混合信念、难以应对假设指数增长计算负担的问题，提出HB-MCP算法，结合MCTS与UCB探索奖励维持混合信念并引导树生长，在多模态信念假设的混淆模拟环境中验证了方法。
2023-05-02 cs.AI cs.RO
Value of Information and Reward Specification in Active Inference and POMDPs
VERSES Research Lab（VERSES研究实验室）
该研究将期望自由能（EFE）置于信念MDP框架下，借助强化学习理论工具证明EFE通过信息价值近似贝叶斯最优RL策略，揭示了主动推理与奖励驱动RL的关联及对主动推理目标设定的启示。
2024-08-13 cs.AI cs.LG
PO-PDDL: Learning Symbolic POMDPs from Visual Demonstrations for Robot Planning Under Uncertainty
Shanghai Jiao Tong University（上海交通大学）；Shanghai Innovation Institute（上海创新研究院）
提出PO-PDDL符号化POMDP框架，通过从机器人执行视频中重建潜在状态轨迹、识别部分可观测性并学习随机转移与观测模型，实现不确定性下的鲁棒任务规划。
2026-08-21 cs.AI cs.RO
Mixing Any Cocktail with Limited Ingredients: On the Structure of Payoff Sets in Multi-Objective POMDPs and its Impact on Randomised Strategies
TRAIL institute（TRAIL研究院）；F.R.S.-FNRS（比利时科学基金会）；UMONS – Université de Mons（蒙斯大学）
本文研究多目标 POMDP 的期望收益向量集结构，证明有限纯策略的初始混合可任意逼近或精确实现可达收益。
2025-09-29 cs.AI cs.FL cs.GT
Solving infinite-horizon Dec-POMDPs using Finite State Controllers within JESP
Université de Lorraine（洛林大学）；INRIA（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；LORIA（洛林计算机科学与应用数学实验室）
本文着眼于通过搜索纳什均衡来解决形式化为分散式POMDP（Dec-POMDP）的协同规划问题，即，每个代理的策略是对其他代理的（固定）策略的最佳响应的情况。虽然联合基于平衡的搜索策略（JESP）算法在有限时域设置依赖于策略树，我们建议在这里适应它的无限时域Dec-POMDPs通过使用有限状态控制器（FSC）的政策表示。在这篇文章中，我们（1）解释了如何将具有$N-1$固定FSC的Dec-POMDP转化为解是$N^\text{th}$代理最佳对策的无限时域POMDP;（2）提出了一个JESP变体，称为\infJESP，使用它来求解无限时域Dec-POMDP;（3）引入JESP的启发式初始化，旨在得到好的解;以及（4）在最先进的基准问题上进行实验以评估我们的方法。
2021-09-17 cs.AI
Infinite-Horizon Policy-Gradient Estimation
WhizBang! Labs（WhizBang!实验室）；BIOwulf Technologies（BIOwulf技术公司）
在强化学习中，基于约束的直接策略搜索方法作为解决部分可观测性问题和避免与值函数方法中的策略退化相关的一些问题的手段，最近受到了广泛的关注。在本文中，我们介绍了GPOMDP，一个基于模拟的算法生成的{ \em偏置}的梯度估计的{\em平均奖励}在部分可观察马尔可夫决策过程（POMDP）控制的参数化随机政策。Kimura、Yamamura和Kobayashi（1995）提出了一个类似的算法。该算法的主要优点是，它只需要存储两倍数量的策略参数，使用一个自由参数$β\in [0,1)$（它有一个自然的解释偏置方差权衡方面），并要求没有知识的基础状态。我们证明收敛的GPOMDP，并显示如何正确选择的参数$β$有关的{ \em混合时间}的控制POMDP。我们简要描述扩展GPOMDP控制马尔可夫链，连续状态，观察和控制空间，多代理，高阶导数，和一个版本的训练随机政策与内部状态。在一篇配套论文（Baxter，Bartlett，& Weaver，2001）中，我们展示了GPOMDP生成的梯度估计如何用于传统的随机梯度算法和共轭梯度过程，以找到平均奖励的局部最优值
2019-11-15 cs.AI
Posterior Sampling-based Online Learning for Episodic POMDPs
University of Southern California（南加州大学）；eBay, Inc.（亿贝公司）；Google DeepMind（谷歌DeepMind）
本文针对情景POMDP在线学习问题提出后验采样算法PS4POMDPs，证明其贝叶斯遗憾在一般情形下随视界指数增长且该下界不可避免，但在不完备弱揭示条件下可达到多项式遗憾界，并扩展至多智能体场景。
2024-10-23 cs.AI cs.LG cs.SY
Sequential Monte Carlo for Policy Optimization in Continuous POMDPs
University of Amsterdam（阿姆斯特丹大学）；Aalto University（阿尔托大学）
本文提出了一种基于序列蒙特卡洛的策略优化方法，用于解决连续部分可观测马尔可夫决策过程中的探索与利用平衡问题。
2025-12-04 cs.AI cs.LG stat.ML
How to Explore with Belief: State Entropy Maximization in POMDPs
Politecnico di Milano（米兰理工大学）；Technion – Israel Institute of Technology（以色列理工学院）
本文研究了部分可观测环境下的状态熵最大化问题，提出了一种基于信念状态的高效策略梯度方法，并形式化分析了近似差距、优化景观与幻觉问题。
2024-06-04 cs.AI cs.LG
Strategy Synthesis in POMDPs via Game-Based Abstractions
Albert-Ludwigs-Universität Freiburg（弗莱堡大学）；Concept Engineering GmbH（Concept Engineering有限公司）；RWTH Aachen University（亚琛工业大学）；Radboud University（拉德堡德大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们研究部分可观测马尔可夫决策过程（POMDPs）中的约束合成问题，其目标是计算一个代理的策略，保证满足一定的安全性和性能规范。然而，POMDPs的验证和策略合成一般在计算上是难以处理的。我们减轻这个困难，专注于规划应用程序和利用典型的结构特性，这样的情况下，例如，我们假设代理有能力观察自己的位置内的环境。我们提出了一个抽象的细化框架，把这样的POMDP模型变成一个（完全可观察的）概率两人游戏（PG）。对于所获得的PG，有效的验证和合成工具允许确定具有最佳安全性和性能措施的策略，这些措施近似于POMDP上的最佳参数。如果近似值太粗糙而不能满足给定的规范，则细化方案可以改进计算策略。作为一个运行的例子，我们使用的规划问题，代理移动的环境内随机移动的障碍物和有限的可观察性。我们证明了所提出的方法通过解决比现有POMDP求解器可以处理的问题大几个数量级的问题来推进最先进的技术。此外，该方法提供了安全约束的保证，这是不支持的大多数现有的求解器。
2019-05-27 cs.AI cs.RO
Reward-Driven LLM Agent Workflows: Synthesizing POMDP Routing and Self-Correction for Autonomous Decision-Making
研究针对LLM智能体应用挑战，设计优化工作流程，合成多种AI范式，引入POMDP路由和自我修正奖励模型，整合多模态输入与强化学习原则，实验显示相比主流基线任务成功率等提升24.5%，为自主系统AI技术开发提供参考框架。
2026-07-21 cs.AI
Explanation through Reward Model Reconciliation using POMDP Tree Search
Department of Aerospace Engineering Sciences, University of Colorado Boulder（科罗拉多大学博尔德分校航空航天工程科学系）；Applied Physics Laboratory, Johns Hopkins University（约翰霍普金斯大学应用物理实验室）
本文通过POMDP树搜索协调算法与用户隐式奖励模型差异，以提升用户对AI系统的信任度。
2023-05-01 cs.AI cs.HC cs.LG
Point-Based Methods for Model Checking in Partially Observable Markov Decision Processes
Stanford University（斯坦福大学）；KTH Royal Institute of Technology（KTH皇家理工学院）
自治系统通常需要在部分可观察的环境中运行。它们必须可靠地执行指定的目标，即使有关环境状态的信息不完整。我们提出了一种方法来合成的政策，满足线性时序逻辑公式的部分可观察马尔可夫决策过程（POMDP）。通过制定规划问题，我们展示了如何使用基于点的值迭代方法来有效地近似满足所需逻辑公式的最大概率，并计算相关的信念状态策略。我们证明了我们的方法可扩展到大POMDP域，并提供了强大的界限所产生的政策的性能。
2020-01-11 cs.AI
Experiments with Infinite-Horizon, Policy-Gradient Estimation
WhizBang! Labs（惠兹邦实验室）；BIOwulf Technologies（比奥沃尔夫技术公司）；Australian National University（澳大利亚国立大学）
在本文中，我们提出的算法，执行梯度上升的平均奖励的部分可观察马尔可夫决策过程（POMDP）。这些算法是基于GPOMDP，一个在同伴论文（Baxter和Bartlett，本卷）中介绍的算法，它计算POMDP中性能梯度的有偏估计。该算法的主要优点是，它只使用一个自由参数β，它有一个自然的解释偏置方差权衡，它不需要的知识的基础状态，它可以应用到无限的状态，控制和观察空间。我们展示了如何GPOMDP产生的梯度估计可用于执行梯度上升，无论是与传统的随机梯度算法，并与共轭梯度的基础上，利用梯度信息括号中的最大值线搜索的算法。实验结果说明了理论结果（巴克斯特和巴特利特，本卷）的玩具问题，和实际方面的算法上的一些更现实的问题。
2019-11-14 cs.AI cs.LG
Reinforcement Learning for POMDP: Partitioned Rollout and Policy Iteration with Application to Autonomous Sequential Repair Problems
Arizona State University（亚利桑那州立大学）；Massachusetts Institute of Technology（麻省理工学院）
本文研究了具有有限状态空间和控制空间，部分状态观测的无限时域折扣动态规划问题。我们讨论了一个算法，使用多步前瞻，截断推出一个已知的基本政策，和终端成本函数近似。该算法还用于近似策略迭代方案中的策略改进，其中通过使用神经网络分类器来近似连续的策略。我们的方法的一个新的特点是，它非常适合分布式计算，通过扩展的信念空间配方和使用分区架构，这是训练与多个神经网络。我们应用我们的方法在模拟一类顺序修复问题，机器人检查和修复管道与潜在的几个破裂部位下的部分信息的管道的状态。
2020-02-11 cs.AI cs.RO
The Complexity of Decentralized Control of Markov Decision Processes
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
从决策论的角度考虑了具有部分状态信息的分布式智能体的规划问题.我们描述了广义的MDP和POMDP模型，允许分散控制。即使是少量的代理人，我们的两个模型对应的有限时域问题是完整的非确定性指数时间。这些复杂性的结果说明了马尔可夫过程的集中控制和分散控制之间的根本区别。与MDP和POMDP问题相比，我们考虑的问题可证明不允许多项式时间算法，并且在最坏的情况下很可能需要双指数时间来解决。因此，我们提供了相应的数学证据的直觉，分散的规划问题不能很容易地减少到集中的问题，并解决了使用既定的技术。
2013-01-16 cs.AI
Mixed Integer Linear Programming For Exact Finite-Horizon Planning In Decentralized Pomdps
INRIA-Lorraine（洛林法国国家信息与自动化研究所）；Loria（洛林计算机科学及其应用实验室）
我们考虑的问题，找到一个n-agent联合政策的最优有限时域控制的分散Pomdp（Dec-Pomdp）。这是一个非常复杂的问题（NEXP困难，n >= 2）。在本文中，我们提出了一个新的数学规划方法的问题。我们的方法是基于两个想法：第一，我们代表每个代理的政策在序列的形式，而不是在树的形式，从而获得一个非常紧凑的表示的联合政策。其次，使用这种紧凑的表示，我们解决这个问题的组合优化的情况下，我们制定了一个混合整数线性规划（MILP）。MILP的最优解直接产生Dec-Pomdp的最优联合策略。计算经验表明，制定和解决MILP需要显着更少的时间来解决基准Dec-Pomdp问题比现有的算法。例如，地平线4的多智能体老虎问题用MILP在72秒内解决，而现有的算法需要几个小时才能解决。
2007-07-17 cs.AI
Bridging POMDPs and Bayesian decision making for robust maintenance planning under model uncertainty: An application to railway systems
ETH Zürich（苏黎世联邦理工学院）；Swiss Federal Railways SBB（瑞士联邦铁路）；Technical University of Munich（慕尼黑工业大学）；Pennsylvania State Univ.（宾夕法尼亚州立大学）
结构健康监测（SHM）描述了用于推断结构状况的可量化指标的过程，其可以用作支持关于基础设施资产的操作和维护的决策的输入。由于关键结构的寿命很长，这个问题可以被看作是一个连续的决策问题，在规定的范围。部分可观测马尔可夫决策过程（POMDPs）提供了一个正式的框架来解决潜在的最优规划任务。然而，两个问题可能会破坏POMDP解决方案。首先，需要一个模型，可以充分描述恶化或纠正措施下的结构条件的演变，其次，从可用的监测数据的观察过程参数的恢复的非平凡的任务。尽管存在这些潜在的挑战，但所采用的POMDP模型通常不考虑模型参数的不确定性，导致解决方案可能不切实际地自信。在这项工作中，我们解决了这两个关键问题。我们提出了一个框架，估计POMDP过渡和观察模型参数直接从现有的数据，通过马尔可夫链蒙特卡罗（MCMC）采样的隐马尔可夫模型（HMM）的条件下的行动。MCMC推断估计所涉及的模型参数的分布。然后，我们形成并解决POMDP问题，利用推断的分布，推导出的解决方案，是强大的模型的不确定性。我们成功地应用我们的方法对铁路轨道资产的维修规划的基础上的“分形值”指标，这是从实际的铁路监测数据计算。
2022-12-15 cs.AI cs.LG cs.SY
Value-Function Approximations for Partially Observable Markov Decision Processes
Brown University（布朗大学）
部分可观测马尔可夫决策过程（POMDPs）提供了一个优雅的数学框架，用于建模复杂的决策和规划问题的随机域中，系统的状态只能间接观察，通过一组不完美的或嘈杂的意见。然而，POMDPs的建模优势是有代价的--求解它们的精确方法在计算上非常昂贵，因此在实践中只适用于非常简单的问题。我们专注于有效的近似（启发式）的方法，试图减轻计算问题和权衡速度的准确性。我们有两个目标。首先，我们综述了各种近似方法，分析了它们的性质和关系，并对它们的差异提供了一些新的见解。其次，我们提出了一些新的近似方法和现有技术的新改进。从代理导航域的问题上的实验支持的理论结果。
2011-06-01 cs.AI
SOAP-RL: Sequential Option Advantage Propagation for Reinforcement Learning in POMDP Environments
Visual Geometry Group（视觉几何组）；University of Oxford（牛津大学）
本文提出PPOEM和SOAP两种算法解决POMDP中无监督学习时间一致选项的挑战，SOAP通过扩展GAE传播选项优势，在Atari等基准上表现最优。
2024-10-11 cs.AI cs.LG
Risk-Averse Planning Under Uncertainty
California Institute of Technology（加州理工学院）；NASA Jet Propulsion Laboratory（美国国家航空航天局喷气推进实验室）
研究了具有动态一致风险目标的部分可观测马尔可夫决策过程的策略设计问题。为POMDP合成风险规避最优策略需要无限的内存，因此是不可判定的。为了克服这个困难，我们提出了一种基于有界策略迭代的方法来设计随机但有限状态（记忆）控制器，它利用了标准的凸优化方法。给定一个内存预算和最优性准则，该方法修改随机有限状态控制器，导致次优解具有较低的相干风险。
2019-09-27 cs.AI cs.RO math.OC
Interval POMDP Shielding for Imperfect-Perception Agents
Department of Computer Science（计算机科学系）；Colorado State University（科罗拉多州立大学）
本文研究了在感知不确定性估计有限标注数据情况下，如何通过区间部分可观测马尔可夫决策过程构建防护机制，以提高自主系统决策的安全性。
2026-08-20 cs.AI cs.SY eess.SY
Solving Robust POMDPs with Omega-regular Objectives via Partially Observable Stochastic Games
Indian Institute of Technology Bombay（印度孟买理工学院）；Nanyang Technological University（南洋理工大学）
本研究建立了具有多面体不确定集合的（s,a）-矩形鲁棒部分可观察马尔可夫决策过程与部分可观察随机博弈的语义等价性，推导了求解具有ω-正则目标的RPOMDPs及RMDPs的新计算复杂度结果。
2026-09-30 cs.AI
Optimal Inspection and Maintenance Planning for Deteriorating Structural Components through Dynamic Bayesian Networks and Markov Decision Processes
University of Liege（列日大学）；The Pennsylvania State University（宾夕法尼亚州立大学）；Aalborg University（奥尔堡大学）
土木和海事工程系统，尤其是从桥梁到海上平台和风力涡轮机，必须得到有效的管理，因为它们在整个使用寿命期间都暴露于老化机制，如疲劳或腐蚀。确定最佳的检查和维修政策需要解决一个复杂的顺序决策问题的不确定性，有效地控制与结构故障相关的风险的主要目标。为了解决这种复杂性，基于风险的检查规划方法，通常由动态贝叶斯网络支持，评估一组预定义的启发式决策规则，以合理地简化决策问题。然而，所得到的策略可能会受到决策规则定义中考虑的有限空间的影响。部分可观测马尔可夫决策过程（POMDPs）为不确定行为结果和观测下的随机最优控制提供了一种原则性的数学方法，其中最优行为被规定为整个动态更新的状态概率分布的函数。在本文中，我们结合动态贝叶斯网络与POMDPs在一个联合框架的最佳检查和维修规划，我们提供了制定无限和有限的地平线POMDPs在结构可靠性的背景下。所提出的方法的实施和测试的情况下，受到疲劳退化的结构部件，展示了最先进的点为基础的POMDP求解器的能力，用于解决潜在的规划优化问题。在数值实验中，POMDP和基于竞争的政策进行了彻底的比较，结果表明，POMDP实现大幅降低成本相比，他们的同行，即使是传统的问题设置。
2021-11-28 cs.AI cs.SY eess.SY
Planning for Decentralized Control of Multiple Robots Under Uncertainty
CSAIL（计算机科学与人工智能实验室）
我们描述了一个概率框架综合控制策略一般多机器人系统，给定的环境和传感器模型和成本函数。分散式部分可观测马尔可夫决策过程（Dec-POMDPs）是决策过程的一般模型，其中一组代理必须在存在不确定性的情况下合作优化某些目标（由共享奖励或成本函数指定），但其中通信限制意味着代理不能共享其状态，因此执行必须以分散的方式进行。虽然Dec-POMDP通常难以解决现实世界的问题，但最近关于Dec-POMDP中使用宏动作的研究显着增加了可以作为Dec-POMDP实际解决的问题的大小。我们描述了这个一般模型，并展示了如何，与大多数现有的方法，专门针对一个特定的问题类，它可以合成控制策略，使用任何机会协调存在的问题，同时平衡的不确定性的结果，传感器信息，和其他代理人的信息。我们使用三个变化的仓库任务，表明这种类型的一个单一的计划可以产生合作的行为，使用任务分配，直接沟通，和信令，适当的。
2014-02-12 cs.AI cs.MA cs.RO
