Forward and Backward Bellman equations improve the efficiency of EM algorithm for DEC-POMDP
The University of Tokyo（东京大学）
分散部分可观察马尔可夫决策过程（DEC-POMDP）模型由一组代理的顺序决策问题。由于DEC-POMDP的规划可以解释为隐变量模型的最大似然估计，因此DEC-POMDP可以通过EM算法求解。然而，在EM的DEC-POMDP，向前-向后算法需要计算到无限的水平，这影响了计算效率。本文通过在EM中引入前向和后向Bellman方程，提出了Bellman EM算法（BEM）和改进的Bellman EM算法（MBEM）。BEM比EM更有效，因为BEM计算向前和向后Bellman方程，而不是向前-向后算法直到无限水平。然而，当问题的规模很大时，BEM并不总是比EM更有效，因为BEM计算逆矩阵。我们绕过这个缺点MBEM计算向前和向后贝尔曼方程没有逆矩阵。数值实验表明，MBEM的收敛速度比EM快。
2021-05-06 cs.LG cs.MA math.OC
Computationally Efficient PAC RL in POMDPs with Latent Determinism and Conditional Embeddings
Cornell University（康奈尔大学）；Princeton University（普林斯顿大学）
研究了大规模部分可观测马尔可夫决策过程（POMDPs）的函数逼近强化学习，其中状态空间和观测空间都很大甚至是连续的。特别地，我们考虑POMDP的Hilbert空间嵌入，其中潜在状态的特征和观测的特征允许观测发射过程的条件Hilbert空间嵌入，并且潜在状态转移是确定性的。在最优潜在状态-动作$Q$ -函数在状态特征上是线性的，并且最优$Q$ -函数在动作上有间隙的函数近似设置下，我们提供了一个寻找\emph{exact optimal}策略的\emph{computationally and statistically efficient}算法.我们展示了我们的算法的计算和统计复杂性尺度多项式的地平线和内在维度的观察空间上的功能。此外，我们证明了确定性的潜在转移和间隙假设是必要的，以避免统计复杂性指数的水平或维度。由于我们的保证没有明确的依赖于状态和观测空间的大小，我们的算法可证明规模大规模POMDPs。
2022-06-24 cs.LG stat.ME stat.ML
PEGASUS: A Policy Search Method for Large MDPs and POMDPs
UC Berkeley（加州大学伯克利分校）
我们提出了一种新的方法来搜索一个马尔可夫决策过程（MDP）或部分可观察马尔可夫决策过程（POMDP）的政策空间的问题，给定的模型。我们的方法是基于以下观察：任何（PO）MDP可以转化为一个“等效”POMDP中的所有状态转换（给定当前状态和动作）是确定性的。这将策略搜索的一般问题减少到我们只需要考虑具有确定性转换的POMDP的问题。我们给出了一个自然的方法来估计这些转换POMDPs中所有政策的价值。然后，通过搜索具有高估计值的策略来简单地执行策略搜索。我们还建立了我们的价值估计将是好的条件下，恢复类似于Kearns，Mansour和Ng（1999）的理论结果，但“样本复杂性”的界限，只有一个多项式，而不是指数依赖于地平线时间。我们的方法适用于任意POMDPs，包括无限状态和动作空间。我们还提出了一个小的离散问题，我们的方法的实证结果，并在一个复杂的连续状态/连续动作的问题，涉及学习骑自行车。
2013-01-16 cs.AI cs.LG
A Covering Framework for Offline POMDPs Learning using Belief Space Metric
Northwestern University（西北大学）
本文提出一种利用信念空间度量的离线POMDP学习覆盖框架，通过分析价值相关函数的Lipschitz连续性，缓解时间与内存的指数增长，提升样本效率。
2026-03-03 cs.LG math.OC stat.ML
Posterior Sampling-based Online Learning for Episodic POMDPs
University of Southern California（南加州大学）；eBay, Inc.（亿贝公司）；Google DeepMind（谷歌DeepMind）
本文针对情景POMDP在线学习问题提出后验采样算法PS4POMDPs，证明其贝叶斯遗憾在一般情形下随视界指数增长且该下界不可避免，但在不完备弱揭示条件下可达到多项式遗憾界，并扩展至多智能体场景。
2024-10-23 cs.AI cs.LG cs.SY
Learning Logic Specifications for Policy Guidance in POMDPs: an Inductive Logic Programming Approach
University of Verona（维罗纳大学）
本文利用 ILP 从 POMDP 执行轨迹中学习可解释的 ASP 置信策略规约，作为在线启发式指导 POMCP、DESPOT 和 AdaOPS，并在 rocksample 与 pocman 上验证其高效、优越且可泛化。
2024-02-29 cs.AI cs.LG cs.LO
Future-Dependent Value-Based Off-Policy Evaluation in POMDPs
Cornell University（康奈尔大学）；Genentech（基因泰克公司）；Tokyo Institute of Technology（东京工业大学）；Morgan Stanley（摩根士丹利）；MIT（麻省理工学院）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；LSE（伦敦政治经济学院）
针对POMDP中现有OPE方法受维度灾难限制的问题，提出引入未来依赖价值函数的新无模型OPE方法，推导新贝尔曼方程并采用极小极大学习，在信息充分和贝尔曼完备条件下获得PAC一致性保证，并扩展到动力学学习。该研究为部分可观测环境下的离线评估提供了新途径。
2023-11-14 cs.LG stat.ML
Efficient Learning of POMDPs with Known Observation Model in Average-Reward Setting
Politecnico di Milano（米兰理工大学）
针对已知观测模型、未知转移的平均奖励无限时域POMDP，提出OAS估计与OAS-UCRL乐观强化学习算法，证明O(√(T log T))遗憾并通过仿真验证。
2024-10-02 cs.LG stat.ML
Experiments with Infinite-Horizon, Policy-Gradient Estimation
WhizBang! Labs（惠兹邦实验室）；BIOwulf Technologies（比奥沃尔夫技术公司）；Australian National University（澳大利亚国立大学）
在本文中，我们提出的算法，执行梯度上升的平均奖励的部分可观察马尔可夫决策过程（POMDP）。这些算法是基于GPOMDP，一个在同伴论文（Baxter和Bartlett，本卷）中介绍的算法，它计算POMDP中性能梯度的有偏估计。该算法的主要优点是，它只使用一个自由参数β，它有一个自然的解释偏置方差权衡，它不需要的知识的基础状态，它可以应用到无限的状态，控制和观察空间。我们展示了如何GPOMDP产生的梯度估计可用于执行梯度上升，无论是与传统的随机梯度算法，并与共轭梯度的基础上，利用梯度信息括号中的最大值线搜索的算法。实验结果说明了理论结果（巴克斯特和巴特利特，本卷）的玩具问题，和实际方面的算法上的一些更现实的问题。
2019-11-14 cs.AI cs.LG
A Policy Gradient Method for Confounded POMDPs
Johns Hopkins University（约翰斯·霍普金斯大学）；George Washington University（乔治华盛顿大学）
本文首次在离线场景下针对混杂POMDPs提出策略梯度方法，通过新颖的识别结果和极小极大学习估计策略梯度，并证明了有限样本界和全局收敛性。
2023-12-01 cs.LG econ.EM math.ST
Bridging POMDPs and Bayesian decision making for robust maintenance planning under model uncertainty: An application to railway systems
ETH Zürich（苏黎世联邦理工学院）；Swiss Federal Railways SBB（瑞士联邦铁路）；Technical University of Munich（慕尼黑工业大学）；Pennsylvania State Univ.（宾夕法尼亚州立大学）
结构健康监测（SHM）描述了用于推断结构状况的可量化指标的过程，其可以用作支持关于基础设施资产的操作和维护的决策的输入。由于关键结构的寿命很长，这个问题可以被看作是一个连续的决策问题，在规定的范围。部分可观测马尔可夫决策过程（POMDPs）提供了一个正式的框架来解决潜在的最优规划任务。然而，两个问题可能会破坏POMDP解决方案。首先，需要一个模型，可以充分描述恶化或纠正措施下的结构条件的演变，其次，从可用的监测数据的观察过程参数的恢复的非平凡的任务。尽管存在这些潜在的挑战，但所采用的POMDP模型通常不考虑模型参数的不确定性，导致解决方案可能不切实际地自信。在这项工作中，我们解决了这两个关键问题。我们提出了一个框架，估计POMDP过渡和观察模型参数直接从现有的数据，通过马尔可夫链蒙特卡罗（MCMC）采样的隐马尔可夫模型（HMM）的条件下的行动。MCMC推断估计所涉及的模型参数的分布。然后，我们形成并解决POMDP问题，利用推断的分布，推导出的解决方案，是强大的模型的不确定性。我们成功地应用我们的方法对铁路轨道资产的维修规划的基础上的“分形值”指标，这是从实际的铁路监测数据计算。
2022-12-15 cs.AI cs.LG cs.SY
Provably Efficient Reinforcement Learning in Partially Observable Dynamical Systems
Cornell University（康奈尔大学）；Princeton University（普林斯顿大学）
我们研究了部分可观测动力系统的函数逼近强化学习。我们提出了一个新的\textit{Partially Observable Bilinear Actor-Critic framework}，这是一般性的，足以包括模型，如可观察的表格部分可观察马尔可夫决策过程（POMDPs），可观察的线性二次高斯（LQG），预测状态表示（PSR），以及一个新引入的模型希尔伯特空间嵌入的POMDPs和可观察的POMDPs与潜在的低秩转换。在这个框架下，我们提出了一个演员-评论家风格的算法，能够执行不可知的策略学习。给定一个由基于内存的策略（查看最近观察的固定长度窗口）组成的策略类，以及一个由将内存和未来观察作为输入的函数组成的价值函数类，我们的算法学习与给定策略类中最好的基于内存的策略竞争。对于某些例子，如不完全可观测的表格POMDPs，可观测的LQG和可观测的POMDPs与潜在的低秩转换，通过隐含地利用其特殊属性，我们的算法甚至能够竞争的全局最优策略，而无需支付指数依赖于地平线上的样本复杂度。
2022-06-24 cs.LG math.ST stat.ME
Optimally Solving Simultaneous-Move Dec-POMDPs: The Sequential Central Planning Approach
Univ Lyon, INSA Lyon, Inria（里昂大学、里昂国立应用科学学院、法国国家信息与自动化研究所）；University of Groningen（格罗宁根大学）
针对同时行动Dec-POMDP求解可扩展性差的问题，提出序贯行动集中训练分散执行范式，将备份算子复杂度从双指数降至多项式级，适配单智能体方法且保留收敛保证，实验验证其优于现有ε-最优同时行动求解器。
2025-01-13 cs.LG cs.MA
Multi-agent active perception with prediction rewards
Universität Hamburg（汉堡大学）；TU Delft（代尔夫特理工大学）
多智能体主动感知是一个任务，其中一个团队的代理合作收集的意见，以计算一个隐藏的变量的联合估计。该任务是分散的，联合估计只能在任务结束后通过融合所有智能体的观察来计算。目标是最大限度地提高估计的准确性。准确性由集中式预测奖励量化，该奖励由集中式决策者确定，该决策者在任务结束后感知所有代理收集的观察结果。在本文中，我们模型的多智能体主动感知作为一个分散的部分可观察马尔可夫决策过程（Dec-POMDP）与凸集中预测奖励。我们证明，通过为每个代理引入单独的预测动作，该问题被转换为具有分散预测奖励的标准Dec-POMDP。由于分散化的损失是有界的，我们给出了一个充分条件时，它是零。我们的研究结果允许应用任何Dec-POMDP解决方案算法的多智能体主动感知问题，并使规划，以减少不确定性，而无需显式计算的联合估计。我们证明了我们的研究结果的经验有用性，通过应用一个标准的Dec-POMDP算法的多智能体主动感知问题，在规划视野中显示出更大的可扩展性。
2020-10-22 cs.AI cs.LG cs.MA
Value of structural health information in partially observable stochastic environments
The Pennsylvania State University（宾夕法尼亚州立大学）；ETH Zürich（苏黎世联邦理工学院）
不确定性观测与决策优化的有效整合是制定知情干预行动的关键，能够保护恶化的工程系统的结构安全。为此，有必要根据其预期的基于价值的收益客观地执行检查和监测策略的调度，这些收益尤其反映了诸如信息价值（VoI）和结构健康监测价值（VoSHM）之类的定量度量。在这项工作中，我们介绍和研究的理论和计算基础的部分可观察马尔可夫决策过程（POMDPs）的背景下，上述指标，从而暗示了广泛的一类决策问题的部分可观察的随机恶化的环境，可以建模为POMDPs。逐步和生命周期的VOI和VOSHM的定义和他们的界限进行了分析，根据贝尔曼方程和由此产生的最佳价值函数的属性。结果表明，POMDP政策本质上是利用的概念VoI指导观测行动在每一个决策步骤中的最佳方式，以及SHM或检查访问，分别提供的永久或间歇性的信息，只能提高成本的这种政策在长期内，这是不一定是真的，在当地最优的政策，通常采用的结构和基础设施的决策。POMDP的解决方案是基于点为基础的价值迭代方法的基础上得出的，和各种定义量化的静态和非静态恶化的环境中，无限和有限的规划视野，具有单一或多组件的工程系统。
2020-07-20 cs.AI cs.LG cs.SY
Learning for Multi-robot Cooperation in Partially Observable Stochastic Environments with Macro-actions
IBM T. J. Watson Research Center（IBM T. J. 沃森研究中心）；Princeton University（普林斯顿大学）；Massachusetts Institute of Technology（麻省理工学院）；Northeastern University（东北大学）
提出了一种基于分散部分可观测马尔可夫决策过程（Dec-POMDP）和宏动作（MAs）的数据驱动的部分可观测域多机器人协调方法。Dec-POMDPs提供了一个通用的框架，合作顺序决策下的不确定性和MA允许暂时延长和异步的行动执行。到目前为止，大多数方法假设基础的Dec-POMDP模型是已知的先验或完整的模拟器在规划时间。以前的方法，旨在解决这些问题遭受局部最优性和初始条件的敏感性。此外，很少有硬件演示涉及一个大型团队的异构机器人和长期的规划视野存在。这项工作通过提出一种基于迭代采样的期望最大化算法（iSEM）来解决这些差距，该算法仅使用包含观察，MA和奖励的轨迹数据来学习策略。我们的实验表明，该算法是能够实现更好的解决方案的质量比国家的最先进的学习为基础的方法。我们在硬件上实现了多机器人搜索和救援（SAR）域（有障碍物和无障碍物）的两种变体，以证明学习的策略可以有效地控制一组分布式机器人在部分可观察的随机环境中进行合作。
2017-08-18 cs.LG cs.MA cs.RO
Provable Reinforcement Learning with a Short-Term Memory
Microsoft Research（微软研究院）；Princeton University（普林斯顿大学）
现实世界中的序列决策问题通常涉及部分可观测性，这要求智能体保持历史记忆，以便推断潜在状态，计划和做出好的决策。一般来说，处理部分可观测性是非常具有挑战性的，因为在学习部分可观测马尔可夫决策过程（POMDPs）时存在许多最坏情况的统计和计算障碍。出于在几个物理应用中的问题结构，以及一个常用的技术称为“帧堆叠”，本文提出了研究一个新的子类POMDPs，其潜在的状态可以解码的最新历史的一个短的长度$m$。我们建立了一组样本复杂性的上限和下限，用于在表格和丰富的观察设置（观察的数量是巨大的）中学习这类问题的接近最优的政策。特别是，在丰富的观测设置，我们开发了新的算法，使用一种新的“矩匹配”的方法与样本的复杂性，指数尺度与短长度$m$，而不是问题的地平线，是独立的观测数量。我们的研究结果表明，短期记忆足以在这些环境中进行强化学习。
2022-02-08 cs.AI cs.LG
Dynamic Energy Dispatch Based on Deep Reinforcement Learning in IoT-Driven Smart Isolated Microgrids
本文针对物联网驱动的智能孤立微电网能量调度问题，提出有限时域深度确定性策略梯度和有限时域循环确定性策略梯度两种DRL算法，并通过真实数据验证其在不确定条件下的性能优势。
2020-11-16 cs.LG eess.SP stat.ML
Common Information based Approximate State Representations in Multi-Agent Reinforcement Learning
University of Michigan（密歇根大学）
由于信息不对称，分散部分可观测马尔可夫决策过程（Dec-POMDP）的最优策略难以求解，其复杂度在时域长度上呈双指数增长.在多智能体强化学习（MARL）设置中，转移概率、观察核和奖励函数都是未知的，这一挑战大大增加。在这里，我们开发了一个通用的压缩框架，近似的公共和私人状态表示，在此基础上，分散的政策可以构建。我们推导出执行动态规划（DP）与近似状态的近似误差参数和剩余时间步长的最优性差距。当压缩是精确的（没有错误），产生的DP是相当于在现有的工作。我们的一般框架概括了文献中提出的一些方法。研究结果为在“集中式学习分布式执行”方案下设计实用的深度MARL网络结构提供了依据。
2021-10-25 cs.LG cs.MA math.OC
Non-Rectangular Average-Reward Robust MDPs: Optimal Policies and Their Transient Values
本文研究了非矩形鲁棒MDPs的最优策略及其瞬时值，提出了一种基于周期的策略，结合最优平稳策略与在线学习回退机制，实现常数阶瞬时值。
2026-03-10 cs.LG math.OC stat.ML
Revealing After Overwriting: An Exponential POMDP OPE Lower Bound under History-Dependent Logging
Chongqing University（重庆大学）；Beijing Institute of Technology（北京理工大学）；The Hong Kong Polytechnic University（香港理工大学）
该研究针对历史相关日志下的POMDP离策略评估，构造指数级下界并给出有限类保证，结合读取预算与校准实现与水平无关的样本复杂度。
2026-10-06 cs.LG
IMAGINE: Intelligent Multi-Agent Godot-based Indoor Networked Exploration
Institute for Systems and Robotics（系统研究所）
本文提出基于Godot的多智能体强化学习方法，用于解决室内未知环境中的自主协作探索问题，通过高保真模拟和课程学习提升训练效率与鲁棒性。
2026-02-02 cs.LG cs.MA cs.NI
Achieving $\widetilde{\mathcal{O}}(\sqrt{T})$ Regret in Average-Reward POMDPs with Known Observation Models
Politecnico di Milano（米兰理工大学）
针对未知转移但已知观测的平均奖励POMDP，提出乐观算法与新型估计器，实现$\mathcal{O}(\sqrt{T\log T})$遗憾，超越现有方法。
2025-09-05 cs.LG stat.ML
