Planning for Decentralized Control of Multiple Robots Under Uncertainty
CSAIL（计算机科学与人工智能实验室）
我们描述了一个概率框架综合控制策略一般多机器人系统，给定的环境和传感器模型和成本函数。分散式部分可观测马尔可夫决策过程（Dec-POMDPs）是决策过程的一般模型，其中一组代理必须在存在不确定性的情况下合作优化某些目标（由共享奖励或成本函数指定），但其中通信限制意味着代理不能共享其状态，因此执行必须以分散的方式进行。虽然Dec-POMDP通常难以解决现实世界的问题，但最近关于Dec-POMDP中使用宏动作的研究显着增加了可以作为Dec-POMDP实际解决的问题的大小。我们描述了这个一般模型，并展示了如何，与大多数现有的方法，专门针对一个特定的问题类，它可以合成控制策略，使用任何机会协调存在的问题，同时平衡的不确定性的结果，传感器信息，和其他代理人的信息。我们使用三个变化的仓库任务，表明这种类型的一个单一的计划可以产生合作的行为，使用任务分配，直接沟通，和信令，适当的。
2014-02-12 cs.AI cs.MA cs.RO
Monte-Carlo Search for an Equilibrium in Dec-POMDPs
Université de Lorraine（洛林大学）；INRIA（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；LORIA（洛林计算机科学及其应用研究所）
本文针对仅有模拟器的Dec-POMDPs，提出基于仿真的MC-JESP方法逐节点构建有限状态控制器以寻求纳什均衡，实验证明其优于多数离线方法。
2023-05-19 cs.AI
Decentralized Control of Partially Observable Markov Decision Processes using Belief Space Macro-actions
MIT（麻省理工学院）
本文的重点是解决连续空间中部分可观性的多机器人规划问题。分散部分可观测马尔可夫决策过程（Dec-POMDP）是多机器人协调问题的通用模型，但对于大型问题，Dec-POMDP的表示和求解往往比较困难。为了允许一个高层次的表示，这是自然的多机器人问题和可扩展到大型离散和连续的问题，本文扩展了Dec-POMDP模型的分散部分可观察的半马尔可夫决策过程（Dec-POSMDP）。的Dec-POSMDP制定允许异步决策的机器人，这是至关重要的多机器人域。我们还提出了一个算法来解决这个Dec-POSMDP这是更可扩展的比以前的方法，因为它可以将闭环的信念空间的宏观行动规划。这些宏操作被自动构造以产生鲁棒的解决方案。所提出的方法的性能进行评估的一个复杂的多机器人包裹递送问题下的不确定性，表明我们的方法可以自然地代表多机器人问题，并提供高质量的解决方案，为大规模的问题。
2015-02-20 cs.AI cs.MA cs.RO
Finding Approximate POMDP solutions Through Belief Compression
Massachusetts Institute of Technology（麻省理工学院）；Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）
标准价值函数方法寻找部分可观测马尔可夫决策过程（POMDPs）的政策，通常被认为是棘手的大型模型。这些算法的棘手性在很大程度上是在整个信念空间上计算精确的最优策略的结果。然而，在现实世界的POMDP问题，计算最优策略的完整的信念空间往往是不必要的良好的控制，即使是复杂的政策类的问题。控制器所经历的信念通常位于嵌入在高维信念空间中的结构化的低维子空间附近。找到仅针对该子空间的最优价值函数的良好近似比计算完整的价值函数容易得多。我们介绍了一种新的方法来解决大规模POMDPs通过降低信仰空间的维数。我们使用指数族主成分分析（Collins，Dasgupta和Schapire，2002）来表示稀疏的，高维的信念空间，使用信念状态的小集合的学习特征。然后，我们仅根据低维信念特征进行规划。通过在这个低维空间中进行规划，我们可以找到POMDP模型的策略，这些策略比传统技术可以处理的模型大几个数量级。我们演示了使用该算法的合成问题和移动机器人导航任务。
2011-10-04 cs.AI
Incremental Clustering and Expansion for Faster Optimal Planning in Dec-POMDPs
Maastricht University（马斯特里赫特大学）；Delft University of Technology（代尔夫特理工大学）；Massachusetts Institute of Technology（麻省理工学院）；University of Amsterdam（阿姆斯特丹大学）
本文提出了最佳的解决方案的分散部分可观察马尔可夫决策过程（Dec-POMDPs），这是一般模型的协作多智能体规划下的不确定性的方法的最新技术。建立了广义多智能体A*（GMAA*）算法，它减少了问题的一棵树的一次性协作贝叶斯游戏（CBG），我们描述了几个进步，大大扩大了范围的Dec-POMDPs，可以最佳地解决。首先，我们引入无损增量聚类的CBG解决GMAA*，实现指数加速而不牺牲最优性。其次，我们在GMAA* 搜索树中引入了节点的增量扩展，这避免了扩展所有子节点的需要，在最坏的情况下，子节点的数量在节点深度上是双指数的。这在可能的聚类很少时特别有益。此外，我们引入了新的混合启发式表示，更紧凑，从而使较大的Dec-POMDPs的解决方案。我们提供了理论保证，当使用一个合适的启发式，增量聚类和增量扩展产量算法，都是完整的和搜索等价的。最后，我们提出了广泛的实证结果表明，GMAA*-ICE，一个算法，综合了这些进步，可以最佳地解决Dec-POMDPs前所未有的大小。
2014-02-04 cs.AI
Perseus: Randomized Point-based Value Iteration for POMDPs
University of Amsterdam（阿姆斯特丹大学）
部分可观测马尔可夫决策过程（POMDPs）形成了一个有吸引力的和原则性的框架下不确定性的代理规划。POMDP基于点的近似技术计算的基础上，提前从代理的信念空间收集的一组有限的点的政策。我们提出了一个随机点为基础的值迭代算法称为珀尔修斯。该算法执行近似值备份阶段，确保在每个备份阶段的信念集中的每个点的值得到改善;关键的观察是，一个单一的备份可能会提高许多信念点的值。与其他基于点的方法相反，Perseus只备份信念集中的（随机选择的）点子集，足以提高集合中每个信念点的值。我们展示了同样的想法可以扩展到处理连续的动作空间。实验结果显示了Perseus在大规模POMDP问题中的潜力。
2011-09-09 cs.AI
Region-Based Approximations for Planning in Stochastic Domains
Hong Kong University of Science and Technology（香港科技大学）
本文研究了随机域中部分可观测马尔可夫决策过程的规划问题。POMDPs很难解决。本文确定了一个子类的POMDPs称为区域可观测POMDPs，这是更容易解决，可以用来近似一般POMDPs到任意精度。
2013-02-06 cs.AI
A Scalable Method for Solving High-Dimensional Continuous POMDPs Using Local Approximation
Washington University in St. Louis（圣路易斯华盛顿大学）
部分可观测马尔可夫决策过程（POMDP）通常通过找到相应的信念MDP的近似全局解来求解。本文针对具有连续状态、动作和观测空间的POMDP问题，提出了一种新的规划算法。由于这样的域具有固有的局部性概念，我们可以使用局部优化方法找到近似解。我们参数化的信念分布为高斯混合，并使用扩展卡尔曼滤波器（EKF）近似的信念更新。由于EKF是一阶滤波器，因此我们可以通过分析对观测值进行边缘化。通过在政策执行期间使用反馈控制和状态估计，我们可以恢复有效地取决于传入观察的行为，尽管是无条件的规划。局部优化提供了没有保证的全局最优性，但它允许我们处理域，至少是一个数量级大于目前最先进的。我们证明了我们的算法的可扩展性，考虑模拟手眼协调域与16个连续的状态维度和6个连续的动作维度。
2012-03-15 cs.AI
Policy Iteration for Decentralized Control of Markov Decision Processes
University of Massachusetts（马萨诸塞大学）；Mississippi State University（密西西比州立大学）
在许多领域，包括多机器人系统，网络和电子商务中出现的问题，需要分布式代理的协调。作为一个正式的框架，这样的问题，我们使用分散的部分可观察马尔可夫决策过程（DEC-POMDP）。虽然已经做了大量的工作，最佳的动态规划算法的单代理版本的问题，最佳算法的多代理的情况下一直难以捉摸。本文的主要贡献是一个求解DEC-POMDP的最优策略迭代算法。该算法使用随机有限状态控制器来表示策略。该解决方案可以包括一个关联设备，它允许代理在不进行通信的情况下关联其动作。这种方法在扩展控制器和执行值保持转换之间交替，值保持转换在不牺牲值的情况下修改控制器。我们提出了两个有效的值保持变换：一个可以减少控制器的大小，另一个可以提高其值，同时保持大小固定。实证结果表明，在增加值，同时保持控制器的大小为最小值的保值变换的有用性。为了扩大该方法的适用性，我们还提出了一个启发式版本的政策迭代算法，牺牲收敛到最优。该算法通过假设其他代理动作的概率分布是已知的，进一步减小了每一步控制器的大小。虽然这个假设可能不适用于一般情况，但它有助于在我们的测试问题中产生更高质量的解决方案。
2014-01-15 cs.AI
Open Problem: Approximate Planning of POMDPs in the class of Memoryless Policies
University of California, Irvine（加州大学尔湾分校）；French Institute for Research in Computer Science and Automation (Inria)（法国国家信息与自动化研究所）
规划在决策理论的大类中起着重要的作用。规划在机器人和顺序决策领域的最近工作中引起了广泛的关注。近年来，强化学习（RL）作为一种智能体与环境的交互问题，引起了人们对规划方法的进一步关注。通常在RL中，可以假设环境的生成模型，例如图形模型，然后RL代理的任务是学习模型参数并基于这些学习的参数找到最佳策略。基于环境行为，智能体可以假设各种类型的生成模型，例如静态环境的多臂强盗，或动态环境的马尔可夫决策过程（MDP）。这些流行的模型的优点是它们的简单性，这导致易于学习的参数和找到最优策略的方法。这些模型的缺点也是它们的简单性：这些模型通常不适合并低估了实际的环境行为。例如，在机器人技术中，智能体通常具有对环境内部状态的噪声观测，并且MDP不是合适的模型。更复杂的模型，如部分可观测马尔可夫决策过程（POMDP）可以弥补这一缺陷。与MDP相比，将此模型拟合到环境中，其中将部分观察给予代理，通常会带来显着的性能改善，有时甚至是无限的改善。一般来说，POMDP模型的最优策略的计算是困难的，完全非凸的，即使是无记忆的政策类。公开的问题是提出一种方法来找到一个精确的或近似的最优随机无记忆策略的POMDP模型。
2016-08-17 cs.AI
Value-Directed Belief State Approximation for POMDPs
University of British Columbia（不列颠哥伦比亚大学）；University of Toronto（多伦多大学）
我们认为问题的信念状态监测的目的是实现一个政策的部分可观察马尔可夫决策过程（POMDP），特别是如何可以近似的信念状态。用于置信状态近似的其他方案（例如，基于最小化诸如真实状态和估计状态之间的KL-发散的测量）不一定适合于POMDP。相反，我们提出了一个框架，用于分析价值导向的近似方案，近似质量是由预期的误差效用，而不是由错误的信念状态本身。我们提出了探试法找到良好的投影方案的信念状态估计-展示任何时候的特点-给定的POMDP值funcntion。我们还描述了几种算法，用于构建的决策质量（预期效用）的错误的界限，根据一个给定的信念状态近似与行动。
2013-01-16 cs.AI
Improved Memory-Bounded Dynamic Programming for Decentralized POMDPs
Harvard University（哈佛大学）；University of Massachusetts（马萨诸塞大学）
内存有界动态规划（MBDP）已被证明是非常有效的解决分散POMDPs与大视野。我们推广的算法，并提高其可扩展性，降低复杂度的观察次数从指数到多项式。我们推导出这种新的近似解的质量误差界，并分析了收敛行为。为了评估改进的有效性，我们引入了一个新的，更大的基准问题。实验结果表明，尽管分散的POMDPs的高复杂性，可扩展的解决方案技术，如MBDP执行令人惊讶的好。
2012-06-20 cs.AI
Monte Carlo Sampling Methods for Approximating Interactive POMDPs
University of Georgia（佐治亚大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
部分可观测马尔可夫决策过程（POMDPs）提供了一个原则性的框架，顺序规划在不确定的单代理设置。POMDP的扩展到多智能体设置，称为交互式POMDP（I-POMDP），取代POMDP的信念空间与交互式层次的信念系统，代表一个代理人的信念，对物理世界，对其他代理人的信念，以及对他们的信念对他人的信念。这种修改使得由于信念和政策空间的复杂性而获得解决方案的困难变得更加尖锐。我们描述了一种基于粒子滤波（PF）的I-POMDPs的近似解的一般方法。我们引入了交互式PF，它降低了交互式信念层次结构和样本的水平，并在每个级别上传播信念。交互式PF能够降低信念空间复杂度，但不能解决策略空间复杂度。为了减轻政策的空间复杂度-有时也被称为历史的诅咒-我们利用一个互补的方法的基础上采样可能的意见，同时建立前瞻可达树。虽然这种方法不能完全解决历史的诅咒，但它大大削弱了诅咒的影响。我们提供实验结果和图表未来的工作。
2014-01-15 cs.AI
Computing the Reachability Value of Posterior-Deterministic POMDPs
LaBRI, CNRS, University of Bordeaux, France（LaBRI、CNRS、波尔多大学、法国）；University of Antwerp -- Flanders Make, Belgium（安特卫普大学——弗拉芒制造、比利时）
本文提出后验确定性POMDPs，证明其可达性值可任意精度近似，涵盖MDPs及经典示例如Tiger POMDP。
2026-04-22 cs.AI cs.FL
A Model Approximation Scheme for Planning in Partially Observable Stochastic Domains
部分可观测马尔可夫决策过程（POMDPs）是规划问题的自然模型，其中行动的影响是不确定的，世界的状态是不完全可观测的。精确求解POMDPs是困难的。本文提出了一种新的近似方案。其基本思想是将POMDP转换为另一个由Oracle提供额外信息的POMDP。预言机通知规划代理世界的当前状态在某个区域中。转换后的POMDP因此被称为区域可观察。它比原来的POMDP更容易解决。我们建议解决转换后的POMDP，并使用其最优策略来构造原POMDP的近似策略。通过控制预言机提供的额外信息量，可以在计算时间和近似质量之间找到适当的折衷。在算法贡献方面，我们详细研究了如何利用区域可观性求解变换后的POMDP。为了便于研究，我们还提出了一个新的精确算法一般POMDPs。该算法在概念上是简单的，但显着比以前的精确算法更有效。
1997-11-01 cs.AI
Value-Directed Sampling Methods for POMDPs
Brown University（布朗大学）
我们考虑的问题，近似的信念状态监测，使用粒子滤波的目的是实现一个政策的部分可观察马尔可夫决策过程（POMDP）。虽然粒子滤波已经成为人工智能中用于监测动态系统的广泛使用的工具，但很少有人关注它们在决策环境中的使用。假设存在一个价值函数，我们推导出与过滤使用重要性采样的决策质量的误差界。我们还描述了一个自适应程序，可用于动态确定所需的样本数，以满足特定的误差范围。经验证据支持这种技术作为一种有利可图的手段，指导抽样工作，它是需要区分政策。
2013-01-10 cs.AI
Bayesian Reinforcement Learning in Factored POMDPs
Northeastern University（东北大学）；Delft University of Technology（代尔夫特理工大学）
贝叶斯方法为强化学习中的探索-利用权衡提供了一个原则性的解决方案。然而，典型的方法要么假设一个完全可观察的环境，要么规模很差。这项工作介绍了因子贝叶斯自适应POMDP模型，一个框架，能够利用底层结构，同时学习部分可观测系统的动态。我们还提出了一个信念跟踪方法来近似联合后验状态和模型变量，和适应的蒙特卡罗树搜索解决方案的方法，这两者一起能够解决潜在的问题接近最优。我们的方法能够有效地学习给定的因子分解，或者同时学习因子分解和模型参数。我们证明，这种方法是能够优于目前的方法和解决问题，以前是不可行的。
2018-11-14 cs.AI
B$^3$RTDP: A Belief Branch and Bound Real-Time Dynamic Programming Approach to Solving POMDPs
MIT Media Lab（麻省理工学院媒体实验室）
部分可观测马尔可夫决策过程（POMDPs）为自主智能体提供了一个有前途的世界表示，因为它们可以模拟过渡和感知的不确定性。计算POMDP问题的最优解在计算上可能是昂贵的，因为它们需要在（可能是无限的）信念空间上进行推理。已经提出了几种方法来克服这个困难，如离散化的信念空间，基于点的信念抽样，和蒙特卡罗树搜索。RTDP-Bel算法的实时的【形】动态规划方法通过将价值函数存储在具有离散化置信键的哈希表中来近似该价值函数。我们提出了一个扩展的RTDP-Bel算法，我们称之为信念分支和界限RTDP（B $^3$ RTDP）。我们的算法使用有界价值函数表示，并利用这两个新的方式：搜索绑定技术的基础上的行动选择收敛概率，并利用早期的行动收敛称为\textit{Convergence Frontier}的方法。最后，我们的经验表明，B $^3$ RTDP可以实现更大的回报，在更短的时间比国家的最先进的SARSOP解决已知的POMDP问题。
2022-10-22 cs.AI
Optimizing Memory-Bounded Controllers for Decentralized POMDPs
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
我们提出了一个内存有界的优化方法来解决无限时域分散POMDPs。每个代理的策略由随机有限状态控制器表示。我们制定的优化这些政策作为一个非线性规划的问题，利用强大的现有的非线性优化技术来解决这个问题。虽然现有的求解器只能保证局部最优的解决方案，我们表明，我们的配方比国家的最先进的方法产生更高质量的控制器。我们还采用了一个共享的随机性源的形式的相关设备，以进一步提高解决方案的质量，只有有限的增加空间和时间。我们的实验结果表明，非线性优化可以用来提供高质量的，简洁的解决方案，分散决策问题的不确定性。
2012-06-20 cs.AI
MAA*: A Heuristic Search Algorithm for Solving Decentralized POMDPs
INRIA Lorraine, LORIA（洛林信息科学研究所）；University of Massachusetts（马萨诸塞大学）
本文提出了多智能体A*（MAA*）算法，它是求解有限时域分散部分可观测马尔可夫决策问题（DEC-POMDP）的第一个完整的最优启发式搜索算法.该算法适用于计算在随机环境中，如多机器人协调，网络交通控制，或分布式资源分配的代理的合作组的最优计划。有效地解决这些问题是不确定性规划领域的一个重大挑战。我们的解决方案是基于经典的启发式搜索和分散控制理论的合成。实验结果表明，MAA* 具有明显的优势。我们介绍了一个随时变MAA*，并结束了讨论有前途的扩展，如解决无限地平线问题的方法。
2012-07-04 cs.AI
Mixed Integer Linear Programming For Exact Finite-Horizon Planning In Decentralized Pomdps
INRIA-Lorraine（洛林法国国家信息与自动化研究所）；Loria（洛林计算机科学及其应用实验室）
我们考虑的问题，找到一个n-agent联合政策的最优有限时域控制的分散Pomdp（Dec-Pomdp）。这是一个非常复杂的问题（NEXP困难，n >= 2）。在本文中，我们提出了一个新的数学规划方法的问题。我们的方法是基于两个想法：第一，我们代表每个代理的政策在序列的形式，而不是在树的形式，从而获得一个非常紧凑的表示的联合政策。其次，使用这种紧凑的表示，我们解决这个问题的组合优化的情况下，我们制定了一个混合整数线性规划（MILP）。MILP的最优解直接产生Dec-Pomdp的最优联合策略。计算经验表明，制定和解决MILP需要显着更少的时间来解决基准Dec-Pomdp问题比现有的算法。例如，地平线4的多智能体老虎问题用MILP在72秒内解决，而现有的算法需要几个小时才能解决。
2007-07-17 cs.AI
Rollout Sampling Policy Iteration for Decentralized POMDPs
我们提出了分散式铺开抽样策略迭代（DecRSPI）-一种新的算法，多智能体决策问题正式的DEC-POMDPs。DecRSPI旨在提高可扩展性并解决缺乏显式模型的问题。该算法使用蒙特卡罗方法来产生一个样本的可达信念状态。然后，它计算一个联合政策的基础上，每个信念状态的推出估计。一个新的政策表示允许我们代表解决方案的复杂性。该算法的主要优点是它的线性时间复杂度的代理数量，其有限的内存使用和良好的解决方案的质量。它可以解决现有规划算法难以解决的较大问题。实验结果证实了该方法的有效性和可扩展性。
2012-03-15 cs.AI
BetaZero: Belief-State Planning for Long-Horizon POMDPs using Learned Approximations
Stanford University（斯坦福大学）
BetaZero将离线神经网络近似与在线蒙特卡洛树搜索结合，用于高维POMDP的信念状态规划，通过Q加权访问计数策略训练，在多个基准和矿产勘探任务中优于现有求解器。
2024-07-31 cs.AI
Online POMDP Planning with Anytime Deterministic Optimality Guarantees
Technion Autonomous Systems Program (TASP)（技术学院自主系统计划）；Stephen B. Klein Faculty of Aerospace Engineering（斯蒂芬·B·克莱因航空航天工程学院）；Faculty of Data and Decision Sciences（数据与决策科学学院）
本文为离散POMDP推导近似解与最优解间的确定性界限，提供可附加于现有算法的确定性保证，以极小开销提升决策性能。
2025-10-27 cs.AI cs.RO
Towards a Decentralized, Autonomous Multiagent Framework for Mitigating Crop Loss
University of Georgia（佐治亚大学）
我们提出了一个广义的决策理论系统的异质团队的自主智能体谁的任务是在线识别表型表达的压力在作物领域。该系统采用四种不同类型的代理，具体到四个可用的传感器模态：卫星（第3层），无人驾驶飞行器（L2），无人驾驶地面车辆（L1），和静态地面传感器（L0）。层3、层2和层1的任务是以传感器模态的可用分辨率执行图像处理，并与层0传感器生成的数据一起识别随时间出现的错误差异。我们的目标是限制更多的计算和时间昂贵的后续层的使用。因此，从第3层到第1层，每一层仅调查先前层已识别为可能受应力影响的区域。我们介绍了一种强化学习技术的基础上Perkins的蒙特卡洛探索开始的广义马尔可夫模型的每一层的决策问题，并标记系统的农业分布式决策框架（ADDF）。由于我们的领域是现实世界和在线，我们说明了我们的系统的两个主要组成部分的实现：基于聚类的图像处理方法和两层POMDP实现。
2019-01-07 cs.AI
An On-Line POMDP Solver for Continuous Observation Spaces
College of Engineering & Computer Science, The Australian National University（澳大利亚国立大学工程与计算机科学学院）
部分可观测规划是自主机器人的基本要求。解决这些规划问题的一个原则性方法是部分可观察马尔可夫决策过程（POMDP）。虽然求解POMDP在计算上是棘手的，但在过去的二十年中，在开发近似POMDP求解器方面已经取得了实质性的进展。然而，计算具有连续观测空间的问题的鲁棒解决方案仍然具有挑战性。大多数在线求解器依赖于离散化的观察空间或人为地限制在规划期间考虑的观察的数量来计算易处理的策略。在本文中，我们提出了一个新的在线POMDP求解器，称为懒惰的信念提取连续POMDP（LABECOP），它结合了蒙特卡洛树搜索和粒子滤波的方法来构建一个政策reprentation，它不需要离散化的观察空间，并避免限制在规划过程中考虑的观察数量。三个不同的问题，涉及连续观测空间的实验表明，LABECOP执行类似或优于国家的最先进的POMDP求解器。
2020-11-04 cs.AI cs.RO
Improving Automated Driving through POMDP Planning with Human Internal States
Stanford University（斯坦福大学）
这项工作研究的假设，部分可观察马尔可夫决策过程（POMDP）规划与人类驾驶员的内部状态，可以显着提高安全性和效率，在自动高速公路驾驶。我们在一个模拟场景中评估了这一假设，在这个场景中，自动驾驶汽车必须安全地连续进行三次车道变换。通过观测加宽部分可观测蒙特卡罗规划（POMCPOW）算法得到了POMDP的近似解。这种方法优于过度自信和保守的MDP基线，并匹配或优于QMDP。相对于MDP基准，POMCPOW通常将不安全情况的发生率降低一半或将成功率提高50%。
2022-06-09 cs.AI cs.RO
Towards Computationally Efficient Responsibility Attribution in Decentralized Partially Observable MDPs
Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
责任归属是责任型多主体决策的一个重要概念。鉴于一系列行动，责任归属机制量化了每个参与者对最终结果的影响。其中一个流行的机制是基于实际的因果关系，它根据被认为对所考虑的结果至关重要的行为来分配（因果）责任。然而，查明实际原因，从而确定确切的责任分配的固有问题已被证明是计算上棘手的。在本文中，我们的目标是提供一个实用的算法解决问题的责任归属下的计算预算。我们首先正式的问题的框架下，分散的部分可观测马尔可夫决策过程（Dec-POMDPs）的结构因果模型（SCM）的一个特定的类增强。在这个框架下，我们引入了一个蒙特卡罗树搜索（MCTS）类型的方法，有效地近似代理的责任度。该方法利用了一种新的搜索树的结构和修剪技术，都适合于责任归属的问题。我们的方法的其他新组件是（a）基于线性标量化的子选择策略和（b）考虑通常用于定义实际因果关系的最小条件的反向传播过程。我们通过一个基于模拟的测试平台，其中包括三个团队为基础的纸牌游戏实验评估我们的算法的有效性。
2023-02-24 cs.AI
Reconciling Rewards with Predictive State Representations
Northeastern University（东北大学）
预测状态表示（PSR）是受控非马尔可夫观测序列的模型，其表现出相同的生成过程，而不依赖于潜在的潜在状态。在这方面，PSR与相应的POMDP无法区分。然而，众所周知，PSR忽略了奖励的概念，这破坏了PSR模型在控制、规划或强化学习方面的通用性。因此，我们描述了一个充分和必要的准确性条件，它决定了PSR是否能够准确地建模POMDP奖励，我们表明，即使不满足准确性条件，奖励也可以近似，我们发现，从一个著名的第三方存储库中获取的非平凡数量的POMDP不满足准确性条件。我们提出了奖励预测状态表示（R-PSRs），这是对PSRs的一种推广，它可以准确地对观测和奖励进行建模，并为R-PSRs开发了值迭代。我们发现，有一个最佳POMDP政策和最佳PSR政策来自近似奖励之间的不匹配。另一方面，最佳R-PSR策略与最佳POMDP策略完美匹配，重新确认R-PSR是准确的无状态观察和奖励生成模型。
2021-06-07 cs.AI cs.LG
A Semi-Decentralized Approach to Multiagent Control
Stanford University（斯坦福大学）；Northeastern University（东北大学）
本文提出半去中心化方法，用于解决多智能体控制中的通信不确定性问题，通过SDec-POMDP框架统一了去中心化和多智能体POMDP，并引入RS-SDA*算法生成最优策略。
2026-03-12 cs.AI
Missingness-MDPs: Bridging the Theory of Missing Data and POMDPs
Ruhr University Bochum（博德姆鲁尔大学）；Brno University of Technology（布拉格技术大学）；Radboud University Nijmegen（拉德博德大学奈杰姆）；Harvard University（哈佛大学）；Eindhoven University of Technology（埃因霍温理工大学）
本文提出缺失性马尔可夫决策过程（miss-MDP），一种结合缺失数据理论的POMDP子类，通过学习缺失函数来解决未知缺失函数下的最优策略问题，证明所得策略在真miss-MDP中近似最优。
2026-05-12 cs.AI cs.LG
Rao-Blackwellized POMDP Planning
针对 POMDP 求解中 SIRPF 面临的粒子匮乏与高计算成本问题，本研究提出 RB-POMDP 近似求解器，通过 Rao-Blackwellization 优化信念更新与在线规划，实验证明其能以更少粒子维持准确近似并显著提升规划质量。
2025-03-03 cs.AI cs.LG cs.RO
Improving Training Result of Partially Observable Markov Decision Process by Filtering Beliefs
在这项研究中，我提出了一个过滤信念的方法来提高性能的部分可观察马尔可夫决策过程（POMDPs），这是一种广泛使用的方法在自主机器人和许多其他领域的控制策略。我的方法搜索和比较每一个相似的信念对。由于相似信念对控制策略的影响不大，为了减少训练时间，过滤掉了相似信念。实验结果表明，该方法优于基于点的近似POMDPs的训练结果的质量以及该方法的效率。
2021-01-05 cs.AI
Reinforcement Learning for POMDP: Partitioned Rollout and Policy Iteration with Application to Autonomous Sequential Repair Problems
Arizona State University（亚利桑那州立大学）；Massachusetts Institute of Technology（麻省理工学院）
本文研究了具有有限状态空间和控制空间，部分状态观测的无限时域折扣动态规划问题。我们讨论了一个算法，使用多步前瞻，截断推出一个已知的基本政策，和终端成本函数近似。该算法还用于近似策略迭代方案中的策略改进，其中通过使用神经网络分类器来近似连续的策略。我们的方法的一个新的特点是，它非常适合分布式计算，通过扩展的信念空间配方和使用分区架构，这是训练与多个神经网络。我们应用我们的方法在模拟一类顺序修复问题，机器人检查和修复管道与潜在的几个破裂部位下的部分信息的管道的状态。
2020-02-11 cs.AI cs.RO
Macro-Action-Based Multi-Agent/Robot Deep Reinforcement Learning under Partial Observability
Khoury College of Computer Sciences（库里计算机学院）
最先进的多智能体强化学习（MARL）方法为各种复杂问题提供了有前途的解决方案。然而，这些方法都假设代理执行同步的连续动作执行，使得它们不能真正扩展到长期现实世界的多代理/机器人任务，这些任务本质上要求代理/机器人在不同的持续时间异步推理高级别的动作选择。MacDec-POMDP（Mac-Action Decentralized Partially Observable Markov Decision Process）是一种用于完全协作多智能体任务中不确定异步决策的通用形式化描述。在这篇论文中，我们首先提出了一组基于价值的强化学习方法的MacDec-POMDPs，其中代理被允许执行异步学习和决策与宏动作价值函数在三个范式：分散学习和控制，集中学习和控制，和集中训练分散执行（CTDE）。在上述工作的基础上，我们制定了一套基于宏动作的策略梯度算法的三种训练范式下，代理被允许直接优化其参数化的政策在一个异步的方式。我们评估我们的方法在模拟和真实的机器人在各种现实的域。实证结果表明，我们的方法在大型多智能体问题的优越性，并验证了我们的算法的有效性，学习高质量和异步的解决方案与宏观行动。
2022-10-11 cs.AI cs.MA cs.RO
Value of Information and Reward Specification in Active Inference and POMDPs
VERSES Research Lab（VERSES研究实验室）
该研究将期望自由能（EFE）置于信念MDP框架下，借助强化学习理论工具证明EFE通过信息价值近似贝叶斯最优RL策略，揭示了主动推理与奖励驱动RL的关联及对主动推理目标设定的启示。
2024-08-13 cs.AI cs.LG
Strategy Synthesis in POMDPs via Game-Based Abstractions
Albert-Ludwigs-Universität Freiburg（弗莱堡大学）；Concept Engineering GmbH（Concept Engineering有限公司）；RWTH Aachen University（亚琛工业大学）；Radboud University（拉德堡德大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们研究部分可观测马尔可夫决策过程（POMDPs）中的约束合成问题，其目标是计算一个代理的策略，保证满足一定的安全性和性能规范。然而，POMDPs的验证和策略合成一般在计算上是难以处理的。我们减轻这个困难，专注于规划应用程序和利用典型的结构特性，这样的情况下，例如，我们假设代理有能力观察自己的位置内的环境。我们提出了一个抽象的细化框架，把这样的POMDP模型变成一个（完全可观察的）概率两人游戏（PG）。对于所获得的PG，有效的验证和合成工具允许确定具有最佳安全性和性能措施的策略，这些措施近似于POMDP上的最佳参数。如果近似值太粗糙而不能满足给定的规范，则细化方案可以改进计算策略。作为一个运行的例子，我们使用的规划问题，代理移动的环境内随机移动的障碍物和有限的可观察性。我们证明了所提出的方法通过解决比现有POMDP求解器可以处理的问题大几个数量级的问题来推进最先进的技术。此外，该方法提供了安全约束的保证，这是不支持的大多数现有的求解器。
2019-05-27 cs.AI cs.RO
Point-Based Value Iteration for POMDPs with Neural Perception Mechanisms
University of Oxford（牛津大学）；University of Glasgow（格拉斯哥大学）
本文提出NS-POMDP框架，通过分段线性凸表示和NS-HSVI算法，解决了连续状态空间中神经感知机制下的POMDP最优策略合成问题。
2024-08-07 cs.AI cs.SY eess.SY
Point-Based Methods for Model Checking in Partially Observable Markov Decision Processes
Stanford University（斯坦福大学）；KTH Royal Institute of Technology（KTH皇家理工学院）
自治系统通常需要在部分可观察的环境中运行。它们必须可靠地执行指定的目标，即使有关环境状态的信息不完整。我们提出了一种方法来合成的政策，满足线性时序逻辑公式的部分可观察马尔可夫决策过程（POMDP）。通过制定规划问题，我们展示了如何使用基于点的值迭代方法来有效地近似满足所需逻辑公式的最大概率，并计算相关的信念状态策略。我们证明了我们的方法可扩展到大POMDP域，并提供了强大的界限所产生的政策的性能。
2020-01-11 cs.AI
Reinforcement Learning-Augmented LLM Agents for Collaborative Decision Making and Performance Optimization
New England College（新英格兰学院）；Northeastern University（东北大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本研究提出强化学习增强的LLM代理框架，通过GRPO和联合奖励优化，提升多智能体协作任务的效率与一致性。
2025-12-31 cs.AI
Scalable Policy-Based RL Algorithms for POMDPs
UIUC（伊利诺伊大学香槟分校）
本文提出将POMDP近似为有限状态MDP，用线性函数逼近的基于策略方法求解，理论证明误差随历史长度指数衰减，并给出首个非马尔可夫动态下TD学习的有限时间误差界。
2025-10-13 cs.AI cs.LG stat.ML
Why Generalization in RL is Difficult: Epistemic POMDPs and Implicit Partial Observability
UC Berkeley（加州大学伯克利分校）；Princeton University（普林斯顿大学）；Facebook AI Research（脸书人工智能研究院）
泛化是强化学习（RL）系统在现实世界中部署的核心挑战。在本文中，我们证明了RL问题的顺序结构需要新的方法来推广，超越了监督学习中使用的研究充分的技术。虽然监督学习方法可以有效地推广，而不明确占认知的不确定性，我们表明，也许令人惊讶的是，这是不是在RL的情况。我们发现，从有限数量的训练条件推广到看不见的测试条件会导致隐式部分可观察性，甚至有效地将完全观察到的MDP转化为POMDP。根据这一观察，我们将强化学习中的泛化问题重新定义为解决诱导的部分可观察马尔可夫决策过程，我们称之为认知POMDP。我们证明了故障模式的算法，不适当地处理这部分的可观测性，并提出了一个简单的集成为基础的技术，近似解决部分观察到的问题。从经验上讲，我们证明了我们的简单算法来自认知POMDP实现了显着的收益，在推广目前的方法上的Procgen基准套件。
2021-07-13 cs.AI cs.LG stat.ML
ODE-based Recurrent Model-free Reinforcement Learning for POMDPs
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
本文提出一种基于ODE的循环模型与无模型强化学习框架相结合的方法，用于求解POMDP，在PO连续控制和元RL任务中验证了有效性，并展示了对不规则观测的鲁棒性。
2023-10-29 cs.AI cs.LG
Policy Gradient With Value Function Approximation For Collective Multiagent Planning
School of Information Systems（信息系统学院）；Singapore Management University（新加坡管理大学）
本文提出一种改进的actor-critic方法，用于优化集体决策多智能体规划问题，通过分解近似动作价值函数提升收敛速度，并在合成任务和出租车车队优化中验证了方法的有效性。
2018-04-09 cs.AI cs.LG cs.MA
Solving Truly Massive Budgeted Monotonic POMDPs with Oracle-Guided Meta-Reinforcement Learning
Department of Aerospace Engineering（航空航天工程系）；University of Illinois Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；Department of Mathematics（数学系）；Engineer Research and Development Center（工程研究与发展中心）；U.S. Army Corps of Engineers（美国陆军工程兵团）
针对大规模预算约束多组件单调POMDP求解难题，提出两步法：先用随机森林近似最优预算分配，再用Oracle引导的元训练PPO算法求解各单组件问题，实现可扩展性。
2025-09-15 cs.AI cs.LG math.OC
Accelerated Online Risk-Averse Policy Evaluation in POMDPs with Theoretical Guarantees and Novel CVaR Bounds
Technion - Israel Institute of Technology（技术学院-以色列理工学院）
本文提出了一种在POMDP中加速风险厌恶策略评估的方法，通过理论保证和新的CVaR界限，实现计算效率的提升。
2026-02-26 cs.AI math.ST stat.TH
Belief Embedding Tree Search
University of Alberta（阿尔伯塔大学）；Charles University（查理大学）；EquiLibre Technologies, Inc.（EquiLibre科技公司）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所）
本研究提出信念嵌入树搜索（BETS），一种用生成式分布嵌入表示信念的蒙特卡洛规划器，在RockSample等6种POMDP任务上，BETS优于BetaZero等基线规划器，尤其在高维信念场景表现突出。
2026-10-14 cs.AI cs.LG
Macro-Action-Based Deep Multi-Agent Reinforcement Learning
Khoury College of Computer Sciences（科里计算机科学学院）；Northeastern University（东北大学）
在现实世界的多机器人系统中，执行高质量的协作行为要求机器人在不同的持续时间异步推理高层动作选择。MacDec-POMDPs（MacDec-Decentralized Partially Observable Markov Decision Processes）为完全协作的多智能体任务中的不确定性异步决策提供了一个通用框架。然而，多智能体深度强化学习方法仅针对（同步）连续动作问题开发。本文提出了两种基于深度Q网络（DQN）的方法，用于学习分散式和集中式宏动作价值函数，并为每种情况引入了新的宏动作轨迹重放缓冲区。基准问题和更大的域上的评估表明，与连续动作和我们的方法的可扩展性的宏动作的学习的优势。
2021-10-16 cs.AI cs.LG cs.RO
Approximate Planning for Factored POMDPs using Belief State Simplification
AT&T Labs-Research（AT&T实验室-研究）
我们感兴趣的问题，规划因子POMDPs。最近的结果的基础上，卡恩斯，曼苏尔和吴，我们提供了一个规划算法的因素POMDPs，利用的准确性和效率的权衡，在信仰状态的简化介绍了Boyen和Koller。
2013-01-23 cs.AI
Scalable Solution Methods for Dec-POMDPs with Deterministic Dynamics
本文针对确定性转移与观测的多智能体规划问题定义 Det-Dec-POMDP，并基于联合策略均衡搜索提出可扩展求解器 IDPP，以支持大规模问题。
2025-08-29 cs.AI
Rainbow Delay Compensation: A Multi-Agent Reinforcement Learning Framework for Mitigating Delayed Observation
Laboratory of Speech and Intelligent Information Processing, Institute of Acoustics, CAS（语音与智能信息处理实验室，声学研究所，中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）；Department of Electronic Engineering, Tsinghua University（清华大学电子工程系）
针对现实多智能体系统中观测延迟导致的决策问题，本文构建DSID-POMDP模型，提出彩虹延迟补偿（RDC）框架，通过标准基准实验验证其可缓解基线方法性能下降，在部分场景达无延迟性能且具泛化性。
2025-11-12 cs.AI cs.MA
Decentralized Deep Reinforcement Learning for Network Level Traffic Signal Control
UNIVERSITY OF CALIFORNIA DAVIS（加州大学戴维斯分校）
在这篇论文中，我提出了一系列完全分散的深度多智能体强化学习（MARL）算法，以实现网络级交通信号控制的高实时性能。在这种方法中，每个交叉口被建模为一个代理，发挥马尔可夫博弈对其他交叉口节点的交通信号网络建模为无向图，以接近最佳的减少延误。遵循部分可观察马尔可夫决策过程（POMDPs），相邻学习代理之间有3个级别的通信方案：独立深度Q学习（IDQL），共享状态强化学习（S2 RL）和S2 RL的共享状态和奖励版本-S2 R2 L。在这3种分散式MARL方案中，个体代理分别训练其本地深度Q网络（DQN），通过双DQN，优先经验重放，多步自举等保证收敛的技术来增强。为了测试所提出的三种MARL算法的性能，开发了一个基于SUMO的仿真平台来模拟现实世界的流量演变。以允许OD对之间的随机交通需求为输入，建立了一个4 × 4的曼哈顿式网格网络作为实验平台，生成两种不同的车辆到达率用于模型的训练和测试。实验结果表明，S2 R2 L在训练过程中比IDQL和S2 RL具有更快的收敛速度和更好的收敛性能。此外，三个MARL计划都表现出卓越的推广能力。在平均车辆延误、网络级排队长度和燃料消耗率等指标下，其测试结果优于基准的最大压力（MP）算法。值得注意的是，S2 R2 L具有最好的测试性能，与MP相比，减少了34.55%的业务延迟和10.91%的队列长度。
2020-07-17 cs.AI cs.LG eess.SP
Solving infinite-horizon Dec-POMDPs using Finite State Controllers within JESP
Université de Lorraine（洛林大学）；INRIA（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；LORIA（洛林计算机科学与应用数学实验室）
本文着眼于通过搜索纳什均衡来解决形式化为分散式POMDP（Dec-POMDP）的协同规划问题，即，每个代理的策略是对其他代理的（固定）策略的最佳响应的情况。虽然联合基于平衡的搜索策略（JESP）算法在有限时域设置依赖于策略树，我们建议在这里适应它的无限时域Dec-POMDPs通过使用有限状态控制器（FSC）的政策表示。在这篇文章中，我们（1）解释了如何将具有$N-1$固定FSC的Dec-POMDP转化为解是$N^\text{th}$代理最佳对策的无限时域POMDP;（2）提出了一个JESP变体，称为\infJESP，使用它来求解无限时域Dec-POMDP;（3）引入JESP的启发式初始化，旨在得到好的解;以及（4）在最先进的基准问题上进行实验以评估我们的方法。
2021-09-17 cs.AI
Ensuring Logic in the Fog: Sound POMDP Synthesis with LTL Objectives
Imperial College London（伦敦帝国理工学院）；University College London（伦敦大学学院）
本文提出一种新的可靠奖励塑造机制，用于在部分可观测马尔可夫决策过程中实现LTL目标的合成，通过增强的蒙特卡洛规划框架提升在部分可观测环境中的导航能力。
2026-05-12 cs.AI cs.FL cs.LO
