Filtered Fictitious Play for Perturbed Observation Potential Games and Decentralised POMDPs
University of Sydney(悉尼大学);Singapore Management University(新加坡管理大学);University of Southampton(南安普顿大学)
潜在的游戏和分散的部分可观察的MDP(Dec-POMDP)是两种常用的多智能体交互模型,分别用于静态优化和顺序决策设置。本文引入了过滤虚拟对策来解决重复势对策问题,其中每个局中人对其他局中人行动的观察受到随机噪声的干扰,并利用该算法构造了求解Dec-POMDPs的在线学习方法。具体来说,我们证明了噪音的观察,防止标准的虚拟播放收敛到纳什均衡在潜在的游戏,这也使得虚拟播放不切实际的解决Dec-POMDPs。为了打击这一点,我们得到过滤虚构的发挥,并提供条件下,它收敛到一个纳什均衡在潜在的游戏与嘈杂的意见。然后,我们使用过滤虚构播放构造一个求解器的Dec-POMDPs,并证明我们的新算法的性能在推盒问题。我们的研究结果表明,我们始终优于最先进的Dec-POMDP求解器的平均100%的噪声范围内的观察功能。
2012-02-14 cs.AI cs.GT
On State Variables, Bandit Problems and POMDPs
Princeton University(普林斯顿大学)
状态变量很容易成为序列决策问题中最微妙的维度。在主动学习问题(“强盗问题”)的背景下尤其如此,在这种情况下,决策会影响我们观察和学习的内容。我们描述了我们的规范框架,模型{ \it任何}顺序决策问题,并提出我们的状态变量的定义,使我们能够声称:任何正确建模的顺序决策问题是马尔可夫。然后,我们提出了一个新的两个代理的角度来看,部分可观察马尔可夫决策问题(POMDPs),使我们能够然后声称:任何模型的一个真正的决策问题是(可能)非马尔可夫。我们使用观察和治疗人群中的流感的背景来说明这些观点,并提供在这种情况下的所有四类政策的例子。我们关闭的指示如何将这种思想扩展到多智能体问题。
2020-02-14 cs.AI cs.LG stat.ML
An Investigation into Mathematical Programming for Finite Horizon Decentralized POMDPs
IMS, Suplec(IMS,苏佩莱克);LORIA/INRIA(洛林计算机科学及其应用研究院/法国国家信息与自动化研究所)
不确定环境下的分散规划是一项复杂的任务,通常使用决策理论方法来处理,主要是通过分散部分可观测马尔可夫决策过程(Decentralized Partially Observable Markov Decision Processes,DEC-POMDPs)的框架。尽管DEC-POMDPS是一个通用的、功能强大的建模工具,但解决它们是一项具有压倒性复杂性的任务,可能是成倍增长的。在本文中,我们研究了一种替代配方的DEC POMDPs依赖于序列形式的政策表示。从这个公式中,我们将展示如何推导出混合线性规划(MILP)的问题,一旦解决,给出精确的最优解的DEC POMDPs。我们表明,这些MILP可以通过使用一些组合特性的最优解的DEC POMDPs或通过使用借用博弈论的概念。通过对经典测试问题的实验验证,从DEC-POMDP文献中,我们比较我们的方法与现有的算法。结果表明,数学规划优于动态规划,但效率低于前向搜索,除了一些特殊的问题。这项工作的主要贡献是使用数学规划的DEC-POMDPs和更好地了解DEC-POMDPs及其解决方案。此外,我们认为,我们的替代表示的DEC-POMDPs可能有助于设计新的算法寻找近似解的DEC-POMDPs。
2014-01-16 cs.AI
Distribution over Beliefs for Memory Bounded Dec-POMDP Planning
INRIA(法国国家信息与自动化研究所);Loria(洛里亚研究所)
我们提出了一种新的基于点的近似规划方法在Dec-POMDP的性能优于国家的最先进的方法在解决方案的质量。它使用一个启发式估计的先验概率的信念,选择一个有界数量的政策树:这种选择制定为一个组合优化问题,最大限度地减少修剪引起的错误。
2012-03-15 cs.AI
Deceptive Kernel Function on Observations of Discrete POMDP
New York University(纽约大学)
研究了部分可观测马尔可夫决策过程中对主体的欺骗问题。在离散POMDP模型中引入欺骗性核函数(核),用于智能体的观测。基于Agent使用的值迭代、价值函数逼近和POMCP三种特征算法,分析了其信念被作为内核输出的虚假观测所误导,并预测了其对Agent奖励和潜在其他性能可能造成的威胁。我们验证了我们的期望,并通过实验两个POMDP问题的欺骗探索更有害的影响。结果表明,应用于Agent观测的核函数会影响Agent的信念,从而大大降低Agent的收益;同时,核函数的某些实现也会导致Agent的其他异常行为。
2020-08-12 cs.AI
Optimal and Approximate Q-value Functions for Decentralized POMDPs
University of Amsterdam(阿姆斯特丹大学);Instituto Superior Técnico(里斯本高等理工学院);Technical University of Crete(克里特理工大学)
决策理论规划是一种流行的方法,顺序决策问题,因为它处理的不确定性,在传感器和行动的原则。在MDP和POMDP等单智能体框架中,规划可以通过求助于Q-价值函数来执行:通过动态规划以递归方式计算最优Q-值函数Q*,然后从Q* 中提取最优策略。在本文中,我们研究是否可以定义类似的Q-价值函数的分散POMDP模型(Dec-POMDP),以及如何从这样的价值函数中提取政策。我们定义了两种形式的最佳Q-价值函数的Dec-POMDPs:一个是一个规范的描述作为Q-价值函数的最佳纯联合政策和另一个是顺序合理的,从而给出了一个配方的计算。然而,除了最小的问题之外,这种计算对所有问题都是不可行的。因此,我们分析了各种近似Q-价值函数,允许有效的计算。我们描述了它们之间的关系,并证明了它们都提供了最优Q-价值函数Q* 的上界。最后,统一以前的一些方法来解决Dec-POMDPs,我们描述了一个家庭的算法,从这样的Q-价值函数提取政策,并进行实验评估现有的测试问题,包括一个新的消防基准问题。
2011-10-31 cs.AI
Anytime Planning for Decentralized POMDPs using Expectation Maximization
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
分散POMDPs提供了一个表达框架,多代理顺序决策。虽然有限时域DECPOMDPs已经取得了显著的成功,进展仍然缓慢的无限时域的情况下,主要是由于固有的复杂性,优化随机控制器代表代理政策。我们提出了一个很有前途的新一类算法的无限地平线的情况下,重铸的优化问题的推理混合DBNs。这种方法的一个有吸引力的特点是直接采用现有的推理技术在DBN解决DEC-POMDP和支持更丰富的表示,如因子或连续的状态和动作。我们还推导出期望最大化(EM)算法来优化联合政策表示为DBN。在基准域上的实验表明,EM与最先进的求解器相比毫不逊色。
2012-03-15 cs.AI
Incremental Clustering and Expansion for Faster Optimal Planning in Dec-POMDPs
Maastricht University(马斯特里赫特大学);Delft University of Technology(代尔夫特理工大学);Massachusetts Institute of Technology(麻省理工学院);University of Amsterdam(阿姆斯特丹大学)
本文提出了最佳的解决方案的分散部分可观察马尔可夫决策过程(Dec-POMDPs),这是一般模型的协作多智能体规划下的不确定性的方法的最新技术。建立了广义多智能体A*(GMAA*)算法,它减少了问题的一棵树的一次性协作贝叶斯游戏(CBG),我们描述了几个进步,大大扩大了范围的Dec-POMDPs,可以最佳地解决。首先,我们引入无损增量聚类的CBG解决GMAA*,实现指数加速而不牺牲最优性。其次,我们在GMAA* 搜索树中引入了节点的增量扩展,这避免了扩展所有子节点的需要,在最坏的情况下,子节点的数量在节点深度上是双指数的。这在可能的聚类很少时特别有益。此外,我们引入了新的混合启发式表示,更紧凑,从而使较大的Dec-POMDPs的解决方案。我们提供了理论保证,当使用一个合适的启发式,增量聚类和增量扩展产量算法,都是完整的和搜索等价的。最后,我们提出了广泛的实证结果表明,GMAA*-ICE,一个算法,综合了这些进步,可以最佳地解决Dec-POMDPs前所未有的大小。
2014-02-04 cs.AI
Hindsight is Only 50/50: Unsuitability of MDP based Approximate POMDP Solvers for Multi-resolution Information Gathering
The Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所);Carnegie Mellon University(卡内基梅隆大学);The Robotics Institute(机器人研究所)
部分可观测马尔可夫决策过程(POMDPs)提供了一个优雅的框架,在不确定环境中的顺序决策建模。在线求解POMDPs是一个活跃的研究领域,并且考虑到现实世界问题的大小,使用近似求解器。最近,已经提出了一些方法来解决POMDP使用MDP求解器结合模仿学习。基于MDP的POMDP解算器在某些情况下工作良好,而在其他情况下则灾难性地失败。这种求解器的主要故障点是MDP求解器缺乏获取信息的动机,因为在他们的假设下,环境要么已经尽可能多地已知,要么在下一步之后不确定性就会消失。然而,为了解决POMDP问题,获取信息可以导致有效的解决方案。在本文中,我们推导出一组条件,MDP为基础的POMDP求解器是可证明的次优。然后,我们使用著名的老虎问题来证明这种次优。我们表明,多分辨率,预算信息收集不能使用基于MDP的POMDP求解器。本文的贡献有助于确定POMDP问题的属性,使用基于MDP的POMDP求解器是不合适的,从而可以更好地设计选择。
2018-04-07 cs.AI
What should be observed for optimal reward in POMDPs?
Technical University of Denmark(丹麦技术大学)
针对POMDP中传感器选择的成本效益问题,本文提出最优可观测性问题OOP,证明其一般不可判定、仅位置策略下可判定,并给出两种可判定片段的求解算法,在典型示例上验证了效果。
2024-07-11 cs.AI
End-to-End Policy Gradient Method for POMDPs and Explainable Agents
The University of Tokyo(东京大学);Kyoto University(京都大学);Advanced Telecommunications Research Institute International (ATR)(国际电气通信基础技术研究所)
针对部分可观测决策问题,提出一种端到端训练并估计隐藏状态的强化学习算法,同时以状态转移图实现可解释性,实验验证其能解决简单 POMDP。
2023-04-19 cs.AI
MAA*: A Heuristic Search Algorithm for Solving Decentralized POMDPs
INRIA Lorraine, LORIA(洛林信息科学研究所);University of Massachusetts(马萨诸塞大学)
本文提出了多智能体A*(MAA*)算法,它是求解有限时域分散部分可观测马尔可夫决策问题(DEC-POMDP)的第一个完整的最优启发式搜索算法.该算法适用于计算在随机环境中,如多机器人协调,网络交通控制,或分布式资源分配的代理的合作组的最优计划。有效地解决这些问题是不确定性规划领域的一个重大挑战。我们的解决方案是基于经典的启发式搜索和分散控制理论的合成。实验结果表明,MAA* 具有明显的优势。我们介绍了一个随时变MAA*,并结束了讨论有前途的扩展,如解决无限地平线问题的方法。
2012-07-04 cs.AI
Optimizing Memory-Bounded Controllers for Decentralized POMDPs
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
我们提出了一个内存有界的优化方法来解决无限时域分散POMDPs。每个代理的策略由随机有限状态控制器表示。我们制定的优化这些政策作为一个非线性规划的问题,利用强大的现有的非线性优化技术来解决这个问题。虽然现有的求解器只能保证局部最优的解决方案,我们表明,我们的配方比国家的最先进的方法产生更高质量的控制器。我们还采用了一个共享的随机性源的形式的相关设备,以进一步提高解决方案的质量,只有有限的增加空间和时间。我们的实验结果表明,非线性优化可以用来提供高质量的,简洁的解决方案,分散决策问题的不确定性。
2012-06-20 cs.AI
Finite-State Controllers for (Hidden-Model) POMDPs using Deep Reinforcement Learning
Brno University of Technology(布尔诺理工大学);Radboud University(拉德堡德大学);Masaryk University(马萨里克大学)
本文提出Lexpop框架,利用深度强化学习训练神经策略并构建有限状态控制器,解决POMDPs的可扩展性问题,并扩展至隐式模型POMDPs,通过迭代训练稳健策略并提取稳健控制器,实验显示其在大状态空间问题上优于现有方法。
2026-04-01 cs.AI
LLM-Guided Probabilistic Program Induction for POMDP Model Estimation
MIT(麻省理工学院);Cornell University(康奈尔大学)
本文提出以 LLM 为先验生成并迭代修正短概率程序,用于归纳低复杂度 POMDP 模型,并在玩具、MiniGrid 与真实机器人搜索任务中验证其优于多种基线。
2025-05-12 cs.AI
A Tractable POMDP for a Class of Sequencing Problems
Stanford University(斯坦福大学)
我们考虑一个部分可观察马尔可夫决策问题(POMDP)模型的一类排序问题。虽然POMDPs通常是棘手的,我们的配方承认听话的解决方案。我们将状态空间降维到一个更小的维度,而不是在一个高维的信念状态集合上保持一个价值函数,其中基于网格的动态规划技术是有效的。我们开发了一个误差界的近似结果,并讨论了应用模型的问题,有针对性的广告。
2013-01-10 cs.AI
Sensor Synthesis for POMDPs with Reachability Objectives
IST Austria(奥地利科学技术研究所);University of Texas at Austin(德克萨斯大学奥斯汀分校)
部分可观测马尔可夫决策过程(POMDPs)被广泛应用于概率规划问题中,其中智能体与环境交互使用噪声和不精确的传感器。我们研究的设置中,传感器只有部分定义和目标是合成“最弱”的额外传感器,这样,在由此产生的POMDP,有一个小内存的代理,几乎肯定(概率~1)满足可达性目标的政策。我们证明了该问题是NP完全的,并通过将问题编码成SAT实例,给出了一个符号算法。我们说明了一个简单的例子上的策略的内存量和额外的传感器的数量之间的权衡。我们已经实现了我们的方法,并考虑三个经典的POMDP的例子,从文献中,并表明,在所有的例子中,传感器的数量可以显着减少(与文献中现有的解决方案相比),而不会增加政策的复杂性。
2017-09-29 cs.AI
A Possibilistic Model for Qualitative Sequential Decision Problems under Uncertainty in Partially Observable Environments
IRIT - Universite Paul Sabatier(IRIT - 保罗·萨巴捷大学)
在这篇文章中,我们提出了一个定性(有序)部分可观察马尔可夫决策过程模型(POMDP),其中的不确定性,以及代理的偏好,建模的可能性分布。POMDP模型的这种定性对应依赖于最近开发的不确定性决策的可能性理论。这样的定性框架的一个优点是它能够摆脱随机POMDP的经典障碍,即使在有限的状态空间中,所获得的POMDP的信念状态空间是无限的。相反,在可能性框架中,即使指数地大于状态空间,信念状态空间仍然是有限的。
2013-01-23 cs.AI
Multi-Environment POMDPs with Finite-Horizon Objectives
Institute of Science and Technology Austria(奥地利科学与技术研究所)
本文研究多环境POMDPs在有限时间目标下的最优值与策略计算,证明该问题在POMDPs中为PSPACE完全问题,并提出有效算法在经典基准上表现优异。
2026-11-16 cs.AI
On the Linear Belief Compression of POMDPs: A re-examination of current methods
Heriot-Watt University(赫瑞-瓦特大学);Microsoft(微软)
信念压缩通过从高维信念空间到低维近似的投影来提高大规模部分可观察马尔可夫决策过程(POMDPs)的易处理性,其中求解以获得动作选择策略需要更少的计算。本文提出了一个统一的理论框架来分析现有的三种线性信念压缩方法,包括值导向压缩和两种基于非负矩阵分解(NMF)的算法。结果表明,所有已知的三个信念压缩方法都有自己的关键缺陷。因此,投影NMF信念压缩(P-NMF),旨在克服现有技术的缺点。所提出的算法的性能进行检查四个POMDP问题的规模相当大,与现有的技术相比。此外,竞争力的信念压缩进行了比较,经验的国家的最先进的启发式搜索为基础的POMDP求解器和他们的相对优势,在解决大规模POMDP的调查。
2015-08-05 cs.AI
POMDPs under Probabilistic Semantics
IST Austria(奥地利科学技术研究所)
考虑具有极限平均收益的部分可观测马尔可夫决策过程(POMDPs),其中每一个转移都对应一个区间[0,1]内的奖励值,无限路径的收益是这些奖励的长期平均.我们考虑两种类型的路径约束:(i)定量约束定义了收益至少为(0,1]中给定阈值λ的路径集合;以及(ii)定性约束,这是λ = 1的定量约束的特殊情况。我们考虑几乎确定获胜集的计算,其中控制器需要确保路径约束以概率1满足。我们对定性路径约束的主要结果如下:(i)判定有限记忆控制器存在性的问题是EXPTIME-完全的;(ii)判定无限记忆控制器存在性的问题是不可判定的。对于定量路径约束,我们证明了有限记忆控制器存在性的判定问题是不可判定的。
2013-08-22 cs.AI
Information Gathering in Decentralized POMDPs by Policy Graph Improvement
University of Hamburg(汉堡大学);TU Darmstadt(达姆施塔特工业大学)
当部署多个自主智能体来收集关于感兴趣的现象的数据而没有通信能力时,需要分散的信息收集策略。分散部分可观察马尔可夫决策过程(Dec-POMDPs)是一个通用的,原则性的模型,非常适合这种分散的多智能体决策问题。在本文中,我们研究Dec-POMDPs分散信息收集问题。Dec-POMDP的最优解使期望的回报之和随时间最大化。为了鼓励信息收集,我们将奖励设置为代理状态信息的函数,例如负香农熵。我们证明了,如果奖励是凸的,那么相应的Dec-POMDP的有限时域价值函数也是凸的。我们提出了第一个启发式算法的信息收集Dec-POMDPs,并通过解决问题的数量级大于以前的国家的最先进的经验证明其有效性。
2019-02-26 cs.AI cs.MA
Solving POMDPs by Searching the Space of Finite Policies
Brown University(布朗大学)
求解部分可观测马尔可夫决策过程(POMDPs)通常是非常棘手的,至少部分是因为最优策略可能是无限大的。在本文中,我们探讨的问题,找到最佳的政策,从一组有限的政策,表示为一个给定的大小的有限状态自动机。这个问题也是棘手的,但我们表明,当POMDP和/或政策的进一步约束的复杂性可以大大降低。我们展示了良好的实证结果与分支定界方法寻找全局最优的确定性政策,和梯度上升的方法寻找局部最优的随机政策。
2013-01-23 cs.AI
Scaling POMDPs For Selecting Sellers in E-markets-Extended Version
Nanyang Technological University(南洋理工大学);University of Amsterdam(阿姆斯特丹大学);University of Liverpool(利物浦大学)
在多代理电子市场中,购买代理需要通过询问其他买家(称为顾问)来选择好的卖家。部分可观测马尔可夫决策过程(POMDPs)已被证明是一个有效的框架,通过选择性地查询顾问最佳选择卖家。然而,当前的解决方案方法不能扩展到在电子市场中操作的数百甚至数十个代理。在本文中,我们提出了混合POMDP专家(MOPE)技术,它利用了固有的结构的信任为基础的领域,如卖方选择问题在电子市场中,通过聚合的解决方案较小的子POMDP。我们提出了一些变体的MOPE方法,我们从理论上和实证分析。实验表明,MOPE可以扩展到100个代理,从而利用更多顾问的存在,显着提高买家满意度。
2015-12-09 cs.AI
Reinforcement Learning Methods for Wordle: A POMDP/Adaptive Control Approach
Arizona State University(亚利桑那州立大学)
在本文中,我们解决流行的Wordle难题的解决方案,使用新的强化学习方法,适用于更普遍的自适应控制的动态系统和类的部分可观察马尔可夫决策过程(POMDP)的问题。这些方法是基于近似值空间和推出的方法,承认一个简单的实现,并提供各种启发式方法的性能改善。对于Wordle难题,他们产生的在线解决方案的战略,是非常接近最佳的计算成本相对适中。我们的方法是可行的更复杂的版本的Wordle和相关的搜索问题,最佳策略将是不可能计算。它们也适用于广泛的自适应序贯决策问题,涉及一个未知的或经常变化的环境,其参数估计在线。
2022-11-29 cs.AI
Learning Symbolic Persistent Macro-Actions for POMDP Solving Over Time
University of Verona(威尼斯大学)
本文提出用基于事件演算的 LTL 片段生成持续宏动作,并通过 ILP 从少量轨迹中学习,以引导 MCTS 求解 POMDP,在 Pocman 和 Rocksample 上实现了更强表达能力和计算效率提升。
2025-05-06 cs.AI
Monte Carlo Sampling Methods for Approximating Interactive POMDPs
University of Georgia(佐治亚大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
部分可观测马尔可夫决策过程(POMDPs)提供了一个原则性的框架,顺序规划在不确定的单代理设置。POMDP的扩展到多智能体设置,称为交互式POMDP(I-POMDP),取代POMDP的信念空间与交互式层次的信念系统,代表一个代理人的信念,对物理世界,对其他代理人的信念,以及对他们的信念对他人的信念。这种修改使得由于信念和政策空间的复杂性而获得解决方案的困难变得更加尖锐。我们描述了一种基于粒子滤波(PF)的I-POMDPs的近似解的一般方法。我们引入了交互式PF,它降低了交互式信念层次结构和样本的水平,并在每个级别上传播信念。交互式PF能够降低信念空间复杂度,但不能解决策略空间复杂度。为了减轻政策的空间复杂度-有时也被称为历史的诅咒-我们利用一个互补的方法的基础上采样可能的意见,同时建立前瞻可达树。虽然这种方法不能完全解决历史的诅咒,但它大大削弱了诅咒的影响。我们提供实验结果和图表未来的工作。
2014-01-15 cs.AI
POMDPs under Probabilistic Semantics
IST Austria(奥地利科学技术研究所)
考虑具有极限平均收益的部分可观测马尔可夫决策过程(POMDPs),其中每一个转移都对应一个区间[0,1]内的奖励值,无限路径的收益是这些奖励的长期平均.我们考虑两种类型的路径约束:(i)定量约束定义了一组路径,其中收益至少是(0,1]中的给定阈值λ da_1;以及(ii)定性约束,这是λ da_1 =1的定量约束的特殊情况。我们考虑几乎确定获胜集的计算,其中控制器需要确保路径约束以概率1满足。我们对定性路径约束的主要结果如下:(i)判定有限记忆控制器存在性的问题是EXPTIME-完全的;(ii)判定无限记忆控制器存在性的问题是不可判定的。对于定量路径约束,我们证明了有限记忆控制器存在性的判定问题是不可判定的。
2014-08-09 cs.AI
A Hybrid POMDP-BDI Agent Architecture with Online Stochastic Planning and Plan Caching
Centre for Artificial Intelligence Research(人工智能研究中心);University of KwaZulu-Natal(夸祖鲁-纳塔尔大学);CSIR Meraka(南非科学与工业研究理事会梅拉卡研究所)
本文提出了一种在随机环境中控制自主智能体的智能体体系结构。该体系结构结合了部分可观察马尔可夫决策过程(POMDP)模型与信念-愿望-意图(BDI)框架。混合POMDP-BDI代理体系结构从两种方法中获得最佳功能,即从POMDP理论在线生成奖励最大化的行动课程,以及从BDI理论复杂的多目标管理。我们介绍了自引入基本架构以来所取得的进展,包括(i)同时追求多个目标的能力和(ii)用于存储预先编写的计划和存储最近生成的计划以供将来重用的计划库。一个版本的架构没有计划库的实施和评估使用模拟。仿真实验结果表明该方法是可行的。
2016-07-03 cs.AI
Adaptive Belief Discretization for POMDP Planning
University of Oslo(奥斯陆大学)
部分可观测马尔可夫决策过程(POMDP)是一个广泛使用的模型来表示环境和智能体的相互作用,在状态不确定性。由于代理不观察环境状态,其不确定性通常通过概率信念表示。虽然可能信念的集合是无限的,使得精确规划变得棘手,但信念空间的复杂性(以及规划复杂性)由其覆盖数表征。许多POMDP求解器统一离散的信念空间,并给出规划误差的覆盖数(通常是未知的)。相反,我们提出了一个自适应的信念离散化方案,并给出其相关的规划误差。此外,我们描述的覆盖数相对于POMDP参数。这允许我们在规划器上指定精确的内存需求,需要绑定价值函数错误。然后,我们提出了一种新的,计算效率高的求解器使用该计划。我们证明了我们的算法在各种情况下与最先进的算法具有很强的竞争力。
2021-04-15 cs.AI
Perseus: Randomized Point-based Value Iteration for POMDPs
University of Amsterdam(阿姆斯特丹大学)
部分可观测马尔可夫决策过程(POMDPs)形成了一个有吸引力的和原则性的框架下不确定性的代理规划。POMDP基于点的近似技术计算的基础上,提前从代理的信念空间收集的一组有限的点的政策。我们提出了一个随机点为基础的值迭代算法称为珀尔修斯。该算法执行近似值备份阶段,确保在每个备份阶段的信念集中的每个点的值得到改善;关键的观察是,一个单一的备份可能会提高许多信念点的值。与其他基于点的方法相反,Perseus只备份信念集中的(随机选择的)点子集,足以提高集合中每个信念点的值。我们展示了同样的想法可以扩展到处理连续的动作空间。实验结果显示了Perseus在大规模POMDP问题中的潜力。
2011-09-09 cs.AI
GammaZero: Learning To Guide POMDP Belief Space Search With Graph Representations
GammaZero通过图表示框架学习引导POMDP规划,利用统一的图信念表示实现跨问题规模的泛化,通过图神经网络和解码器架构从专家示范中学习价值函数和策略,指导蒙特卡洛树搜索。
2026-03-29 cs.AI
BetaZero: Belief-State Planning for Long-Horizon POMDPs using Learned Approximations
Stanford University(斯坦福大学)
BetaZero将离线神经网络近似与在线蒙特卡洛树搜索结合,用于高维POMDP的信念状态规划,通过Q加权访问计数策略训练,在多个基准和矿产勘探任务中优于现有求解器。
2024-07-31 cs.AI
Utilization of domain knowledge to improve POMDP belief estimation
Honda Research Institute Japan(日本本田研究所)
部分可观测马尔可夫决策过程(POMDP)框架是一种常见的不确定性决策方法。最近,多项研究表明,通过将相关领域知识整合到POMDP信念估计中,我们可以提高学习策略的性能。在这项研究中,我们提出了一种新的方法集成领域知识的概率信念更新POMDP框架中使用杰弗里的规则和规范化。我们表明,领域知识可以利用,以减少数据需求,提高性能的POMDP策略学习与RL。
2023-02-17 cs.AI cs.LG
Recursively-Constrained Partially Observable Markov Decision Processes
University of Colorado Boulder(科罗拉多大学博尔德分校);Jet Propulsion Laboratory(喷气推进实验室);California Institute of Technology(加州理工学院)
针对C-POMDP违反最优子结构导致在线重规划无效的问题,提出RC-POMDP模型,引入依赖历史代价约束,确保确定性最优策略并遵循Bellman原理,同时提出基于点的动态规划算法,实验证明其能产生更理想行为。
2024-06-05 cs.AI cs.RO
pomdp_py: A Framework to Build and Solve POMDP Problems
Brown University(布朗大学)
在本文中,我们介绍了pomdp_py,一个通用的部分可观察马尔可夫决策过程(POMDP)库编写的Python和Cython。由于底层程序设计语言或接口,现有POMDP库通常阻碍可访问性和有效的原型设计,并且需要软件工具链的额外复杂性来与机器人系统集成。pomdp_py具有简单而全面的接口,能够描述大型离散或连续(PO)MDP问题。在这里,我们总结了设计原则,并详细描述了pomdp_py中的编程模型和接口。我们还描述了这个库与ROS(机器人操作系统)的直观集成,这使得我们的躯干驱动机器人在3D中执行对象搜索。最后,我们指出了改进和扩展POMDP规划及以后的库的方向。
2020-04-21 cs.AI cs.RO
Robust Finite-Memory Policy Gradients for Hidden-Model POMDPs
Radboud University Nijmegen(奈克梅根雷达堡大学);Brno University of Technology(布拉格技术大学);Ruhr-University Bochum(波恩鲁尔大学)
针对隐模型POMDPs(HM-POMDPs)中策略对环境扰动鲁棒性不足的问题,结合演绎形式验证技术与子梯度上升优化,提出鲁棒有限记忆策略梯度方法,提升策略鲁棒性与泛化性并实现大规模扩展。
2025-08-20 cs.AI cs.LG
An On-Line POMDP Solver for Continuous Observation Spaces
College of Engineering & Computer Science, The Australian National University(澳大利亚国立大学工程与计算机科学学院)
部分可观测规划是自主机器人的基本要求。解决这些规划问题的一个原则性方法是部分可观察马尔可夫决策过程(POMDP)。虽然求解POMDP在计算上是棘手的,但在过去的二十年中,在开发近似POMDP求解器方面已经取得了实质性的进展。然而,计算具有连续观测空间的问题的鲁棒解决方案仍然具有挑战性。大多数在线求解器依赖于离散化的观察空间或人为地限制在规划期间考虑的观察的数量来计算易处理的策略。在本文中,我们提出了一个新的在线POMDP求解器,称为懒惰的信念提取连续POMDP(LABECOP),它结合了蒙特卡洛树搜索和粒子滤波的方法来构建一个政策reprentation,它不需要离散化的观察空间,并避免限制在规划过程中考虑的观察数量。三个不同的问题,涉及连续观测空间的实验表明,LABECOP执行类似或优于国家的最先进的POMDP求解器。
2020-11-04 cs.AI cs.RO
Counterexample-Guided Strategy Improvement for POMDPs Using Recurrent Neural Networks
The University of Texas at Austin(得克萨斯大学奥斯汀分校);Radboud University(拉德堡德大学);Albert-Ludwigs-Universität Freiburg(阿尔伯特-路德维希大学弗莱堡分校);Concept Engineering GmbH(康赛普特工程有限公司)
研究部分可观测马尔可夫决策过程的策略综合问题。特定的问题是确定可证明遵守(概率)时序逻辑约束的策略。这个问题在计算上是难以处理的,在理论上也是困难的。我们提出了一种新的方法,结合了机器学习和形式化验证的技术。首先,我们训练一个递归神经网络(RNN)来编码POMDP策略。RNN解释了基于记忆的决策,而不需要扩展POMDP的完整信念空间。其次,我们将基于RNN的策略限制为表示有限内存策略,并在特定的POMDP上实现。对于所得到的有限马尔可夫链,有效的形式化验证技术提供了可证明的保证,对时序逻辑规范。如果不满足规范,则反例提供诊断信息。我们使用这些信息通过迭代训练RNN来改进策略。数值实验表明,所提出的方法提高了POMDP求解的最高三个数量级的求解时间和模型大小方面的艺术状态。
2019-03-21 cs.AI cs.LG
Welfare Maximization Algorithm for Solving Budget-Constrained Multi-Component POMDPs
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Engineer Research and Development Center(工程研究与发展中心);US Army Corps of Engineers(美国陆军工程兵团)
针对多组件基础设施维护检查的预算约束序贯决策问题,提出基于b-POMDP模型与福利最大化的最优策略求解算法,利用价值函数凹性实现预算最优分配,性能显著优于现有实用策略。
2023-05-14 cs.AI math.OC
Solving Collaborative Dec-POMDPs with Deep Reinforcement Learning Heuristics
针对现有 Dec-POMDP 最先进算法难以处理复杂智能体协作的问题,提出 SA2MA 两阶段方法:先学习单智能体策略,再将其用于多智能体求解,并在复杂协作领域中取得明显优势。
2024-08-30 cs.AI cs.LG cs.MA
PEGASUS: A Policy Search Method for Large MDPs and POMDPs
UC Berkeley(加州大学伯克利分校)
我们提出了一种新的方法来搜索一个马尔可夫决策过程(MDP)或部分可观察马尔可夫决策过程(POMDP)的政策空间的问题,给定的模型。我们的方法是基于以下观察:任何(PO)MDP可以转化为一个“等效”POMDP中的所有状态转换(给定当前状态和动作)是确定性的。这将策略搜索的一般问题减少到我们只需要考虑具有确定性转换的POMDP的问题。我们给出了一个自然的方法来估计这些转换POMDPs中所有政策的价值。然后,通过搜索具有高估计值的策略来简单地执行策略搜索。我们还建立了我们的价值估计将是好的条件下,恢复类似于Kearns,Mansour和Ng(1999)的理论结果,但“样本复杂性”的界限,只有一个多项式,而不是指数依赖于地平线时间。我们的方法适用于任意POMDPs,包括无限状态和动作空间。我们还提出了一个小的离散问题,我们的方法的实证结果,并在一个复杂的连续状态/连续动作的问题,涉及学习骑自行车。
2013-01-16 cs.AI cs.LG
Towards Using Fully Observable Policies for POMDPs
Pázmány Péter Catholic University(帕兹马尼·彼得天主教大学)
部分可观测马尔可夫决策过程(POMDP)是一个适用于许多现实世界问题的框架。在这项工作中,我们提出了一种方法来解决POMDPs与多模态信念依赖于一个政策,解决了完全可观察的版本。通过定义一个新的,混合价值函数的基础上的价值函数从完全可观察变量,我们可以使用相应的贪婪策略来解决POMDP本身。我们开发必要的数学框架进行讨论,并介绍了一个基准建立在侦察盲TicTacToe的任务。在这个基准,我们表明,我们的政策优于政策,忽略存在多种模式。
2022-07-24 cs.AI cs.LG
Stick-Breaking Policy Learning in Dec-POMDPs
MIT(麻省理工学院);University of New Hampshire(新罕布什尔大学);Duke University(杜克大学)
本文提出了一种变大小状态控制器的Dec-SBPR框架,通过Stick-Breaking先验构建局部策略,无需假设Dec-POMDP模型即可学习控制器参数,有效提升大规模问题的性能。
2015-11-23 cs.AI cs.SY eess.SY
Revelations: A Decidable Class of POMDPs with Omega-Regular Objectives
CNRS(法国国家科学研究中心);University of Antwerp(安特卫普大学);Flanders Make(法兰德斯制造研究院)
针对POMDP中omega正则目标的可判定性问题,提出启示机制限制信息损失,将弱启示和强启示两类POMDP的可判定情形归结为有限信念支撑MDP,从而给出精确算法。
2024-12-16 cs.AI cs.LO cs.SY
Experimental results : Reinforcement Learning of POMDPs using Spectral Methods
University of California, Irvine(加利福尼亚大学欧文分校);INRIA, France(法国国家信息与自动化研究所)
提出了一种基于谱分解方法的部分可观测马尔可夫决策过程(POMDP)的强化学习新算法。虽然谱方法以前已经用于(被动)潜变量模型(如隐马尔可夫模型)的一致学习,但POMDP更具挑战性,因为学习者与环境交互,并可能改变过程中的未来观测。我们设计了一个贯穿各个时期的学习算法,在每个时期,我们采用谱技术从一个固定的策略生成的轨迹中学习POMDP参数。在历元结束时,优化预言机返回最优无记忆规划策略,该策略基于估计的POMDP模型最大化期望回报。我们证明了一个订单最优的遗憾界方面的最优无记忆政策和有效的缩放方面的维度的观察和行动空间。
2017-05-07 cs.AI cs.LG stat.ML
Learning in POMDPs is Sample-Efficient with Hindsight Observability
Stanford University(斯坦福大学);Google Research(谷歌研究院);HKUST(香港科技大学)
POMDPs捕获了广泛的决策问题,但硬度的结果表明,学习是棘手的,即使在简单的设置,由于固有的部分可观测性。然而,在许多现实问题中,更多的信息要么被揭示,要么可以在学习过程中的某个点计算。从机器人技术到数据中心调度的各种应用的激励下,我们制定了一个后见之明可观察马尔可夫决策过程(HOMDP)作为POMDP的潜在状态揭示给学习者在事后,只有在训练。我们引入了新的算法的表格和函数近似设置,可证明是样本有效的事后可观察性,即使在POMDPs,否则将是统计上棘手的。我们给出了一个下界,表明表格算法是最优的,在其依赖于潜在的状态和观察基数。
2023-02-03 cs.AI cs.LG stat.ML
Under-Approximating Expected Total Rewards in POMDPs
RWTH Aachen University(亚琛工业大学)
我们考虑这个问题:在部分可观测马尔可夫决策过程(POMDP)中,达到目标状态的最优期望总回报是否低于给定阈值?我们通过计算这些总的预期回报的近似值来解决这个通常不可判定的问题。这是通过抽象POMDP的无限信念MDP的有限展开来完成的。关键问题是找到合适的价值函数的欠逼近。我们提供两种技术:一个简单的(截止)技术,使用一个良好的政策对POMDP,和一个更先进的技术(信念裁剪),使用最小的变化之间的信念的概率。我们使用混合整数线性规划(MILP)找到这样的最小概率的变化,并通过实验表明,我们的技术规模相当不错,同时提供严格的下限预期的总回报。
2022-01-21 cs.AI cs.LO
Learning from Humans as an I-POMDP
Harvard Micro-robotics Laboratory(哈佛大学微型机器人实验室)
交互式部分可观察马尔可夫决策过程(I-POMDP)是最近发展起来的框架,它扩展了POMDP的多智能体设置包括代理模型的状态空间。本文主张制定一个代理的问题,从一个人的教师互动学习作为一个I-POMDP,其中代理\emph{programming}学习被捕获的随机变量在代理的状态空间,所有的\emph{signals}从人类教师被视为观察到的随机变量,和人类教师,建模为一个独特的代理,明确表示在代理的状态空间。这种方法的主要好处是:i.有原则的动作选择机制,ii.原则性信念更新机制,iii.支持最常见的教师\emph{signals},以及iv.预期产生的复杂的有益的相互作用。拟议的配方,它的好处,和几个悬而未决的问题。
2012-04-01 cs.AI cs.RO
Optimizing Sequential Medical Treatments with Auto-Encoding Heuristic Search in POMDPs
Imperial College London(帝国理工学院)
健康相关数据在暗示患者的真实生理状态方面是噪声和随机的,限制了用于顺序临床决策的单时刻观察中包含的信息。我们将患者与临床医生的相互作用建模为部分可观察的马尔可夫决策过程(POMDPs),并根据从历史序列推断的信念状态优化顺序治疗。为了便于推理,我们建立了一个变分生成模型,并使用递归神经网络(RNN)增强状态表示,并结合了序列自动编码的辅助损失。同时,我们优化了一个连续的药物水平的政策与行动者-评论家的方法,其中策略梯度从一个稳定的政策外估计的优势函数,与并行的最佳优先后缀树支持的信念状态的值。我们利用我们的方法,使用回顾性重症监护数据集优化脓毒症患者的血管加压药和静脉输液剂量,并使用政策外政策评估(OPPE)评估学习的政策。结果表明,建模为POMDP产生更好的性能比MDP,并将启发式搜索提高样本效率。
2019-05-17 cs.AI cs.LG
Bounded Policy Synthesis for POMDPs with Safe-Reachability Objectives
Rice University(莱斯大学)
在不确定性下规划鲁棒执行是构建自主机器人的基本挑战。部分可观测马尔可夫决策过程(POMDP)为许多应用中的不确定性建模提供了一个标准框架。在这项工作中,我们研究POMDPs的安全可达性的目标,这需要一个概率高于一定的阈值,最终达到一个目标状态,同时保持访问不安全状态的概率低于一定的阈值。这POMDP制定是不同于传统的POMDP模型的最优性目标,我们表明,在某些情况下,安全可达性目标的POMDP可以提供更好的保证安全性和可达性比现有的POMDP模型通过一个例子。POMDP的一个关键算法问题是策略综合,这需要在一个巨大的信念空间(概率分布)上进行推理。为了解决这一挑战,我们引入了一个目标约束的信念空间的概念,其中只包含信念可达到的初始信念下所需的执行,可以实现给定的安全可达性目标。我们的方法competently表示这个空间在一个有界的地平线上使用符号约束,并采用增量可满足性模理论(SMT)求解器,有效地搜索一个有效的policy.We评估我们的方法使用的案例研究,涉及部分可观察的机器人领域与不确定的障碍。结果表明,我们的方法可以合成政策在大的信念空间与少量的SMT求解器调用集中在目标约束的信念空间。
2018-05-09 cs.AI cs.RO
Bridging POMDPs and Bayesian decision making for robust maintenance planning under model uncertainty: An application to railway systems
ETH Zürich(苏黎世联邦理工学院);Swiss Federal Railways SBB(瑞士联邦铁路);Technical University of Munich(慕尼黑工业大学);Pennsylvania State Univ.(宾夕法尼亚州立大学)
结构健康监测(SHM)描述了用于推断结构状况的可量化指标的过程,其可以用作支持关于基础设施资产的操作和维护的决策的输入。由于关键结构的寿命很长,这个问题可以被看作是一个连续的决策问题,在规定的范围。部分可观测马尔可夫决策过程(POMDPs)提供了一个正式的框架来解决潜在的最优规划任务。然而,两个问题可能会破坏POMDP解决方案。首先,需要一个模型,可以充分描述恶化或纠正措施下的结构条件的演变,其次,从可用的监测数据的观察过程参数的恢复的非平凡的任务。尽管存在这些潜在的挑战,但所采用的POMDP模型通常不考虑模型参数的不确定性,导致解决方案可能不切实际地自信。在这项工作中,我们解决了这两个关键问题。我们提出了一个框架,估计POMDP过渡和观察模型参数直接从现有的数据,通过马尔可夫链蒙特卡罗(MCMC)采样的隐马尔可夫模型(HMM)的条件下的行动。MCMC推断估计所涉及的模型参数的分布。然后,我们形成并解决POMDP问题,利用推断的分布,推导出的解决方案,是强大的模型的不确定性。我们成功地应用我们的方法对铁路轨道资产的维修规划的基础上的“分形值”指标,这是从实际的铁路监测数据计算。
2022-12-15 cs.AI cs.LG cs.SY
Deep Belief Markov Models for POMDP Inference
The Pennsylvania State University(宾夕法尼亚州立大学);Technical University of Munich(慕尼黑工业大学)
提出深度置信马尔可夫模型DBMM,利用变分推断和神经网络从观测数据中高效推断POMDP置信状态,并在离散与连续基准问题上验证。
2025-03-17 cs.AI cs.LG
Rethinking Transformers in Solving POMDPs
IIIS, Tsinghua University(清华大学交叉信息研究院);University of Washington(华盛顿大学);Shanghai Qi Zhi Institute(上海期智研究院);Shanghai AI Lab(上海人工智能实验室)
本文揭示了 Transformer 在解决部分可观测马尔可夫决策过程(POMDPs)中的理论局限,指出其缺乏递归结构导致难以学习特定归纳偏置,并提出引入逐点递归结构(如 LRU)以显著提升部分可观测强化学习的性能。
2024-05-30 cs.AI cs.LG