PODDP: Partially Observable Differential Dynamic Programming for Latent Belief Space Planning
自主智能体观察世界状态的能力有限。部分可观测马尔可夫决策过程（POMDPs）对世界状态不确定性下的规划问题进行了形式化建模，但具有连续动作和非线性动力学特性的POMDPs适合于机器人应用，其求解具有挑战性。在本文中，我们提出了一个有效的差分动态规划（DDP）算法的信任空间规划POMDP的不确定性在一个离散的潜在状态，连续的状态，行动，观察，和非线性动力学。这种表示允许规划的动态轨迹是敏感的离散的潜在世界状态的结构化不确定性。我们开发了动态规划技术，以优化一个可能的观测和信念空间轨迹树的应急计划，并得出一个层次版本的算法。我们的方法适用于成本或回报函数不确定的问题（例如，目标或障碍的配置），动态的不确定性（例如，混合系统的动态模式），以及交互的不确定性，其中其他代理的行为取决于潜在的意图。基准测试表明，我们的算法优于流行的启发式方法规划下的不确定性，从一个自主变道任务的结果表明，我们的算法可以合成强大的互动轨迹。
2019-12-14 cs.AI cs.RO
Decentralized Control of Partially Observable Markov Decision Processes using Belief Space Macro-actions
MIT（麻省理工学院）
本文的重点是解决连续空间中部分可观性的多机器人规划问题。分散部分可观测马尔可夫决策过程（Dec-POMDP）是多机器人协调问题的通用模型，但对于大型问题，Dec-POMDP的表示和求解往往比较困难。为了允许一个高层次的表示，这是自然的多机器人问题和可扩展到大型离散和连续的问题，本文扩展了Dec-POMDP模型的分散部分可观察的半马尔可夫决策过程（Dec-POSMDP）。的Dec-POSMDP制定允许异步决策的机器人，这是至关重要的多机器人域。我们还提出了一个算法来解决这个Dec-POSMDP这是更可扩展的比以前的方法，因为它可以将闭环的信念空间的宏观行动规划。这些宏操作被自动构造以产生鲁棒的解决方案。所提出的方法的性能进行评估的一个复杂的多机器人包裹递送问题下的不确定性，表明我们的方法可以自然地代表多机器人问题，并提供高质量的解决方案，为大规模的问题。
2015-02-20 cs.AI cs.MA cs.RO
Assumed Density Filtering Q-learning
University of Pennsylvania（宾夕法尼亚大学）；Cornell Tech（康奈尔科技学院）
虽然非策略时间差分（TD）方法由于其效率和简单的实现而被广泛用于强化学习，但它们的贝叶斯对应方法并没有被频繁地使用。一个原因是Bellman最优性方程中的非线性极大运算使得在价值函数上定义共轭分布变得困难。在本文中，我们介绍了一种新的贝叶斯方法，关闭政策TD方法，称为ADFQ，更新信念的状态动作值，Q，通过一个在线贝叶斯推理方法被称为假设密度过滤。我们制定了一个有效的封闭形式的解决方案，通过近似估计后验的Q信念的分析参数的值更新。信念中的不确定性度量不仅用于探索，而且还为考虑所有接下来可用动作的值更新提供了自然的正则化。随着Q信念的不确定性度量的降低，ADFQ收敛到Q学习，并改善了其他贝叶斯RL算法的常见缺点，例如计算复杂性。我们用一个神经网络扩展了ADFQ。我们的实证结果表明，ADFQ优于可比的算法在各种雅达利2600游戏，具有显着的改善，在高度随机域或域与一个大的动作空间。
2019-06-03 cs.AI cs.LG
BetaZero: Belief-State Planning for Long-Horizon POMDPs using Learned Approximations
Stanford University（斯坦福大学）
BetaZero将离线神经网络近似与在线蒙特卡洛树搜索结合，用于高维POMDP的信念状态规划，通过Q加权访问计数策略训练，在多个基准和矿产勘探任务中优于现有求解器。
2024-07-31 cs.AI
Value-Directed Belief State Approximation for POMDPs
University of British Columbia（不列颠哥伦比亚大学）；University of Toronto（多伦多大学）
我们认为问题的信念状态监测的目的是实现一个政策的部分可观察马尔可夫决策过程（POMDP），特别是如何可以近似的信念状态。用于置信状态近似的其他方案（例如，基于最小化诸如真实状态和估计状态之间的KL-发散的测量）不一定适合于POMDP。相反，我们提出了一个框架，用于分析价值导向的近似方案，近似质量是由预期的误差效用，而不是由错误的信念状态本身。我们提出了探试法找到良好的投影方案的信念状态估计-展示任何时候的特点-给定的POMDP值funcntion。我们还描述了几种算法，用于构建的决策质量（预期效用）的错误的界限，根据一个给定的信念状态近似与行动。
2013-01-16 cs.AI
On the Linear Belief Compression of POMDPs: A re-examination of current methods
Heriot-Watt University（赫瑞-瓦特大学）；Microsoft（微软）
信念压缩通过从高维信念空间到低维近似的投影来提高大规模部分可观察马尔可夫决策过程（POMDPs）的易处理性，其中求解以获得动作选择策略需要更少的计算。本文提出了一个统一的理论框架来分析现有的三种线性信念压缩方法，包括值导向压缩和两种基于非负矩阵分解（NMF）的算法。结果表明，所有已知的三个信念压缩方法都有自己的关键缺陷。因此，投影NMF信念压缩（P-NMF），旨在克服现有技术的缺点。所提出的算法的性能进行检查四个POMDP问题的规模相当大，与现有的技术相比。此外，竞争力的信念压缩进行了比较，经验的国家的最先进的启发式搜索为基础的POMDP求解器和他们的相对优势，在解决大规模POMDP的调查。
2015-08-05 cs.AI
Adaptive Belief Discretization for POMDP Planning
University of Oslo（奥斯陆大学）
部分可观测马尔可夫决策过程（POMDP）是一个广泛使用的模型来表示环境和智能体的相互作用，在状态不确定性。由于代理不观察环境状态，其不确定性通常通过概率信念表示。虽然可能信念的集合是无限的，使得精确规划变得棘手，但信念空间的复杂性（以及规划复杂性）由其覆盖数表征。许多POMDP求解器统一离散的信念空间，并给出规划误差的覆盖数（通常是未知的）。相反，我们提出了一个自适应的信念离散化方案，并给出其相关的规划误差。此外，我们描述的覆盖数相对于POMDP参数。这允许我们在规划器上指定精确的内存需求，需要绑定价值函数错误。然后，我们提出了一种新的，计算效率高的求解器使用该计划。我们证明了我们的算法在各种情况下与最先进的算法具有很强的竞争力。
2021-04-15 cs.AI
Maximizing Information Gain in Partially Observable Environments via Prediction Reward
University of Alberta（阿尔伯塔大学）；University of Oxford（牛津大学）；Technical University Delft（代尔夫特理工大学）
在部分可观察的环境中的信息收集可以被公式化为强化学习（RL）问题，其中奖励取决于代理的不确定性。例如，奖励可以是代理对未知（或隐藏）变量的信念的负熵。通常，RL代理的奖励被定义为状态-动作对的函数，而不是代理信念的函数;这阻碍了深度RL方法对此类任务的直接应用。本文通过提供一个简单的见解来解决对深度RL代理使用基于信念的奖励的挑战，即最大化代理信念的任何凸函数可以通过最大化预测奖励来近似：基于预测准确性的奖励。特别是，我们推导出负熵和预期预测奖励之间的精确误差。这一见解提供了理论动机的几个领域使用预测奖励-即视觉注意，问答系统，和内在动机-并强调其连接到通常不同的领域主动感知，主动感知，传感器的位置。基于这一认识，我们提出了深度预期网络（DAN），它使代理能够采取行动，以减少其不确定性，而无需执行明确的信念推理。我们提出了两个应用程序的DAN：建立一个传感器选择系统跟踪人在购物中心和学习离散模型的注意力时尚MNIST和MNIST数字分类。
2020-05-11 cs.AI cs.LG
Deep Belief Markov Models for POMDP Inference
The Pennsylvania State University（宾夕法尼亚州立大学）；Technical University of Munich（慕尼黑工业大学）
提出深度置信马尔可夫模型DBMM，利用变分推断和神经网络从观测数据中高效推断POMDP置信状态，并在离散与连续基准问题上验证。
2025-03-17 cs.AI cs.LG
Monte Carlo Sampling Methods for Approximating Interactive POMDPs
University of Georgia（佐治亚大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
部分可观测马尔可夫决策过程（POMDPs）提供了一个原则性的框架，顺序规划在不确定的单代理设置。POMDP的扩展到多智能体设置，称为交互式POMDP（I-POMDP），取代POMDP的信念空间与交互式层次的信念系统，代表一个代理人的信念，对物理世界，对其他代理人的信念，以及对他们的信念对他人的信念。这种修改使得由于信念和政策空间的复杂性而获得解决方案的困难变得更加尖锐。我们描述了一种基于粒子滤波（PF）的I-POMDPs的近似解的一般方法。我们引入了交互式PF，它降低了交互式信念层次结构和样本的水平，并在每个级别上传播信念。交互式PF能够降低信念空间复杂度，但不能解决策略空间复杂度。为了减轻政策的空间复杂度-有时也被称为历史的诅咒-我们利用一个互补的方法的基础上采样可能的意见，同时建立前瞻可达树。虽然这种方法不能完全解决历史的诅咒，但它大大削弱了诅咒的影响。我们提供实验结果和图表未来的工作。
2014-01-15 cs.AI
Conditional Deep Generative Models for Belief State Planning
Aeronautics and Astronautics Stanford University（航空航天系 斯坦福大学）；Institute for Computational & Mathematical Engineering (ICME) Stanford University（计算与数学工程研究所（ICME） 斯坦福大学）
针对高维状态 POMDP 的信念表示难题，提出用条件深度生成模型 cDGMs 学习后验信念并采样，在矿产勘探任务中优于粒子滤波。
2025-05-16 cs.AI
B$^3$RTDP: A Belief Branch and Bound Real-Time Dynamic Programming Approach to Solving POMDPs
MIT Media Lab（麻省理工学院媒体实验室）
部分可观测马尔可夫决策过程（POMDPs）为自主智能体提供了一个有前途的世界表示，因为它们可以模拟过渡和感知的不确定性。计算POMDP问题的最优解在计算上可能是昂贵的，因为它们需要在（可能是无限的）信念空间上进行推理。已经提出了几种方法来克服这个困难，如离散化的信念空间，基于点的信念抽样，和蒙特卡罗树搜索。RTDP-Bel算法的实时的【形】动态规划方法通过将价值函数存储在具有离散化置信键的哈希表中来近似该价值函数。我们提出了一个扩展的RTDP-Bel算法，我们称之为信念分支和界限RTDP（B $^3$ RTDP）。我们的算法使用有界价值函数表示，并利用这两个新的方式：搜索绑定技术的基础上的行动选择收敛概率，并利用早期的行动收敛称为\textit{Convergence Frontier}的方法。最后，我们的经验表明，B $^3$ RTDP可以实现更大的回报，在更短的时间比国家的最先进的SARSOP解决已知的POMDP问题。
2022-10-22 cs.AI
Finding Approximate POMDP solutions Through Belief Compression
Massachusetts Institute of Technology（麻省理工学院）；Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）
标准价值函数方法寻找部分可观测马尔可夫决策过程（POMDPs）的政策，通常被认为是棘手的大型模型。这些算法的棘手性在很大程度上是在整个信念空间上计算精确的最优策略的结果。然而，在现实世界的POMDP问题，计算最优策略的完整的信念空间往往是不必要的良好的控制，即使是复杂的政策类的问题。控制器所经历的信念通常位于嵌入在高维信念空间中的结构化的低维子空间附近。找到仅针对该子空间的最优价值函数的良好近似比计算完整的价值函数容易得多。我们介绍了一种新的方法来解决大规模POMDPs通过降低信仰空间的维数。我们使用指数族主成分分析（Collins，Dasgupta和Schapire，2002）来表示稀疏的，高维的信念空间，使用信念状态的小集合的学习特征。然后，我们仅根据低维信念特征进行规划。通过在这个低维空间中进行规划，我们可以找到POMDP模型的策略，这些策略比传统技术可以处理的模型大几个数量级。我们演示了使用该算法的合成问题和移动机器人导航任务。
2011-10-04 cs.AI
Point-Based Methods for Model Checking in Partially Observable Markov Decision Processes
Stanford University（斯坦福大学）；KTH Royal Institute of Technology（KTH皇家理工学院）
自治系统通常需要在部分可观察的环境中运行。它们必须可靠地执行指定的目标，即使有关环境状态的信息不完整。我们提出了一种方法来合成的政策，满足线性时序逻辑公式的部分可观察马尔可夫决策过程（POMDP）。通过制定规划问题，我们展示了如何使用基于点的值迭代方法来有效地近似满足所需逻辑公式的最大概率，并计算相关的信念状态策略。我们证明了我们的方法可扩展到大POMDP域，并提供了强大的界限所产生的政策的性能。
2020-01-11 cs.AI
Identification of Unexpected Decisions in Partially Observable Monte-Carlo Planning: a Rule-Based Approach
Università degli Studi di Verona（维罗纳大学）
部分可观测蒙特卡罗规划（POMCP）是一种功能强大的在线算法，能够为大型部分可观测马尔可夫决策过程生成近似策略。这种方法的在线特性通过避免完整的策略表示来支持可伸缩性。然而，缺乏明确的表示妨碍了可解释性。在这项工作中，我们提出了一种方法，基于可满足性模理论（SMT）分析POMCP政策，通过检查他们的痕迹，即序列的算法产生的信念-行动-观察三元组。所提出的方法探索本地属性的政策行为，以确定意外的决定。我们提出了一个迭代过程的痕迹分析，包括三个主要步骤，i）定义一个问题，通过一个参数逻辑公式描述（概率）信念和行动之间的关系，ii）通过计算最大化满足子句数量的逻辑公式的参数来生成答案（解决MAX-SMT问题），iii）分析生成的逻辑公式和相关的决策边界，用于识别POMCP关于原始问题做出的意外决策。我们评估我们的方法上的老虎，POMDPs的标准基准，和一个现实世界中的问题，移动机器人导航。结果表明，该方法可以利用人类知识的领域，优于国家的最先进的异常检测方法在识别意外的决定。在我们的试验中，曲线下面积的改善达到了47%。
2021-04-28 cs.AI
Utilization of domain knowledge to improve POMDP belief estimation
Honda Research Institute Japan（日本本田研究所）
部分可观测马尔可夫决策过程（POMDP）框架是一种常见的不确定性决策方法。最近，多项研究表明，通过将相关领域知识整合到POMDP信念估计中，我们可以提高学习策略的性能。在这项研究中，我们提出了一种新的方法集成领域知识的概率信念更新POMDP框架中使用杰弗里的规则和规范化。我们表明，领域知识可以利用，以减少数据需求，提高性能的POMDP策略学习与RL。
2023-02-17 cs.AI cs.LG
Perseus: Randomized Point-based Value Iteration for POMDPs
University of Amsterdam（阿姆斯特丹大学）
部分可观测马尔可夫决策过程（POMDPs）形成了一个有吸引力的和原则性的框架下不确定性的代理规划。POMDP基于点的近似技术计算的基础上，提前从代理的信念空间收集的一组有限的点的政策。我们提出了一个随机点为基础的值迭代算法称为珀尔修斯。该算法执行近似值备份阶段，确保在每个备份阶段的信念集中的每个点的值得到改善;关键的观察是，一个单一的备份可能会提高许多信念点的值。与其他基于点的方法相反，Perseus只备份信念集中的（随机选择的）点子集，足以提高集合中每个信念点的值。我们展示了同样的想法可以扩展到处理连续的动作空间。实验结果显示了Perseus在大规模POMDP问题中的潜力。
2011-09-09 cs.AI
Learning What Information to Give in Partially Observed Domains
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）
在许多机器人应用中，自主智能体必须在其人类队友未观察到的部分观察到的环境中行动并探索该环境。我们考虑这样一种设置，在这种设置中，代理可以在行动时向人类传输声明性信息，帮助他们理解这个看不见的环境的各个方面。在这项工作中，我们解决的算法问题，代理应该如何计划采取什么行动，什么信息传输。自然地，人们会期望人类有偏好，我们在理论上通过对传输的信息进行评分来对信息进行建模，该信息基于它在人类信仰状态的加权熵中引起的变化。我们制定这个设置为一个信念MDP，并给出了一个易于处理的算法来解决它近似。然后，我们给出了一个算法，允许智能体通过探索在线学习人类的偏好。我们验证我们的方法在模拟离散和连续部分观察搜索和恢复域的实验。访问http://tinyurl.com/chitnis-corl-18获取补充视频。
2018-09-27 cs.AI cs.RO
Safer Autonomous Driving in a Stochastic, Partially-Observable Environment by Hierarchical Contingency Planning
Renault Software Labs（雷诺软件实验室）；EURECOM（欧洲通信学院）
当学习在随机的、部分可观察的环境中行动时，智能代理应该准备好预测其对环境状态的信念的变化，并且能够在飞行中调整其行动以适应不断变化的条件。作为人类，我们在学习一项任务时能够形成应急计划，其明确目标是能够纠正初始控制中的错误，因此，如果我们对环境的感知发生突然变化，需要立即采取纠正措施，这证明是有用的。对于在安全至关重要的现实世界中导航的自动驾驶汽车（AV）来说尤其如此，并且真正需要对环境变化的信念做出反应的强大能力。在本文中，我们探索了一个端到端的方法，从训练到执行，学习强大的应急计划，并将它们与层次规划器相结合，以获得一个强大的代理政策，在自主导航任务中，其他车辆的行为是未知的，代理人对这些行为的信念是受到突然的，最后一秒的变化。我们表明，我们的方法在部分可观察的随机环境中产生了鲁棒，安全的行为，在训练过程中没有看到环境动态。
2022-04-13 cs.AI cs.LG cs.RO
Constrained Hierarchical Monte Carlo Belief-State Planning
Stanford University（斯坦福大学）
本文提出COBeTS方法，利用分层选项结构将在线CPOMDP规划扩展到大规模连续机器人问题，在满足约束预算时保证随时安全，并通过分层监控实现运行时安全。
2024-02-26 cs.AI cs.RO
Belief Filtering for Epistemic Control in Linguistic State Space
Sebastian Dumbrava（独立研究者）
本文在语义流形框架下提出信念过滤机制，通过对语言化内部认知状态进行内容感知的结构化干预，实现智能体认知控制，为人工智能安全与对齐提供新路径。
2025-05-08 cs.AI
Observation Adaptation via Annealed Importance Resampling for Partially Observable Markov Decision Processes
Vanderbilt University（范德堡大学）
针对POMDP在线求解中粒子滤波因重要性重采样导致退化的问题，提出通过构建桥接分布的退火重要性重采样方法，适应高信息量观测，在多个挑战性领域显著优于现有方法。
2025-03-25 cs.AI cs.LG cs.RO
Exploiting Causality for Selective Belief Filtering in Dynamic Bayesian Networks
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；The University of Edinburgh（爱丁堡大学）
动态贝叶斯网络（DBNs）是一种研究状态部分可观测随机过程的通用模型。DBN中的信念过滤是基于不完整和噪声观测来推断信念状态（即过程状态的概率分布）的任务。在具有大状态空间的复杂过程中，这可能是一个难题。在这篇文章中，我们探索了通过自动利用过程中的因果关系来加速过滤任务的想法。我们考虑一种特定类型的因果关系，称为被动性，它涉及状态变量如何引起其他变量的变化。我们提出了基于被动性的选择性信念过滤（PSBF）方法，该方法保持了一个因子化的信念表示，并利用被动性对信念因子进行选择性更新。PSBF在一定的假设条件下产生精确的信念状态，否则产生近似的信念状态，其中近似误差由过程中的不确定性程度限制。我们的经验表明，在不同的大小和程度的被动的合成过程中，PSBF比几种替代方法更快，同时实现竞争力的准确性。此外，我们还演示了被动性如何在多机器人仓库等复杂系统中自然发生，以及PSBF如何利用这一点来加速过滤任务。
2016-04-25 cs.AI
Bounded Policy Synthesis for POMDPs with Safe-Reachability Objectives
Rice University（莱斯大学）
在不确定性下规划鲁棒执行是构建自主机器人的基本挑战。部分可观测马尔可夫决策过程（POMDP）为许多应用中的不确定性建模提供了一个标准框架。在这项工作中，我们研究POMDPs的安全可达性的目标，这需要一个概率高于一定的阈值，最终达到一个目标状态，同时保持访问不安全状态的概率低于一定的阈值。这POMDP制定是不同于传统的POMDP模型的最优性目标，我们表明，在某些情况下，安全可达性目标的POMDP可以提供更好的保证安全性和可达性比现有的POMDP模型通过一个例子。POMDP的一个关键算法问题是策略综合，这需要在一个巨大的信念空间（概率分布）上进行推理。为了解决这一挑战，我们引入了一个目标约束的信念空间的概念，其中只包含信念可达到的初始信念下所需的执行，可以实现给定的安全可达性目标。我们的方法competently表示这个空间在一个有界的地平线上使用符号约束，并采用增量可满足性模理论（SMT）求解器，有效地搜索一个有效的policy.We评估我们的方法使用的案例研究，涉及部分可观察的机器人领域与不确定的障碍。结果表明，我们的方法可以合成政策在大的信念空间与少量的SMT求解器调用集中在目标约束的信念空间。
2018-05-09 cs.AI cs.RO
Structured World Belief for Reinforcement Learning in POMDP
Rutgers University（罗格斯大学）；Electronics and Telecommunications Research Institute（电子与电信研究所）；Rutgers Center for Cognitive Science（罗格斯认知科学中心）
以对象为中心的世界模型提供了场景的结构化表示，并且可以成为强化学习和规划的重要支柱。然而，现有的方法遭受部分可观察的环境中，由于缺乏信念状态。在本文中，我们提出了结构化的世界信念，一个模型的学习和推理的对象为中心的信念状态。通过序贯蒙特卡罗（SMC）推断，我们的信念状态提供了多个以对象为中心的场景假设。为了协同SMC粒子与对象表示的好处，我们还提出了一个新的以对象为中心的动力学模型，认为对象持久性的归纳偏差。这使得即使在对象状态长时间不可见时也能够跟踪对象状态。为了进一步促进在这种制度下的对象跟踪，我们允许我们的模型灵活地参加在以前的模型中受到限制的图像中的任何空间位置。在实验中，我们表明，以对象为中心的信念提供了一个更准确和强大的性能过滤和生成。此外，我们还展示了结构化世界信念在提高强化学习、规划和监督推理性能方面的功效。
2021-07-19 cs.AI cs.LG
Monte Carlo Planning in Hybrid Belief POMDPs
Technion - Israel Institute of Technology（以色列理工学院）
针对现有在线POMDP求解器无法直接支持混合信念、难以应对假设指数增长计算负担的问题，提出HB-MCP算法，结合MCTS与UCB探索奖励维持混合信念并引导树生长，在多模态信念假设的混淆模拟环境中验证了方法。
2023-05-02 cs.AI cs.RO
Revising Partially Ordered Beliefs
本文讨论偏序信念的修正问题。它提出了一个语义表示的认知状态的部分前序解释和句法表示的部分有序的信念基础。两个修订操作，修订源于历史的观察和可能性的修订，定义时的认知状态是由总的前序表示，一般化，在语义层面上，部分前序的情况下的解释，并在句法层面上，部分有序的信念基础的情况下。对于两个修订操作，示出了两种表示之间的等价性。
2002-10-03 cs.AI
Perspective-Shifted Neuro-Symbolic World Models: A Framework for Socially-Aware Robot Navigation
Institute for Systems and Robotics, Instituto Superior Técnico, Universidade de Lisboa（系统机器人研究所，理工学院，里斯本大学）；LAAS-CNRS, Artificial and Natural Intelligence Toulouse Institute (ANITI)（LAAS-CNRS，图卢兹人工智能研究所（ANITI））
针对社会导航中需推理他人隐藏信念的部分可观测决策难题，提出结合神经符号基于模型强化学习架构与基于IBA的视角转换算子的社会感知机器人导航框架。
2025-09-02 cs.AI cs.RO
Combining a Meta-Policy and Monte-Carlo Planning for Scalable Type-Based Reasoning in Partially Observable Environments
Australian National University（澳大利亚国立大学）；Google DeepMind（谷歌DeepMind）
针对多智能体系统中现有基于类型推理方法的可观测性假设与扩展性局限，提出结合元策略的POTMMCP在线规划方法，在大规模部分可观测环境中实现了更高效的长视野规划与更优的求解性能。
2023-06-09 cs.AI cs.MA
Partially Specified Belief Functions
Universidad de Granada（格拉纳达大学）
本文提出了一个程序，以确定一个完整的信念函数从已知的信念值的一些子集的识别框架。该方法是基于最小承诺原则和一个新的原则称为集中原则。这个额外的原则是基于这样的想法，即信念是为最相关的集合：焦点元素指定的。所产生的过程进行比较与现有的方法建立完整的信念功能：最小特异性原则和最小承诺原则。
2013-03-06 cs.AI
Model Validation of Agentic AI Systems: A POMDP-Based Framework for Belief-State, Forecast, and Policy Validation
Quiota LLC（Quiota公司）
提出基于部分可观测马尔可夫决策过程（POMDP）的智能体AI模型验证框架，将自主决策分解为信息、信念、预测、动作和效用组件独立验证，并通过投资组合管理案例展示其有效性。
2026-06-17 cs.AI cs.LG q-fin.RM
Meta reinforcement learning as task inference
DeepMind（深度思维）
人类通过依赖关于自然发生的任务结构的先验知识来实现有效的学习。设计具有类似性质的强化学习（RL）算法引起了人们极大的兴趣。这包括学习学习算法本身的建议，这一想法也被称为元学习。这个想法的一个正式解释是作为一个部分可观察的多任务RL问题，其中任务信息是隐藏的代理。这种未知的任务问题可以减少到马尔可夫决策过程（MDP）的基础上，通过增加一个代理的意见与过去的经验，对任务的信念估计。然而，估计的信念状态是棘手的，在大多数部分观察的MDP。我们提出了一种方法，分别学习的政策和任务信念，利用各种特权信息。我们的方法可以非常有效地解决标准元强化学习环境，以及奖励稀疏且需要长期记忆的复杂连续控制环境。
2019-10-22 cs.AI cs.LG stat.ML
Learned Belief Search: Efficiently Improving Policies in Partially Observable Settings
Facebook AI Research（脸书人工智能研究院）
搜索是在单智能体和多智能体环境中计算有效策略的重要工具，并且对于在几个基准完全和部分可观察游戏中实现超人性能至关重要。然而，部分可观察环境的先验搜索方法的一个主要限制是，计算成本与隐藏信息的量的比例很差。在本文中，我们提出了\emph{Learned Belief Search}（LBS），一个计算效率高的搜索过程的部分可观察的环境。LBS不是保持精确的信念分布，而是使用近似的自回归反事实信念，作为监督任务学习。在多代理环境中，LBS使用一种新的公共-私有模型架构来处理底层策略，以便在部署期间有效地评估这些策略。在Hanabi的基准域中，LBS可以获得精确搜索的55% ~ 91%的好处，同时将计算需求减少$35.8 \times$ ~ $4.6 \times$，使其能够扩展到以前搜索方法无法访问的更大设置。
2021-06-16 cs.AI
LeTS-Drive: Driving in a Crowd by Learning from Tree Search
National University of Singapore（新加坡国立大学）
在拥挤的环境中自动驾驶，例如，一个繁忙的交通路口，是机器人技术尚未解决的挑战。机器人车辆必须与动态和部分可观察的环境，嘈杂的传感器和许多代理人抗衡。一个原则性的方法是将其形式化为部分可观测马尔可夫决策过程（POMDP），并通过在线信念树搜索来解决它。为了在这种极具挑战性的环境中处理大量人群并实现实时性能，我们提出了LeTS-Drive，它集成了在线POMDP规划和深度学习。它包括两个阶段。在离线阶段，我们学习一个政策和相应的价值函数通过模仿信念树搜索。在在线阶段，学习的策略和价值函数指导信念树搜索。LeTS-Drive利用规划的鲁棒性和学习的运行时效率来增强两者的性能。仿真实验结果表明，LeTS-Drive优于单独的规划或模仿学习，并开发出复杂的驾驶技能。
2019-05-29 cs.AI cs.LG cs.RO
Decision Making with Partially Consonant Belief Functions
Siemens Medical Solutions（西门子医疗系统公司）；University of Kansas School of Business（堪萨斯大学商学院）
本文研究了Walley部分协调信念函数的决策问题。在印刷电路板中，焦点的集合被划分。在每个分区中，焦点是嵌套的。pcb类包括概率函数和可能性函数作为极端情况。与早先的建议，决策理论的信念功能，我们采用了公理化的方法。我们采用了一个公理系统类似的精神冯诺依曼-摩根斯坦的线性效用理论的偏好关系的PCB彩票。我们证明了这个关系的一个表示定理。pcb彩票的效用是概率彩票的线性效用和可能性彩票的二元效用的组合。
2012-10-19 cs.AI
Exploiting Causality for Selective Belief Filtering in Dynamic Bayesian Networks (Extended Abstract)
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；The University of Edinburgh（爱丁堡大学）
动态贝叶斯网络（DBNs）是一种研究状态部分可观测随机过程的通用模型。DBN中的信念过滤是基于不完整和不确定的观察来推断信念状态（即过程状态的概率分布）的任务。在这篇文章中，我们探索了通过自动利用过程中的因果关系来加速过滤任务的想法。我们考虑一种特定类型的因果关系，称为被动性，它涉及状态变量如何引起其他变量的变化。我们提出了基于被动性的选择性信念过滤（PSBF）方法，该方法保持了一个因子化的信念表示，并利用被动性对信念因子进行选择性更新。PSBF在合成过程和模拟的多机器人仓库，在那里它优于其他过滤方法，利用被动。
2019-07-10 cs.AI cs.RO
Simultaneous Perception-Action Design via Invariant Finite Belief Sets
University of Texas at Austin（德克萨斯大学奥斯汀分校）
虽然感知在自主系统的整体计算成本中占越来越大的比例，但感知到的信息中只有一小部分可能与当前任务相关。为了减轻这些感知成本，我们开发了一种新的同步感知动作设计框架，其中代理只感知任务相关的信息。该公式与部分可观察的马尔可夫决策过程的公式不同，因为智能体不仅可以自由合成其动作选择策略，还可以自由合成其依赖于信念的观察函数。该方法使代理人能够平衡其感知成本与在其环境中操作所产生的成本。为了获得一个计算上易于处理的解决方案，我们近似的价值函数使用一种新的方法不变的有限信念集，其中代理的行为完全在一个有限子集的连续信念空间。我们通过值迭代来解决近似问题，其中线性规划在每次迭代中针对集合中的每个置信状态单独求解。最后，我们证明了价值函数，在其结构的假设下，收敛到其连续的状态空间值的样本密度的增加。
2021-09-10 cs.AI cs.SY eess.SY
Control Synthesis in Partially Observable Environments for Complex Perception-Related Objectives
Department of Mechanical & Aerospace Engineering, University of Florida（机械与航空航天工程系，佛罗里达大学）
本文针对部分可观测马尔可夫决策过程中的复杂感知目标，提出sc-iLTL逻辑进行形式化描述，并通过信念MDP与自动机乘积结合蒙特卡洛树搜索实现概率收敛的最优策略综合，以无人机探测案例验证方法有效性。
2025-06-27 cs.AI cs.RO cs.SY
Decision-Theoretic Coordination and Control for Active Multi-Camera Surveillance in Uncertain, Partially Observable Environments
National University of Singapore（新加坡国立大学）
监控的核心问题是对大范围、有遮挡、有障碍物的环境中运动的多个目标进行监控。本文提出了一种新的原则部分可观测马尔可夫决策过程为基础的方法来协调和控制网络的主动摄像机跟踪和观察多个移动目标，在这样的监视环境中的高分辨率。我们提出的方法能够（a）保持对目标状态的信念（即，位置、方向和速度）来跟踪它们，即使它们可能不是一直被摄像机直接观察到，（b）协调摄像机的动作以同时提高对目标状态的置信度并最大化以保证的分辨率观察到的目标的期望数量，以及（c）利用我们的监视问题的固有结构来提高其可缩放性（即，线性时间）。与现有的多摄像机协调控制技术的定量比较表明，该方法可以实现更高的实时的监控质量。我们的方法的实际可行性也证明了使用真正的AXIS 214 PTZ摄像机
2012-10-02 cs.AI cs.MA cs.MM
Combining partially independent belief functions
University of Tunis（突尼斯大学）；University of Rennes1（雷恩第一大学）；University of Carthage（迦太基大学）
信度函数理论管理不确定性，并提出了一套组合规则来聚合多个来源的意见。有些合并规则混合证据信息的来源是独立的，其他规则适合于合并证据信息的依赖源。在本文中，我们有两个主要的贡献：首先，我们提出了一种方法来量化源的独立程度，可以指导选择更合适的组合规则。其次，我们提出了一个新的组合规则，考虑到源的独立程度。所提出的方法是说明生成的质量函数。
2015-03-17 cs.AI
Belief Acquisition as Stochastic Filtering
School of Computing, Australian National University（计算机学院，澳大利亚国立大学）
本文提出将信念获取视为随机滤波问题，通过分解条件滤波器在高维状态空间中同时跟踪状态和估计参数，并在流行病跟踪等实验中验证有效性。
2026-06-09 cs.AI cs.LG
Practical Uses of Belief Functions
IRIDIA Universite Libre de Bruxelles（布鲁塞尔自由大学IRIDIA研究所）
我们提出的例子中，使用的信念功能提供了健全和优雅的解决方案，现实生活中的问题。这些的本质特征是？失踪的信息。这些例子涉及：1）使用学习集的判别分析，其中类仅部分已知; 2）处理文档间关系的信息检索系统; 3）来自部分重叠帧上的传感器的数据的组合; 4）通过研究传感器间的矛盾来确定多传感器环境中的源的数量。该文件的目的是报告等应用程序中使用的信念函数提供了一个方便的工具来处理？混乱的数据问题。
2013-01-23 cs.AI
Belief Injection for Epistemic Control in Linguistic State Space
Sebastian Dumbrava（独立研究者）
本文提出信念注入这一主动认知控制机制，基于 Semantic Manifold 框架将目标语言信念直接嵌入智能体认知状态，并梳理多种注入策略、应用、伦理及未来认知治理方向。
2025-05-12 cs.AI
Online Replanning in Belief Space for Partially Observable Task and Motion Problems
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；NVIDIA（英伟达）
为了解决现实世界中的多步操作任务，自主机器人必须采取行动观察其环境并对意外观察做出反应。这可能需要打开一个抽屉来观察里面的东西，或者移动一个物体来检查它后面的空间，一旦收到新的观察结果，机器人必须更新它对世界的信念，并计算一个新的行动计划。在这项工作中，我们提出了一个在线规划和执行系统的机器人面临这些挑战。我们在混合信念状态空间中执行确定性成本敏感规划，以选择可能成功的观察动作和连续控制动作。在执行和观察之后，我们使用新的状态估计重新计划。我们最初强制规划器重用最后一个计划的未执行尾部的结构。这既提高了规划效率，又确保总体政策不会破坏实现目标的进展。我们的方法是能够有效地解决部分可观察的问题，无论是在模拟和现实世界的厨房。
2020-03-23 cs.AI cs.RO
Hierarchical Belief Modeling for Zero-Shot Opponent Adaptation in Partially Observable Multi-Agent Navigation
Tsinghua University（清华大学）；Stevens Institute of Technology（史蒂文斯理工学院）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Texas A&M University（德克萨斯A&M大学）
针对Lux AI第3赛季部分可观测导航问题，提出分层智能体HORIZON，结合对称感知、双记忆信念追踪、图注意力、信息增益探索及对手条件策略混合，经PPO训练，显著提升比赛胜率与适应能力。
2026-09-14 cs.AI cs.MA
Task-assisted Motion Planning in Partially Observable Domains
University of Genoa（热那亚大学）；Arizona State University（亚利桑那州立大学）
本文提出了一种基于信念空间的机器人导航任务-运动规划集成框架。自主机器人在现实世界的复杂场景中运行，需要在离散（任务）空间和连续（运动）空间中进行规划。为此，我们提出了一个框架内的混合任务规划整合信念空间推理。PDDL+的表达能力与语义驱动的语义附件相结合，在规划时执行传播和后验信念估计。讨论了开发组合混合规划器的基本方法，为改进和未来的工作提供了建议。此外，我们验证了我们的方法的关键方面，在模拟中使用一个现实的情况。
2019-08-27 cs.AI cs.RO
Decentralized Multi-agent Filtering
University of California, Davis（加州大学戴维斯分校）
本文讨论了在离散状态空间中采用分散式通信进行多智能体本地化应用的考虑因素。在这个框架中，我们扩展了贝叶斯滤波器，离散状态估计的基础概率工具的原始配方，通过附加一个贪婪的信念共享的一个步骤，作为一种方法来传播信息和改善局部估计的后验。我们应用我们的工作在一个基于模型的多代理网格世界的设置，每个代理保持一个信念分布的每个代理的状态。我们的研究结果肯定了我们提出的分散协作任务的扩展的实用性。在下面的代码库中可以找到这项工作的代码库
2023-01-21 cs.AI cs.MA
HSVI-based Online Minimax Strategies for Partially Observable Stochastic Games with Neural Perception Mechanisms
Department of Computer Science, University of Oxford（牛津大学计算机科学系）；School of Computing Science, University of Glasgow（格拉斯哥大学计算科学学院）
针对带神经感知机制的非对称信息部分可观测随机博弈，首次提出基于HSVI的在线ε-极小极大策略求解方法，通过持续求解与推断信念策略，仅需单线性规划即可高效求解。
2024-04-16 cs.AI cs.GT
Factored Filtering of Continuous-Time Systems
University of California, Riverside（加州大学河滨分校）；University of California, Irvine（加州大学欧文分校）
针对状态分布过大的连续时间随机系统，提出因子化近似方法，通过矩阵指数的ODE积分和均匀化展开两种计算方式，证明因子化均匀化的KL散度有界，实验表明优于现有方法。
2012-02-14 cs.AI cs.SY eess.SY
Belief-Guided Inference Control for Large Language Model Services via Verifiable Observations
The University of Hong Kong（香港大学）；Sun Yat-sen University（中山大学）
本文提出Veroic框架，通过构建轻量级可验证观测通道，利用聚合的异质质量信号形成信念状态，以实现更优的质量-成本权衡、更强的风险估计和更稳健的长期推理控制。
2026-04-30 cs.AI
Belief States for Cooperative Multi-Agent Reinforcement Learning under Partial Observability
Imperial College London（帝国理工学院）
本文提出利用自监督预训练的概率信念模型生成信念状态，并将其与基于状态的强化学习算法结合，以简化策略和价值函数学习，从而提升部分可观测条件下协作多智能体强化学习的收敛速度与最终性能。
2025-04-11 cs.AI cs.LG
Integrating Human-Provided Information Into Belief State Representation Using Dynamic Factorization
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）
在部分观察的环境中，人类向机器人提供表示对世界中的对象的属性的概率关系约束的声明性信息，从而增强机器人的感官观察，这可能是有用的。例如，执行搜救任务的机器人可能会被人类告知，两名受害者可能在同一个房间里。一个重要的问题出现了：我们应该如何表示机器人的内部知识，使这些信息得到正确的处理，并与原始的感官信息相结合？在本文中，我们提供了一个有效的信念状态表示，动态地选择一个适当的因素，结合方面的信念时，他们是相关的，通过信息和分离时，他们没有。这种策略在开放域中工作，其中可能的对象的集合是事先不知道的，并且在静态分解的推理时间上提供了显着的改进，从而更有效地规划复杂的部分观察任务。我们在两个开放域规划问题：一个2D离散网格世界任务和一个3D连续烹饪任务实验验证我们的方法。补充视频可以在http://tinyurl.com/chitnis-iros-18上找到。
2018-07-30 cs.AI cs.RO
Neural Bayesian Filtering
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔人工智能研究所）；Charles University（查尔斯大学）；EquiLibre Technologies, Inc.（EquiLibre技术公司）；Allen Institute for AI（艾伦人工智能研究所）；Sony AI（索尼人工智能）
本研究提出神经贝叶斯滤波（NBF）算法，将置信度映射为固定长度嵌入向量，结合经典滤波效率与深度生成模型表达力，在三个部分可观测环境的状态估计任务中验证了其跟踪多模态置信度、缓解粒子贫化的效果。
2026-10-06 cs.AI cs.LG stat.ML
Multi-Agent Decentralized Belief Propagation on Graphs
Qualcomm（高通）；Northwestern University（西北大学）
我们考虑的问题的交互式部分可观察马尔可夫决策过程（I-POMDPs），其中代理位于通信网络的节点。具体来说，我们假设所有消息都有一个特定的消息类型。此外，每个代理根据交互式信念状态、本地观察到的信息以及通过网络从其邻居接收到的消息做出单独的决策。在这种情况下，代理的集体目标是通过与邻居交换信息来最大化网络上的全局平均回报。我们提出了一个分散的信念传播算法，并证明了我们的算法的收敛性。最后，我们展示了我们的框架的多个应用程序。我们的工作似乎是第一次研究分散的信念传播算法的网络多智能体I-POMDPs。
2020-11-10 cs.AI cs.LG
