SkyNet: Belief-Aware Planning for Partially-Observable Stochastic Games
SkyNet通过引入自我条件辅助头，改进了MuZero在部分可观测随机博弈中的规划能力，其在Skyjo游戏中实现了显著的胜率提升。
2026-03-29 cs.AI
Ignorance and the Expressiveness of Single- and Set-Valued Probability Models of Belief
随着时间的推移，概率分布用于表示信念的方式有了很多改进。依赖于单一概率分布的模型描述了感兴趣的命题之间的完整排序，然而人类的信念有时并不完全有序。概率分布的非单例集可以表示偏序信念。凸集是特别方便和表达，但它是已知的，有合理的模式的信念，其忠实的表示需要较少的限制集。本论文表明，事先无知的三个或更多的排他性的替代品和出现的偏序信念时，获得证据藐视任何一组分布的代表，但产量代表波特几个UT。偏序被证明是一个部分定性概率，它与概率分布共享一些直观上吸引人的属性。
2013-02-27 cs.AI
Practical Uses of Belief Functions
IRIDIA Universite Libre de Bruxelles（布鲁塞尔自由大学IRIDIA研究所）
我们提出的例子中，使用的信念功能提供了健全和优雅的解决方案，现实生活中的问题。这些的本质特征是？失踪的信息。这些例子涉及：1）使用学习集的判别分析，其中类仅部分已知; 2）处理文档间关系的信息检索系统; 3）来自部分重叠帧上的传感器的数据的组合; 4）通过研究传感器间的矛盾来确定多传感器环境中的源的数量。该文件的目的是报告等应用程序中使用的信念函数提供了一个方便的工具来处理？混乱的数据问题。
2013-01-23 cs.AI
Combination of interval-valued belief structures based on belief entropy
Chongqing University（重庆大学）
本文在证据理论的框架下研究了区间值信念结构的组合与规范化问题。现有的方法进行审查和彻底分析。提出了以前的方法的优点和缺点。提出了一种新的基于不确定性测度的最优性方法，将区间值信念结构的组合问题退化为基本概率分配的组合问题。数值算例验证了该方法的合理性。
2020-11-27 cs.AI
Belief Induced by the Partial Knowledge of the Probabilities
我们构建的信念函数，量化的代理，信念的Q事件将发生时，他知道，该事件是由一个机会设置和概率函数相关联的机会设置是只有部分已知的。
2013-02-27 cs.AI
The Cumulative Rule for Belief Fusion
在过去的二十年中，Dempster-Shafer信念理论中的信念组合问题引起了人们的极大关注。经典的Dempster规则经常受到批评，在文献中提出了许多可供选择的信念组合规则。用于组合信念的一致性算子具有良好的性质，并且产生比Dempster规则更直观的结果，但其局限性在于它只能应用于二元状态空间上的信念分布函数。在本文中，我们提出了一个概括的共识算子，可以适用于任意大小的状态空间的狄利克雷信念函数。这个规则被称为信念组合的累积规则，它可以从经典统计理论中推导出来，并且与人类的直觉很好地吻合。
2006-06-14 cs.AI
Belief-State Query Policies for User-Aligned POMDPs
针对现实场景中部分可观测且需满足用户需求的规划问题，提出基于参数化信念状态查询（BSQ）策略的框架，通过理论分析得出隐式离散参数搜索空间有限的结论，进而设计优化算法并验证其计算可行性。
2025-04-15 cs.AI
Elicitation of Probabilities for Belief Networks: Combining Qualitative and Quantitative Information
University of Pittsburgh（匹兹堡大学）；Utrecht University（乌得勒支大学）
虽然信念网络在不确定性推理中的有用性被广泛接受，但获得它们所需的数值概率仍然被认为是一个主要障碍。通常没有足够的统计数据来进行可靠的概率估计。可用信息可能不直接适合在网络中编码。最后，领域专家可能不愿意提供数值概率。在本文中，我们提出了一种方法，从一个领域的专家，是非侵入性的，并容纳任何概率信息的专家愿意国家的概率启发。我们表示所有可用的信息，无论是定性或定量的性质，在一个规范的形式组成的（中）等式表示约束的超空间可能的联合概率分布。然后，我们使用这个标准形式来推导出所需概率的二阶概率分布。
2013-02-20 cs.AI
Online Replanning in Belief Space for Partially Observable Task and Motion Problems
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；NVIDIA（英伟达）
为了解决现实世界中的多步操作任务，自主机器人必须采取行动观察其环境并对意外观察做出反应。这可能需要打开一个抽屉来观察里面的东西，或者移动一个物体来检查它后面的空间，一旦收到新的观察结果，机器人必须更新它对世界的信念，并计算一个新的行动计划。在这项工作中，我们提出了一个在线规划和执行系统的机器人面临这些挑战。我们在混合信念状态空间中执行确定性成本敏感规划，以选择可能成功的观察动作和连续控制动作。在执行和观察之后，我们使用新的状态估计重新计划。我们最初强制规划器重用最后一个计划的未执行尾部的结构。这既提高了规划效率，又确保总体政策不会破坏实现目标的进展。我们的方法是能够有效地解决部分可观察的问题，无论是在模拟和现实世界的厨房。
2020-03-23 cs.AI cs.RO
The Wasserstein Believer: Learning Belief Updates for Partially Observable Environments through Reliable Latent Space Models
AI Lab, Vrije Universiteit Brussel（布鲁塞尔自由大学AI实验室）；University of Antwerp（安特卫普大学）；Flanders Make（弗兰德斯制造机构）；Urban Innovation and R&D, City of Amsterdam（阿姆斯特丹市城市创新与研发部门）
本文提出 Wasserstein 信念更新器，通过学习 POMDP 的潜在模型和信念更新近似，克服循环神经网络压缩历史缺乏成功保证的问题，并在理论上保证近似质量足以学习最优价值函数。
2023-10-26 cs.AI cs.LG
Hierarchical Belief Modeling for Zero-Shot Opponent Adaptation in Partially Observable Multi-Agent Navigation
Tsinghua University（清华大学）；Stevens Institute of Technology（史蒂文斯理工学院）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Texas A&M University（德克萨斯A&M大学）
针对Lux AI第3赛季部分可观测导航问题，提出分层智能体HORIZON，结合对称感知、双记忆信念追踪、图注意力、信息增益探索及对手条件策略混合，经PPO训练，显著提升比赛胜率与适应能力。
2026-09-14 cs.AI cs.MA
PODDP: Partially Observable Differential Dynamic Programming for Latent Belief Space Planning
自主智能体观察世界状态的能力有限。部分可观测马尔可夫决策过程（POMDPs）对世界状态不确定性下的规划问题进行了形式化建模，但具有连续动作和非线性动力学特性的POMDPs适合于机器人应用，其求解具有挑战性。在本文中，我们提出了一个有效的差分动态规划（DDP）算法的信任空间规划POMDP的不确定性在一个离散的潜在状态，连续的状态，行动，观察，和非线性动力学。这种表示允许规划的动态轨迹是敏感的离散的潜在世界状态的结构化不确定性。我们开发了动态规划技术，以优化一个可能的观测和信念空间轨迹树的应急计划，并得出一个层次版本的算法。我们的方法适用于成本或回报函数不确定的问题（例如，目标或障碍的配置），动态的不确定性（例如，混合系统的动态模式），以及交互的不确定性，其中其他代理的行为取决于潜在的意图。基准测试表明，我们的算法优于流行的启发式方法规划下的不确定性，从一个自主变道任务的结果表明，我们的算法可以合成强大的互动轨迹。
2019-12-14 cs.AI cs.RO
Decentralized Control of Partially Observable Markov Decision Processes using Belief Space Macro-actions
MIT（麻省理工学院）
本文的重点是解决连续空间中部分可观性的多机器人规划问题。分散部分可观测马尔可夫决策过程（Dec-POMDP）是多机器人协调问题的通用模型，但对于大型问题，Dec-POMDP的表示和求解往往比较困难。为了允许一个高层次的表示，这是自然的多机器人问题和可扩展到大型离散和连续的问题，本文扩展了Dec-POMDP模型的分散部分可观察的半马尔可夫决策过程（Dec-POSMDP）。的Dec-POSMDP制定允许异步决策的机器人，这是至关重要的多机器人域。我们还提出了一个算法来解决这个Dec-POSMDP这是更可扩展的比以前的方法，因为它可以将闭环的信念空间的宏观行动规划。这些宏操作被自动构造以产生鲁棒的解决方案。所提出的方法的性能进行评估的一个复杂的多机器人包裹递送问题下的不确定性，表明我们的方法可以自然地代表多机器人问题，并提供高质量的解决方案，为大规模的问题。
2015-02-20 cs.AI cs.MA cs.RO
Task-assisted Motion Planning in Partially Observable Domains
University of Genoa（热那亚大学）；Arizona State University（亚利桑那州立大学）
本文提出了一种基于信念空间的机器人导航任务-运动规划集成框架。自主机器人在现实世界的复杂场景中运行，需要在离散（任务）空间和连续（运动）空间中进行规划。为此，我们提出了一个框架内的混合任务规划整合信念空间推理。PDDL+的表达能力与语义驱动的语义附件相结合，在规划时执行传播和后验信念估计。讨论了开发组合混合规划器的基本方法，为改进和未来的工作提供了建议。此外，我们验证了我们的方法的关键方面，在模拟中使用一个现实的情况。
2019-08-27 cs.AI cs.RO
BetaZero: Belief-State Planning for Long-Horizon POMDPs using Learned Approximations
Stanford University（斯坦福大学）
BetaZero将离线神经网络近似与在线蒙特卡洛树搜索结合，用于高维POMDP的信念状态规划，通过Q加权访问计数策略训练，在多个基准和矿产勘探任务中优于现有求解器。
2024-07-31 cs.AI
Representing and Combining Partially Specified CPTs
Information Extraction and Transport, Inc.（信息提取与传输公司）；George Mason University（乔治梅森大学）
本文扩展了以前的工作与网络片段和特定情况的网络建设。我们正式定义了非对称网络，一个条件概率表的替代表示。我们还提出了一个面向对象的表示部分指定的不对称网络。我们表明，表示是吝啬的。我们定义了一个代数的元素的表示，使我们能够“因素”的任何CPT和健全的部分指定的不对称网络相结合。
2013-01-23 cs.AI
HSVI-based Online Minimax Strategies for Partially Observable Stochastic Games with Neural Perception Mechanisms
Department of Computer Science, University of Oxford（牛津大学计算机科学系）；School of Computing Science, University of Glasgow（格拉斯哥大学计算科学学院）
针对带神经感知机制的非对称信息部分可观测随机博弈，首次提出基于HSVI的在线ε-极小极大策略求解方法，通过持续求解与推断信念策略，仅需单线性规划即可高效求解。
2024-04-16 cs.AI cs.GT
Combining Ontologies with Correspondences and Link Relations: The E-SHIQ Representation Framework
University of Piraeus（比雷埃夫斯大学）；University of the Aegean（爱琴海大学）
在分布式环境中，如何将自主节点的知识和信念结合起来是一个重大的挑战。在本文中，我们认为同行结合本体论和原因，共同与他们的耦合知识。本体论是描述逻辑的SHIQ片段。虽然有几个表示框架的模块化描述日志- ICS，每一个作出至关重要的假设有关的主观性同行的知识，域之间的关系，本体论的解释，表达的构造器用于结合知识，和方式同行共享他们的知识。然而，在自主同伴可以独立于他人发展和扩展他们的知识和信仰的环境中，这些假设可能不成立。在这篇文章中，我们动机需要一个表示框架，允许同行以各种方式结合他们的知识，保持自己的知识和信念的主观性，并协同推理，构建一个分布在他们之间的画面，联合。本文提出了E-SHIQ表示框架，实现了E-SHIQ分布式Tableau推理机，并讨论了该推理机的效率。
2013-10-09 cs.AI
Maximizing Information Gain in Partially Observable Environments via Prediction Reward
University of Alberta（阿尔伯塔大学）；University of Oxford（牛津大学）；Technical University Delft（代尔夫特理工大学）
在部分可观察的环境中的信息收集可以被公式化为强化学习（RL）问题，其中奖励取决于代理的不确定性。例如，奖励可以是代理对未知（或隐藏）变量的信念的负熵。通常，RL代理的奖励被定义为状态-动作对的函数，而不是代理信念的函数;这阻碍了深度RL方法对此类任务的直接应用。本文通过提供一个简单的见解来解决对深度RL代理使用基于信念的奖励的挑战，即最大化代理信念的任何凸函数可以通过最大化预测奖励来近似：基于预测准确性的奖励。特别是，我们推导出负熵和预期预测奖励之间的精确误差。这一见解提供了理论动机的几个领域使用预测奖励-即视觉注意，问答系统，和内在动机-并强调其连接到通常不同的领域主动感知，主动感知，传感器的位置。基于这一认识，我们提出了深度预期网络（DAN），它使代理能够采取行动，以减少其不确定性，而无需执行明确的信念推理。我们提出了两个应用程序的DAN：建立一个传感器选择系统跟踪人在购物中心和学习离散模型的注意力时尚MNIST和MNIST数字分类。
2020-05-11 cs.AI cs.LG
Deep Belief Markov Models for POMDP Inference
The Pennsylvania State University（宾夕法尼亚州立大学）；Technical University of Munich（慕尼黑工业大学）
提出深度置信马尔可夫模型DBMM，利用变分推断和神经网络从观测数据中高效推断POMDP置信状态，并在离散与连续基准问题上验证。
2025-03-17 cs.AI cs.LG
Conditional Deep Generative Models for Belief State Planning
Aeronautics and Astronautics Stanford University（航空航天系 斯坦福大学）；Institute for Computational & Mathematical Engineering (ICME) Stanford University（计算与数学工程研究所（ICME） 斯坦福大学）
针对高维状态 POMDP 的信念表示难题，提出用条件深度生成模型 cDGMs 学习后验信念并采样，在矿产勘探任务中优于粒子滤波。
2025-05-16 cs.AI
Conflict management in information fusion with belief functions
IRISA, University of Rennes 1（雷恩第一大学IRISA）
在信息融合中，冲突是一个重要的概念。事实上，将几个不完美的专家或消息来源结合在一起会导致冲突。在信度函数理论中，这个概念已经讨论了很多。在合取组合规则中出现在空集上的质量通常被认为是冲突，但这不是真正的冲突。已经提出了一些冲突的措施，并提出了一些方法，以管理这种冲突或决定与冲突的群众职能。在本章中，我们回顾了其中的一些，并提出了一个讨论，以考虑信息融合与信念函数理论的冲突。
2017-09-13 cs.AI
Belief States for Cooperative Multi-Agent Reinforcement Learning under Partial Observability
Imperial College London（帝国理工学院）
本文提出利用自监督预训练的概率信念模型生成信念状态，并将其与基于状态的强化学习算法结合，以简化策略和价值函数学习，从而提升部分可观测条件下协作多智能体强化学习的收敛速度与最终性能。
2025-04-11 cs.AI cs.LG
Finding Approximate POMDP solutions Through Belief Compression
Massachusetts Institute of Technology（麻省理工学院）；Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）
标准价值函数方法寻找部分可观测马尔可夫决策过程（POMDPs）的政策，通常被认为是棘手的大型模型。这些算法的棘手性在很大程度上是在整个信念空间上计算精确的最优策略的结果。然而，在现实世界的POMDP问题，计算最优策略的完整的信念空间往往是不必要的良好的控制，即使是复杂的政策类的问题。控制器所经历的信念通常位于嵌入在高维信念空间中的结构化的低维子空间附近。找到仅针对该子空间的最优价值函数的良好近似比计算完整的价值函数容易得多。我们介绍了一种新的方法来解决大规模POMDPs通过降低信仰空间的维数。我们使用指数族主成分分析（Collins，Dasgupta和Schapire，2002）来表示稀疏的，高维的信念空间，使用信念状态的小集合的学习特征。然后，我们仅根据低维信念特征进行规划。通过在这个低维空间中进行规划，我们可以找到POMDP模型的策略，这些策略比传统技术可以处理的模型大几个数量级。我们演示了使用该算法的合成问题和移动机器人导航任务。
2011-10-04 cs.AI
Identification of Unexpected Decisions in Partially Observable Monte-Carlo Planning: a Rule-Based Approach
Università degli Studi di Verona（维罗纳大学）
部分可观测蒙特卡罗规划（POMCP）是一种功能强大的在线算法，能够为大型部分可观测马尔可夫决策过程生成近似策略。这种方法的在线特性通过避免完整的策略表示来支持可伸缩性。然而，缺乏明确的表示妨碍了可解释性。在这项工作中，我们提出了一种方法，基于可满足性模理论（SMT）分析POMCP政策，通过检查他们的痕迹，即序列的算法产生的信念-行动-观察三元组。所提出的方法探索本地属性的政策行为，以确定意外的决定。我们提出了一个迭代过程的痕迹分析，包括三个主要步骤，i）定义一个问题，通过一个参数逻辑公式描述（概率）信念和行动之间的关系，ii）通过计算最大化满足子句数量的逻辑公式的参数来生成答案（解决MAX-SMT问题），iii）分析生成的逻辑公式和相关的决策边界，用于识别POMCP关于原始问题做出的意外决策。我们评估我们的方法上的老虎，POMDPs的标准基准，和一个现实世界中的问题，移动机器人导航。结果表明，该方法可以利用人类知识的领域，优于国家的最先进的异常检测方法在识别意外的决定。在我们的试验中，曲线下面积的改善达到了47%。
2021-04-28 cs.AI
Uniform and Partially Uniform Redistribution Rules
本文介绍了两种新的融合规则相结合的定量基本信念分配。这些规则虽然非常简单，但迄今为止尚未在文献中提出，并且可以作为有用的替代方案，因为它们的计算成本较低，相对于最近在DSmT框架中开发的先进的比例冲突再分配规则。
2011-07-21 cs.AI
Perseus: Randomized Point-based Value Iteration for POMDPs
University of Amsterdam（阿姆斯特丹大学）
部分可观测马尔可夫决策过程（POMDPs）形成了一个有吸引力的和原则性的框架下不确定性的代理规划。POMDP基于点的近似技术计算的基础上，提前从代理的信念空间收集的一组有限的点的政策。我们提出了一个随机点为基础的值迭代算法称为珀尔修斯。该算法执行近似值备份阶段，确保在每个备份阶段的信念集中的每个点的值得到改善;关键的观察是，一个单一的备份可能会提高许多信念点的值。与其他基于点的方法相反，Perseus只备份信念集中的（随机选择的）点子集，足以提高集合中每个信念点的值。我们展示了同样的想法可以扩展到处理连续的动作空间。实验结果显示了Perseus在大规模POMDP问题中的潜力。
2011-09-09 cs.AI
Integrating Human-Provided Information Into Belief State Representation Using Dynamic Factorization
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）
在部分观察的环境中，人类向机器人提供表示对世界中的对象的属性的概率关系约束的声明性信息，从而增强机器人的感官观察，这可能是有用的。例如，执行搜救任务的机器人可能会被人类告知，两名受害者可能在同一个房间里。一个重要的问题出现了：我们应该如何表示机器人的内部知识，使这些信息得到正确的处理，并与原始的感官信息相结合？在本文中，我们提供了一个有效的信念状态表示，动态地选择一个适当的因素，结合方面的信念时，他们是相关的，通过信息和分离时，他们没有。这种策略在开放域中工作，其中可能的对象的集合是事先不知道的，并且在静态分解的推理时间上提供了显着的改进，从而更有效地规划复杂的部分观察任务。我们在两个开放域规划问题：一个2D离散网格世界任务和一个3D连续烹饪任务实验验证我们的方法。补充视频可以在http://tinyurl.com/chitnis-iros-18上找到。
2018-07-30 cs.AI cs.RO
Default Reasoning and the Transferable Belief Model
IRIDIA, Universite Libre de Bruxelles（布鲁塞尔自由大学IRIDIA）
不恰当地使用Dempster的组合规则导致一些作者拒绝Dempster-Shafer模型，认为当涉及违约时，它会导致不可接受的结论。一个最经典的例子是关于企鹅翠儿。本文将依次介绍：Tweety案例中管理失误的根源;两种违约类型;基于可转移信念模型的两种违约类型的正确解决方案（我们对Dempster-Shafer模型的解释（Shafer 1976，Smets 1988））;除非明确说明，本文中使用的所有置信函数都是简单支持函数，也就是说，只有一个识别框架的命题（焦点）得到一个正的基本信念质量，其余的质量被赋予重言式的信念函数。每个置信函数将由其焦点和焦点的权重（例如m（A）=.9）来描述。基本信念质量的计算总是通过将每个信念函数虚扩展到由所有相关变量构建的乘积空间，通过Dempster组合规则在该空间上组合它们，并将结果投影到对应于每个单独变量的空间来执行。
2013-03-27 cs.AI
Learning What Information to Give in Partially Observed Domains
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）
在许多机器人应用中，自主智能体必须在其人类队友未观察到的部分观察到的环境中行动并探索该环境。我们考虑这样一种设置，在这种设置中，代理可以在行动时向人类传输声明性信息，帮助他们理解这个看不见的环境的各个方面。在这项工作中，我们解决的算法问题，代理应该如何计划采取什么行动，什么信息传输。自然地，人们会期望人类有偏好，我们在理论上通过对传输的信息进行评分来对信息进行建模，该信息基于它在人类信仰状态的加权熵中引起的变化。我们制定这个设置为一个信念MDP，并给出了一个易于处理的算法来解决它近似。然后，我们给出了一个算法，允许智能体通过探索在线学习人类的偏好。我们验证我们的方法在模拟离散和连续部分观察搜索和恢复域的实验。访问http://tinyurl.com/chitnis-corl-18获取补充视频。
2018-09-27 cs.AI cs.RO
Safer Autonomous Driving in a Stochastic, Partially-Observable Environment by Hierarchical Contingency Planning
Renault Software Labs（雷诺软件实验室）；EURECOM（欧洲通信学院）
当学习在随机的、部分可观察的环境中行动时，智能代理应该准备好预测其对环境状态的信念的变化，并且能够在飞行中调整其行动以适应不断变化的条件。作为人类，我们在学习一项任务时能够形成应急计划，其明确目标是能够纠正初始控制中的错误，因此，如果我们对环境的感知发生突然变化，需要立即采取纠正措施，这证明是有用的。对于在安全至关重要的现实世界中导航的自动驾驶汽车（AV）来说尤其如此，并且真正需要对环境变化的信念做出反应的强大能力。在本文中，我们探索了一个端到端的方法，从训练到执行，学习强大的应急计划，并将它们与层次规划器相结合，以获得一个强大的代理政策，在自主导航任务中，其他车辆的行为是未知的，代理人对这些行为的信念是受到突然的，最后一秒的变化。我们表明，我们的方法在部分可观察的随机环境中产生了鲁棒，安全的行为，在训练过程中没有看到环境动态。
2022-04-13 cs.AI cs.LG cs.RO
Cumulative and Averaging Fission of Beliefs
UniK（奥斯陆大学信息技术研究所）；University of Oslo（奥斯陆大学）
信念融合是将来自不同来源的独立信念或证据结合起来的原则。根据要建模的情况，可以应用不同的置信度融合方法。累积和平均的信念融合定义融合意见的主观逻辑，并融合一般的信念函数。裂变的原则是融合的对立面，即从已经融合的信念中消除特定信念的贡献，目的是导出剩余的信念。本文描述了主观逻辑中累积信念的裂变和平均信念的裂变。这些算子可以例如应用于贝叶斯信念网络中的信念修正，其中给定证据源的信念贡献可以被确定为给定融合信念及其其他贡献信念的函数。
2007-12-07 cs.AI cs.LO
Observation Adaptation via Annealed Importance Resampling for Partially Observable Markov Decision Processes
Vanderbilt University（范德堡大学）
针对POMDP在线求解中粒子滤波因重要性重采样导致退化的问题，提出通过构建桥接分布的退火重要性重采样方法，适应高信息量观测，在多个挑战性领域显著优于现有方法。
2025-03-25 cs.AI cs.LG cs.RO
Towards conservative inference in credal networks using belief functions: the case of credal chains
Eindhoven University of Technology, The Netherlands（埃因霍温理工大学，荷兰）
本文提出基于Dempster-Shafer理论在credal chains中传播不确定性的新框架，通过信念与似然函数高效生成保守区间，并对比经典敏感性分析揭示其优势与局限。
2025-07-10 cs.AI math.PR
Combining a Meta-Policy and Monte-Carlo Planning for Scalable Type-Based Reasoning in Partially Observable Environments
Australian National University（澳大利亚国立大学）；Google DeepMind（谷歌DeepMind）
针对多智能体系统中现有基于类型推理方法的可观测性假设与扩展性局限，提出结合元策略的POTMMCP在线规划方法，在大规模部分可观测环境中实现了更高效的长视野规划与更优的求解性能。
2023-06-09 cs.AI cs.MA
Simplified Continuous High Dimensional Belief Space Planning with Adaptive Probabilistic Belief-dependent Constraints
Technion - Israel Institute of Technology（以色列理工学院）
部分可观测域不确定性下的在线决策，也称为信念空间规划，是机器人学和人工智能中的一个基本问题。由于未来存在大量看似合理的解释，计算最优行动方案给智能体带来了巨大的计算负担。此外，在许多情况下，例如，在信息收集中，需要引入依赖于信念的约束。基于这一需求，本文考虑了最近提出的概率信念依赖约束POMDP。我们提出了一种技术，自适应地接受或放弃一个候选动作序列的概率信念依赖的约束，扩展一个完整的未来观测样本集之前，没有任何损失的准确性。此外，使用我们提出的框架，我们贡献了一种自适应方法来找到最大可行回报（例如，信息增益）在风险价值方面的候选动作序列具有实质性的加速。最重要的是，我们引入了一个自适应简化技术的概率约束设置。这种方法可以证明返回一个相同质量的解决方案，同时大大加快在线决策。我们的通用框架适用于任何信念依赖约束连续POMDP参数信念，以及粒子表示的非参数信念。在信息理论约束的背景下，我们提出的框架随机量化，如果沿规划范围的累积信息增益是足够显着的（例如，信息收集，主动SLAM）。我们将我们的方法应用到主动SLAM，一个具有高度挑战性的高维信念空间规划问题。广泛的现实模拟证实了我们提出的想法的优越性。
2023-02-13 cs.AI cs.RO
Meta reinforcement learning as task inference
DeepMind（深度思维）
人类通过依赖关于自然发生的任务结构的先验知识来实现有效的学习。设计具有类似性质的强化学习（RL）算法引起了人们极大的兴趣。这包括学习学习算法本身的建议，这一想法也被称为元学习。这个想法的一个正式解释是作为一个部分可观察的多任务RL问题，其中任务信息是隐藏的代理。这种未知的任务问题可以减少到马尔可夫决策过程（MDP）的基础上，通过增加一个代理的意见与过去的经验，对任务的信念估计。然而，估计的信念状态是棘手的，在大多数部分观察的MDP。我们提出了一种方法，分别学习的政策和任务信念，利用各种特权信息。我们的方法可以非常有效地解决标准元强化学习环境，以及奖励稀疏且需要长期记忆的复杂连续控制环境。
2019-10-22 cs.AI cs.LG stat.ML
Simultaneous Perception-Action Design via Invariant Finite Belief Sets
University of Texas at Austin（德克萨斯大学奥斯汀分校）
虽然感知在自主系统的整体计算成本中占越来越大的比例，但感知到的信息中只有一小部分可能与当前任务相关。为了减轻这些感知成本，我们开发了一种新的同步感知动作设计框架，其中代理只感知任务相关的信息。该公式与部分可观察的马尔可夫决策过程的公式不同，因为智能体不仅可以自由合成其动作选择策略，还可以自由合成其依赖于信念的观察函数。该方法使代理人能够平衡其感知成本与在其环境中操作所产生的成本。为了获得一个计算上易于处理的解决方案，我们近似的价值函数使用一种新的方法不变的有限信念集，其中代理的行为完全在一个有限子集的连续信念空间。我们通过值迭代来解决近似问题，其中线性规划在每次迭代中针对集合中的每个置信状态单独求解。最后，我们证明了价值函数，在其结构的假设下，收敛到其连续的状态空间值的样本密度的增加。
2021-09-10 cs.AI cs.SY eess.SY
Simplified Belief-Dependent Reward MCTS Planning with Guaranteed Tree Consistency
Technion - Israel Institute of Technology（以色列理工学院）
部分可观测马尔可夫决策过程（POMDP）是众所周知的难以解决。最先进的在线求解器利用蒙特卡罗树搜索（MCTS）的思想。这些求解器快速收敛到信念树的最有希望的分支，避免了次优部分。这些算法中的大多数被设计为利用直接访问状态奖励，并假设信念依赖的奖励只不过是对状态奖励的期望。因此，它们不适用于更普遍和更基本的信念依赖性奖励设置。这种奖励的一个例子是使用信念的一组加权粒子近似的微分熵。这样的信息论奖励引入了显著的计算负担。在本文中，我们嵌入的范式简化MCTS算法。特别是，我们提出了简化的信息理论粒子滤波树（SITH-PFT），一种新的变体的MCTS算法，考虑信息理论的奖励，但避免了需要完全计算它们。我们取代了昂贵的计算信息理论的奖励与自适应的上限和下限。这些界限易于计算，并且仅根据算法的要求而收紧。至关重要的是，我们保证了与MCTS完全相同的信念树和解决方案，MCTS明确计算了原始的信息理论奖励。我们的方法是一般性的;也就是说，可以容易地插入任何收敛到回报界限的算法，以实现实质上的加速而没有任何性能损失。
2021-05-29 cs.AI cs.RO
An Interpretation of Belief Functions by means of a Probabilistic Multi-modal Logic
ENSTA Bretagne（布列塔尼国立高等先进技术学院）
虽然信度函数可以被正式地看作是概率分布的推广，但信度函数和概率之间的相互作用问题在实践中仍然是一个问题。这个问题是困难的，因为这些理论的使用背景明显不同，这些理论背后的语义并不完全相同。一个日益受到社会关注的突出问题，就是对冲突信息的管理。最近的作品介绍了新的规则，处理冲突的重新分配，同时结合信念功能。冲突的概念，或其取消开放世界的假设，似乎本身就阻止了直接解释的信念函数的概率框架。本文讨论的问题的概率解释的信念功能。它首先介绍并实现了一个理论上的接地规则，这在本质上是一个自适应合取规则。它示出，如何从逻辑解释的置信函数的概率多模态逻辑，这一规则是来自;此外，引入了一个概念的源独立性，基于熵最大化的原则。
2011-09-29 cs.AI cs.LO math.LO
Belief Rule Based Expert System to Identify the Crime Zones
本文主要研究犯罪区域识别问题。然后，它阐明了我们如何进行的信念规则库算法，以产生有趣的频繁模式的犯罪热点。本文还展示了我们如何使用专家系统来预测潜在的犯罪类型。为了进一步分析犯罪数据集，本文介绍了一个分析研究，结合我们的研究结果的吉大港犯罪数据集与人口统计信息，以捕捉可能影响邻里安全的因素。该解决方案的结果可用于提高对危险地点的认识，并帮助机构预测特定时间内特定地点的未来犯罪。
2020-05-10 cs.AI cs.RO cs.SY
Information State Embedding in Partially Observable Cooperative Multi-Agent Reinforcement Learning
Coordinated Science Laboratory, University of Illinois（伊利诺伊大学厄巴纳-香槟分校协调科学实验室）
部分可观测性下的多智能体强化学习（MARL）长期以来一直被认为是具有挑战性的，这主要是由于要求每个智能体在所有其他智能体的本地历史上保持信念-这是一个通常随时间呈指数增长的领域。在这项工作中，我们研究了一个部分可观察的MARL问题，其中代理是合作的。为了使易于处理的算法的发展，我们引入了信息状态嵌入的概念，用于压缩代理的历史。我们量化压缩误差如何影响分散控制的价值函数。此外，我们提出了一个基于递归神经网络（RNNs）的嵌入实例。然后将嵌入用作近似信息状态，并且可以馈送到任何MARL算法中。所提出的嵌入-然后-学习管道打开了现有（部分可观察）MARL算法的黑盒子，使我们能够建立一些理论保证（价值函数的误差界），同时仍然可以通过许多端到端方法实现有竞争力的性能。
2020-08-17 cs.AI cs.LG cs.MA
