Rule-based Shielding for Partially Observable Monte-Carlo Planning
部分可观测蒙特卡罗规划（POMCP）是一种功能强大的在线算法，能够为大型部分可观测马尔可夫决策过程生成近似策略。这种方法的在线特性通过避免完整的策略表示来支持可伸缩性。然而，缺乏明确的表示阻碍了政策的可解释性，使政策验证非常复杂。在这项工作中，我们提出了两个贡献。第一个是一种方法，用于确定意外的行动选择POMCP专家先验知识的任务。第二种是屏蔽方法，防止POMCP选择意外的操作。第一种方法是基于可满足性模理论（SMT）。它检查痕迹（即，由POMCP生成的信念-动作-观察三元组的序列）来计算关于专家定义的策略属性的逻辑公式的参数。第二个贡献是一个模块，它使用在线的逻辑公式来识别POMCP选择的异常动作，并用满足满足专家知识的逻辑公式的动作来代替这些动作。我们评估我们的方法上的老虎，POMDPs的标准基准，和一个现实世界中的移动机器人导航速度调节相关的问题。结果表明，屏蔽POMCP优于标准POMCP在一个案例研究中，一个错误的POMCP参数，使其选择错误的动作时，以时间。此外，我们表明，该方法保持良好的性能，如果使用包含一些错误的动作轨迹的逻辑公式的参数进行优化。
2021-04-28 cs.AI
Online Active Perception for Partially Observable Markov Decision Processes with Limited Budget
University of Texas at Austin（德克萨斯大学奥斯汀分校）
主动感知策略使智能体能够有选择地收集信息，以提高其性能。在应用程序中，代理不具有现有的信息源的先验知识，它是至关重要的综合主动感知策略在运行时。我们认为，在运行时的代理是能够收集信息的有限的预算下的设置。我们提出的问题的背景下，部分可观察的马尔可夫决策过程。我们提出了一个广义的贪婪策略，选择一个子集的信息源的不确定性减少的近最优保证。我们的理论分析表明，所提出的主动感知策略在预期的累积奖励方面达到了接近最优的性能。我们展示了机器人导航问题的模拟产生的战略。
2019-10-04 cs.AI cs.SY eess.SY
Actor-Critic for Linearly-Solvable Continuous MDP with Partially Known Dynamics
Toyota Central R & D Labs. Inc（丰田中央研发实验室公司）；University of Georgia（佐治亚大学）；Toyota Research Institute（丰田研究院）；Toyota R & D（丰田研发）
在许多机器人应用中，系统动力学的某些方面可以精确建模，而其他方面则难以获得或建模。我们提出了一种新的强化学习（RL）方法，连续的状态和动作空间，学习与系统的部分知识，没有积极的探索。它解决了线性可解马尔可夫决策过程（L-MDP），这是非常适合于连续的状态和动作空间，基于一个演员批评架构。与先前的用于L-MDP的RL方法和基于模型的路径积分方法相比，行动者-批评者学习不需要不受控制的动态模型，重要的是，不需要过渡噪声水平;然而，它需要知道问题的控制动态。我们评估我们的方法上的两个合成测试问题，和一个现实世界的问题，在模拟和使用真实的交通数据。我们的实验证明了改进的学习和策略性能。
2017-06-04 cs.AI
Actor-Critic Policy Optimization in Partially Observable Multiagent Environments
DeepMind（深度思考公司）
强化学习中参数化策略的优化是人工智能中一个重要而又具有挑战性的问题。其中最常见的方法是基于表示贴现收益的得分函数的梯度上升的算法。在本文中，我们研究的作用，这些策略梯度和演员批评的算法在部分可观察的多智能体环境。我们展示了几个候选的政策更新规则，并将它们与后悔最小化和多智能体学习技术的基础，一杆和表格的情况下，导致以前未知的收敛保证。我们将我们的方法应用于无模型多智能体强化学习在对抗顺序决策问题（零和不完美信息游戏），使用RL风格的函数逼近。我们评估常用的基准扑克域，显示性能对固定的政策和经验收敛到近似纳什均衡在自我发挥率类似或优于基线无模型算法的零和游戏，没有任何特定领域的状态空间减少。
2020-06-12 cs.AI cs.GT cs.LG
Decentralized Control of Partially Observable Markov Decision Processes using Belief Space Macro-actions
MIT（麻省理工学院）
本文的重点是解决连续空间中部分可观性的多机器人规划问题。分散部分可观测马尔可夫决策过程（Dec-POMDP）是多机器人协调问题的通用模型，但对于大型问题，Dec-POMDP的表示和求解往往比较困难。为了允许一个高层次的表示，这是自然的多机器人问题和可扩展到大型离散和连续的问题，本文扩展了Dec-POMDP模型的分散部分可观察的半马尔可夫决策过程（Dec-POSMDP）。的Dec-POSMDP制定允许异步决策的机器人，这是至关重要的多机器人域。我们还提出了一个算法来解决这个Dec-POSMDP这是更可扩展的比以前的方法，因为它可以将闭环的信念空间的宏观行动规划。这些宏操作被自动构造以产生鲁棒的解决方案。所提出的方法的性能进行评估的一个复杂的多机器人包裹递送问题下的不确定性，表明我们的方法可以自然地代表多机器人问题，并提供高质量的解决方案，为大规模的问题。
2015-02-20 cs.AI cs.MA cs.RO
Actual Causality and Responsibility Attribution in Decentralized Partially Observable Markov Decision Processes
Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
实际的因果关系和一个密切相关的责任归属概念是负责任的决策的核心。实际因果关系侧重于具体结果，旨在确定对实现感兴趣的结果至关重要的决策（行动）。责任归属是补充性的，旨在确定决策者（代理人）对这一结果负有责任的程度。在本文中，我们研究这些概念下，广泛使用的框架下的多智能体顺序决策的不确定性：分散部分可观察马尔可夫决策过程（Dec-POMDPs）。在RL最近的工作，显示POMDPs和结构因果模型（SCM）之间的对应关系，我们首先建立一个连接之间的Dec-POMDPs和SCM。这种联系使我们能够利用语言来描述实际的因果关系，从以前的工作和研究现有的定义，实际因果关系的Dec-POMDPs。鉴于一些众所周知的定义可能会导致反直觉的实际原因，我们引入了一个新的定义，更明确地占代理人的行动之间的因果依赖关系。然后，我们转向基于实际因果关系的责任归属，我们认为，在将责任归于代理时，重要的是要考虑代理参与的实际原因的数量，以及它操纵自己的责任程度的能力。出于这些论点，我们引入了一个家庭的责任归属方法，扩展了以前的工作，同时考虑到上述因素。最后，通过一个模拟实验，比较了不同的因果关系定义和责任归属方法。实证结果表明，考虑的实际因果关系的定义和它们对归因责任的影响之间的质的差异。
2022-08-09 cs.AI
On Measuring the Impact of Human Actions in the Machine Learning of a Board Game's Playing Policies
我们系统地研究了人工干预对策略棋盘游戏中计算机玩家训练的影响。在该游戏中，计算机玩家利用神经网络的强化学习来发展他们的游戏策略，并表现出缓慢的学习速度。人工干预可以显著提高学习性能，但系统地进行它似乎是一个集成的游戏开发环境，而不是自动进化学习的问题。
2006-11-30 cs.AI cs.GT cs.NE
Learning for Multi-robot Cooperation in Partially Observable Stochastic Environments with Macro-actions
IBM T. J. Watson Research Center（IBM T. J. 沃森研究中心）；Princeton University（普林斯顿大学）；Massachusetts Institute of Technology（麻省理工学院）；Northeastern University（东北大学）
提出了一种基于分散部分可观测马尔可夫决策过程（Dec-POMDP）和宏动作（MAs）的数据驱动的部分可观测域多机器人协调方法。Dec-POMDPs提供了一个通用的框架，合作顺序决策下的不确定性和MA允许暂时延长和异步的行动执行。到目前为止，大多数方法假设基础的Dec-POMDP模型是已知的先验或完整的模拟器在规划时间。以前的方法，旨在解决这些问题遭受局部最优性和初始条件的敏感性。此外，很少有硬件演示涉及一个大型团队的异构机器人和长期的规划视野存在。这项工作通过提出一种基于迭代采样的期望最大化算法（iSEM）来解决这些差距，该算法仅使用包含观察，MA和奖励的轨迹数据来学习策略。我们的实验表明，该算法是能够实现更好的解决方案的质量比国家的最先进的学习为基础的方法。我们在硬件上实现了多机器人搜索和救援（SAR）域（有障碍物和无障碍物）的两种变体，以证明学习的策略可以有效地控制一组分布式机器人在部分可观察的随机环境中进行合作。
2017-08-18 cs.LG cs.MA cs.RO
Reinforcement Learning in Partially Observable Markov Decision Processes using Hybrid Probabilistic Logic Programs
Gulf University for Science and Technology（海湾科技大学）
我们提出了一个概率逻辑编程框架，强化学习，通过集成强化学习，在POMDP环境中，与正常的混合概率逻辑程序与概率答案集语义，这是能够表示特定领域的知识。我们正式证明了我们的方法的正确性。我们证明了在我们的方法中为强化学习问题找到策略的复杂性是NP完全的。此外，我们证明了任何强化学习问题都可以编码为具有答案集语义的经典逻辑程序。我们还表明，一个强化学习问题可以编码为SAT问题。我们提出了一个新的高层次的动作描述语言，允许POMDP的因子表示。此外，我们修改了POMDP的原始模型，使它能够区分知识生产行动和行动，改变环境。
2010-11-27 cs.AI
Towards Computationally Efficient Responsibility Attribution in Decentralized Partially Observable MDPs
Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
责任归属是责任型多主体决策的一个重要概念。鉴于一系列行动，责任归属机制量化了每个参与者对最终结果的影响。其中一个流行的机制是基于实际的因果关系，它根据被认为对所考虑的结果至关重要的行为来分配（因果）责任。然而，查明实际原因，从而确定确切的责任分配的固有问题已被证明是计算上棘手的。在本文中，我们的目标是提供一个实用的算法解决问题的责任归属下的计算预算。我们首先正式的问题的框架下，分散的部分可观测马尔可夫决策过程（Dec-POMDPs）的结构因果模型（SCM）的一个特定的类增强。在这个框架下，我们引入了一个蒙特卡罗树搜索（MCTS）类型的方法，有效地近似代理的责任度。该方法利用了一种新的搜索树的结构和修剪技术，都适合于责任归属的问题。我们的方法的其他新组件是（a）基于线性标量化的子选择策略和（b）考虑通常用于定义实际因果关系的最小条件的反向传播过程。我们通过一个基于模拟的测试平台，其中包括三个团队为基础的纸牌游戏实验评估我们的算法的有效性。
2023-02-24 cs.AI
Learning What Information to Give in Partially Observed Domains
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）
在许多机器人应用中，自主智能体必须在其人类队友未观察到的部分观察到的环境中行动并探索该环境。我们考虑这样一种设置，在这种设置中，代理可以在行动时向人类传输声明性信息，帮助他们理解这个看不见的环境的各个方面。在这项工作中，我们解决的算法问题，代理应该如何计划采取什么行动，什么信息传输。自然地，人们会期望人类有偏好，我们在理论上通过对传输的信息进行评分来对信息进行建模，该信息基于它在人类信仰状态的加权熵中引起的变化。我们制定这个设置为一个信念MDP，并给出了一个易于处理的算法来解决它近似。然后，我们给出了一个算法，允许智能体通过探索在线学习人类的偏好。我们验证我们的方法在模拟离散和连续部分观察搜索和恢复域的实验。访问http://tinyurl.com/chitnis-corl-18获取补充视频。
2018-09-27 cs.AI cs.RO
Multi-agent Off-policy Actor-Critic Reinforcement Learning for Partially Observable Environments
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
针对部分可观测环境，本文在去中心化多智能体异策略 actor-critic 中引入社会学习估计全局状态，证明误差 ε-有界且无需转移模型，实验优于现有方法。
2024-07-06 cs.LG cs.MA
DiffVAS: Diffusion-Guided Visual Active Search in Partially Observable Environments
Washington University in St. Louis（华盛顿大学圣路易斯分校）；RISE Research Institutes of Sweden（瑞典RISE研究机构）；Climate AI Nordics（北欧气候AI）
DiffVAS提出了一种目标条件化的策略，能够在部分可观测环境中同时搜索多种目标，提升了视觉主动搜索在现实应用中的部署能力。
2026-05-15 cs.AI cs.CV
Lagrangian Relaxation for Multi-Action Partially Observable Restless Bandits: Heuristic Policies and Indexability
Department of Electrical Engineering, Indian Institute of Technology Madras（印度理工学院马德拉斯分校电子工程系）；Department of Electrical Engineering and Computer Science, University of Ottawa（渥太华大学电子工程与计算机科学系）
针对多动作部分可观测不安分多臂老虎机问题，研究其拉格朗日界计算近似方法、值函数性质、启发式策略及Whittle索引策略的局限性，为公共卫生干预等场景的资源分配提供理论支撑。
2025-08-30 cs.LG cs.SY eess.SY
Decision-Theoretic Coordination and Control for Active Multi-Camera Surveillance in Uncertain, Partially Observable Environments
National University of Singapore（新加坡国立大学）
监控的核心问题是对大范围、有遮挡、有障碍物的环境中运动的多个目标进行监控。本文提出了一种新的原则部分可观测马尔可夫决策过程为基础的方法来协调和控制网络的主动摄像机跟踪和观察多个移动目标，在这样的监视环境中的高分辨率。我们提出的方法能够（a）保持对目标状态的信念（即，位置、方向和速度）来跟踪它们，即使它们可能不是一直被摄像机直接观察到，（b）协调摄像机的动作以同时提高对目标状态的置信度并最大化以保证的分辨率观察到的目标的期望数量，以及（c）利用我们的监视问题的固有结构来提高其可缩放性（即，线性时间）。与现有的多摄像机协调控制技术的定量比较表明，该方法可以实现更高的实时的监控质量。我们的方法的实际可行性也证明了使用真正的AXIS 214 PTZ摄像机
2012-10-02 cs.AI cs.MA cs.MM
Indexability and Rollout Policy for Multi-State Partially Observable Restless Bandits
IIIT Allahabad（印度信息技术学院阿拉哈巴德分校）；Polytechnique Montreal（蒙特利尔综合理工学院）
具有部分可观测状态的不安分多臂强盗在通信系统、信息时代和推荐系统中有应用。本文研究了多状态部分可观测的不安宁强盗模型。我们考虑了三种不同的基于决策者可观察信息的模型-- 1）从强盗的行动中没有信息可观察2）来自强盗的完美信息仅对强盗的一个行动是可观察的，存在固定的重新启动状态，即，从所有其它状态到该状态的转换发生3）完美的状态信息可用于对Bandit的两个动作的决策者，并且对于两个动作存在两个重启状态。我们发展结构特性。我们还展示了模型2和模型3的阈值类型策略和可索引性。我们提出蒙特卡罗（MC）推出政策。在模型2的情况下，我们使用它来计算whittle指数。我们得到的集中界的价值函数的地平线长度和数量的轨迹MC推出政策。我们推导出模型3的显式指数公式。最后，我们描述了蒙特卡洛推出政策模型1时，很难显示可索引性。我们使用近视政策，蒙特卡罗推出政策和惠特尔指数政策的数值例子。我们观察到，蒙特卡洛推出政策是一个很好的竞争政策，近视。
2021-07-30 cs.LG cs.SY eess.SY
Stochastic Linear Bandits with Partially Observed Actions
Arizona State University（亚利桑那州立大学）；GE Vernova（通用电气 Vernova）；Google（谷歌）
研究具有部分观测动作的随机线性博弈问题，提出TOFU-POV算法，通过估计潜在动作子空间等操作，使遗憾为$\sqrt{T}$且与内在维度相关，还设计了秩自适应算法，实验证明该算法能改进自然基线。
2026-07-13 cs.LG math.ST stat.ML
Hidden Markov Model Estimation-Based Q-learning for Partially Observable Markov Decision Process
Department of Industrial and Enterprise Systems Engineering（工业与企业系统工程系）
本文提出了一种基于隐马尔可夫模型估计的在线Q学习算法，用于部分可观测马尔可夫决策过程，同时估计POMDP参数和Q函数，并证明其收敛性。
2018-09-24 cs.LG cs.SY eess.SY
Learning to Act and Observe in Partially Observable Domains
我们考虑一个学习代理在部分可观察的环境中，代理从来没有互动过，它学习它可以观察到什么，以及它的行动如何影响环境。代理可以通过在该领域中采取行动并观察其结果所收集的经验来了解该领域。我们提出的学习算法能够学习尽可能多的（在一个定义明确的意义上）都是关于什么是直接观察到的，什么样的行动在域中，给定的学习者的观察约束。我们区分每个算法所获得的领域知识的水平，并描述所需的观测类型，以达到it.The算法使用动态认知逻辑（DEL）来表示学习领域的信息符号。我们的工作延续了Bolander和Gierasimczuk（2015）的工作，他们开发了基于DEL的学习算法，以学习完全可观察域中的域信息。
2021-09-13 cs.AI cs.LO
Just Label What You Need: Fine-Grained Active Selection for Perception and Prediction through Partially Labeled Scenes
University of Toronto（多伦多大学）；Uber ATG（优步先进技术集团）；Brown University（布朗大学）
自动驾驶汽车必须感知和预测附近行动者的未来位置，以避免碰撞和安全驾驶。一个学习过的深度学习模块通常负责这项任务，需要大规模、高质量的训练数据集。由于数据汇集通常比在该领域中标记便宜得多，因此标记哪个示例子集的决定可能对模型性能产生深远的影响。主动学习技术利用当前模型的状态来迭代地选择用于标记的示例，为这个问题提供了一个有前途的解决方案。然而，尽管这种方法很有吸引力，但对于感知和预测（P&P）问题的主动学习方法却很少有科学分析。在这项工作中，我们研究了P&P的主动学习技术，发现传统的主动学习公式不适合P&P设置。因此，我们引入泛化，确保我们的方法是成本意识，并允许细粒度的选择的例子，通过部分标记的场景。我们在真实世界的大规模自动驾驶数据集上的实验表明，细粒度选择可以提高感知，预测和下游规划任务的性能。
2021-04-08 cs.AI cs.CV cs.LG
Online Feedback Efficient Active Target Discovery in Partially Observable Environments
提出 DiffATD，利用扩散置信分布与增量奖励模型平衡探索和利用，在无预训练、部分可观测且预算固定条件下高效发现目标。
2025-10-19 cs.AI cs.LG stat.ML
Partial-Order, Partially-Seen Observations of Fluents or Actions for Plan Recognition as Planning
School of Computing（计算学院）；Entertainment Arts and Engineering Program（娱乐艺术与工程系）；University of Utah（犹他大学）
这项工作的目的是通过调整以前的汇编，使计划识别为规划更适合现实世界的情况下，工作与偏序，半看到两个流利的和行动的观察。我们首先要重新定义观测可以是什么，以及满足每一种观测意味着什么。然后，我们提供了一个汇编从计划识别问题的经典规划问题，类似于原来的工作拉米雷斯和格夫纳，但容纳这些更复杂的观察类型。该编译可以适应于其他基于规划的计划识别技术。最后，我们评估这种方法对“忽略复杂性”的策略，使用原始的方法由拉米雷斯和格夫纳。我们的实验结果表明，虽然速度较慢，但我们的方法与基线方法一样或更准确;我们的技术有时会显着减少计划识别问题的解决方案的大小，即最佳目标集的大小。我们讨论了这些发现的背景下，计划识别问题的难度，并提出了一个途径，为今后的工作。
2019-11-14 cs.AI
Representation Learning in Partially Observable Environments using Sensorimotor Prediction
SoftBank Robotics Europe - AI Lab（软银机器人欧洲公司 - 人工智能实验室）
为了在环境中自主探索和行动，智能体需要从行动时捕获的感觉运动信息中学习。通过提取感觉运动流中的信息，它可以学习世界的模型，进而可以作为行动和探索的基础。这需要从可能的高维原始观测中获取紧凑的表示，这是嘈杂和模糊的。在本文中，我们从感觉运动预测中学习感觉表征。我们提出了一个模型，它集成了随着时间的推移感觉运动信息，并将其投影在一个感官表示，这是有用的预测。我们强调一个简单的例子，运动和记忆的作用，学习感觉表征。
2018-04-26 cs.AI cs.RO
Online Replanning in Belief Space for Partially Observable Task and Motion Problems
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；NVIDIA（英伟达）
为了解决现实世界中的多步操作任务，自主机器人必须采取行动观察其环境并对意外观察做出反应。这可能需要打开一个抽屉来观察里面的东西，或者移动一个物体来检查它后面的空间，一旦收到新的观察结果，机器人必须更新它对世界的信念，并计算一个新的行动计划。在这项工作中，我们提出了一个在线规划和执行系统的机器人面临这些挑战。我们在混合信念状态空间中执行确定性成本敏感规划，以选择可能成功的观察动作和连续控制动作。在执行和观察之后，我们使用新的状态估计重新计划。我们最初强制规划器重用最后一个计划的未执行尾部的结构。这既提高了规划效率，又确保总体政策不会破坏实现目标的进展。我们的方法是能够有效地解决部分可观察的问题，无论是在模拟和现实世界的厨房。
2020-03-23 cs.AI cs.RO
Bandit Submodular Maximization for Multi-Robot Coordination in Unpredictable and Partially Observable Environments
University of Michigan（密歇根大学）
本文针对不可预测且部分可观测环境中的多机器人协调问题，提出首个具有强盗反馈和有界跟踪遗憾的次模协调算法，将 Sequential Greedy 推广到强盗设置，并在多目标跟踪仿真中验证其有效性。
2023-05-26 cs.AI cs.MA cs.RO
ADeptS-Bench: Measuring the Trustworthiness of Computer Use Agents Across Devices
FAIR at Meta（Meta FAIR实验室）
ADeptS-Bench是基于ADEPTS框架的双流基准，评估7个计算机使用智能体的跨设备可信赖性，发现其存在安全与歧义处理缺陷，将发布相关数据与工具。
2026-09-16 cs.AI cs.CR cs.SE
Measuring and Improving Behavioral Consistency in Large Language Models through Fact-Heuristic-Emotion State Enforcement
School of Mechanical Engineering, Chung-Ang University（韩国中央大学机械工程学院）
研究大语言模型行为一致性，通过认知内核模型CKM强制模型在决策前区分事实、假设和评估信号，经多实验评估发现其可降低输出变异性、减少决策翻转率，证明行为一致性可测且能部分改善。
2026-07-29 cs.AI cs.CL cs.HC
