Improving Training Result of Partially Observable Markov Decision Process by Filtering Beliefs
在这项研究中，我提出了一个过滤信念的方法来提高性能的部分可观察马尔可夫决策过程（POMDPs），这是一种广泛使用的方法在自主机器人和许多其他领域的控制策略。我的方法搜索和比较每一个相似的信念对。由于相似信念对控制策略的影响不大，为了减少训练时间，过滤掉了相似信念。实验结果表明，该方法优于基于点的近似POMDPs的训练结果的质量以及该方法的效率。
2021-01-05 cs.AI
Speeding Up the Convergence of Value Iteration in Partially Observable Markov Decision Processes
Hong Kong University of Science & Technology（香港科技大学）
部分可观测马尔可夫决策过程（POMDPs）最近在许多人工智能研究人员中很受欢迎，因为它们可以作为不确定性下规划的自然模型。值迭代是一个著名的算法，为POMDPs寻找最优策略。它通常需要大量的迭代来收敛。本文提出了一种加速数值迭代收敛的方法。该方法已在一系列基准问题上进行了评估，发现非常有效：它使值迭代在所有测试问题上仅经过几次迭代后就收敛。
2011-06-01 cs.AI
Combined Model for Partially-Observable and Non-Observable Task Switching: Solving Hierarchical Reinforcement Learning Problems Statically and Dynamically with Transfer Learning
完全自主机器人和人类的一个不可或缺的功能是能够将注意力集中在一些相关的感知上以达到某个目标，同时忽略不相关的感知。人类和动物依靠前额叶皮层（PFC）和基底神经节（BG）之间的相互作用来实现这种称为工作记忆（WM）的焦点。工作记忆工具包（WMtk）是基于这种现象的计算神经科学模型与自治系统的时间差异（TD）学习开发的。工具包的最新调整要么利用抽象任务表示（ATR）来解决不可观察（NO）任务，要么存储过去的输入特征来解决部分可观察（PO）任务，但不能两者兼而有之。我们提出了一个新的模型，PONOWMtk，它结合了这两种方法，ATR和输入存储，与一个静态或动态的ATR数量。我们的实验结果表明，PONOWMtk执行有效的任务，表现出PO，NO，或两者兼而有之。
2020-04-22 cs.AI
Rule-based Shielding for Partially Observable Monte-Carlo Planning
部分可观测蒙特卡罗规划（POMCP）是一种功能强大的在线算法，能够为大型部分可观测马尔可夫决策过程生成近似策略。这种方法的在线特性通过避免完整的策略表示来支持可伸缩性。然而，缺乏明确的表示阻碍了政策的可解释性，使政策验证非常复杂。在这项工作中，我们提出了两个贡献。第一个是一种方法，用于确定意外的行动选择POMCP专家先验知识的任务。第二种是屏蔽方法，防止POMCP选择意外的操作。第一种方法是基于可满足性模理论（SMT）。它检查痕迹（即，由POMCP生成的信念-动作-观察三元组的序列）来计算关于专家定义的策略属性的逻辑公式的参数。第二个贡献是一个模块，它使用在线的逻辑公式来识别POMCP选择的异常动作，并用满足满足专家知识的逻辑公式的动作来代替这些动作。我们评估我们的方法上的老虎，POMDPs的标准基准，和一个现实世界中的移动机器人导航速度调节相关的问题。结果表明，屏蔽POMCP优于标准POMCP在一个案例研究中，一个错误的POMCP参数，使其选择错误的动作时，以时间。此外，我们表明，该方法保持良好的性能，如果使用包含一些错误的动作轨迹的逻辑公式的参数进行优化。
2021-04-28 cs.AI
A Possibilistic Model for Qualitative Sequential Decision Problems under Uncertainty in Partially Observable Environments
IRIT - Universite Paul Sabatier（IRIT - 保罗·萨巴捷大学）
在这篇文章中，我们提出了一个定性（有序）部分可观察马尔可夫决策过程模型（POMDP），其中的不确定性，以及代理的偏好，建模的可能性分布。POMDP模型的这种定性对应依赖于最近开发的不确定性决策的可能性理论。这样的定性框架的一个优点是它能够摆脱随机POMDP的经典障碍，即使在有限的状态空间中，所获得的POMDP的信念状态空间是无限的。相反，在可能性框架中，即使指数地大于状态空间，信念状态空间仍然是有限的。
2013-01-23 cs.AI
Identification of Unexpected Decisions in Partially Observable Monte-Carlo Planning: a Rule-Based Approach
Università degli Studi di Verona（维罗纳大学）
部分可观测蒙特卡罗规划（POMCP）是一种功能强大的在线算法，能够为大型部分可观测马尔可夫决策过程生成近似策略。这种方法的在线特性通过避免完整的策略表示来支持可伸缩性。然而，缺乏明确的表示妨碍了可解释性。在这项工作中，我们提出了一种方法，基于可满足性模理论（SMT）分析POMCP政策，通过检查他们的痕迹，即序列的算法产生的信念-行动-观察三元组。所提出的方法探索本地属性的政策行为，以确定意外的决定。我们提出了一个迭代过程的痕迹分析，包括三个主要步骤，i）定义一个问题，通过一个参数逻辑公式描述（概率）信念和行动之间的关系，ii）通过计算最大化满足子句数量的逻辑公式的参数来生成答案（解决MAX-SMT问题），iii）分析生成的逻辑公式和相关的决策边界，用于识别POMCP关于原始问题做出的意外决策。我们评估我们的方法上的老虎，POMDPs的标准基准，和一个现实世界中的问题，移动机器人导航。结果表明，该方法可以利用人类知识的领域，优于国家的最先进的异常检测方法在识别意外的决定。在我们的试验中，曲线下面积的改善达到了47%。
2021-04-28 cs.AI
Value-Function Approximations for Partially Observable Markov Decision Processes
Brown University（布朗大学）
部分可观测马尔可夫决策过程（POMDPs）提供了一个优雅的数学框架，用于建模复杂的决策和规划问题的随机域中，系统的状态只能间接观察，通过一组不完美的或嘈杂的意见。然而，POMDPs的建模优势是有代价的--求解它们的精确方法在计算上非常昂贵，因此在实践中只适用于非常简单的问题。我们专注于有效的近似（启发式）的方法，试图减轻计算问题和权衡速度的准确性。我们有两个目标。首先，我们综述了各种近似方法，分析了它们的性质和关系，并对它们的差异提供了一些新的见解。其次，我们提出了一些新的近似方法和现有技术的新改进。从代理导航域的问题上的实验支持的理论结果。
2011-06-01 cs.AI
Adaptive Informative Path Planning with Multimodal Sensing
Stanford University（斯坦福大学）
自适应信息路径规划（AIPP）问题模型的代理人的任务是在未知的，部分可观察的环境中获取信息的资源约束。AIPP的现有工作主要集中在代表作为代理运动的结果对世界的观察。我们制定了更一般的设置，代理可以选择不同的传感器之间的一些能源的成本，除了穿越环境收集信息。我们称这个问题为AIPPMS（MS for Multimodal Sensing）。AIPPMS需要从能量消耗和信息获取两个方面对感知和运动的影响进行联合推理。我们框架AIPPMS部分可观察马尔可夫决策过程（POMDP），并解决它与在线规划。我们的方法是基于部分可观测蒙特卡罗规划框架的修改，以确保约束的可行性和启发式推出政策量身定制的AIPPMS。我们评估我们的方法在两个领域：一个模拟的搜索和救援方案和一个具有挑战性的扩展经典的RockSample问题。我们发现，我们的方法优于一个经典的AIPP算法，修改AIPPMS，以及使用随机推出政策的在线规划。
2020-03-21 cs.AI
HSVI can solve zero-sum Partially Observable Stochastic Games
CITI；INSA Lyon（里昂国立应用科学学院）；INRIA - CNRS（法国国家信息与自动化研究所 - 法国国家科学研究中心）；Université de Lorraine（洛林大学）；University of New South Wales（新南威尔士大学）
解决2人零和不完美信息博弈的最新方法依赖于线性规划或遗憾最小化，尽管不是动态规划（DP）或启发式搜索（HS），而后者通常是其他顺序决策问题的最新解决方案的核心。在部分可观察或协作设置中（例如，POMDP和DEC-POMDP），DP和HS需要引入适当的统计量，该统计量引起完全可观察的问题以及最优价值函数的边界（凸）逼近器。这种方法在2人零和部分可观察随机博弈（zs-POSGs）的一些子类中也取得了成功，但如何将其应用于一般情况仍然是一个悬而未决的问题。我们回答它（i）严格定义一个等价的游戏工作，（ii）证明数学性质的最优价值函数，允许导出边界的解决方案的战略，（iii）首次提出了一个HSVI类求解器，可证明收敛到一个$ε$ -最优解在有限时间，和（iv）经验分析它。这打开了一个新的家庭的有前途的方法，补充那些依赖于线性规划或迭代法的大门。
2022-10-26 cs.AI
Combining a Meta-Policy and Monte-Carlo Planning for Scalable Type-Based Reasoning in Partially Observable Environments
Australian National University（澳大利亚国立大学）；Google DeepMind（谷歌DeepMind）
针对多智能体系统中现有基于类型推理方法的可观测性假设与扩展性局限，提出结合元策略的POTMMCP在线规划方法，在大规模部分可观测环境中实现了更高效的长视野规划与更优的求解性能。
2023-06-09 cs.AI cs.MA
Sparsely Changing Latent States for Prediction and Planning in Partially Observable Domains
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Tübingen（蒂宾根大学）
在部分可观察领域进行预测和规划的一种常见方法是使用递归神经网络（RNN），它理想地开发和维护关于隐藏的任务相关因素的潜在记忆。我们假设，物理世界中的许多隐藏因素都是恒定的，只会发生稀疏的变化。为了研究这一假设，我们提出了门控$L_0$正则化动态（GateL0RD），一种新的经常性的架构，结合了感性的偏见，以保持稳定，稀疏变化的潜在状态。通过一种新的内部门控函数和对潜在状态变化的$L_0$范数的惩罚来实现偏置。我们证明了GateL0RD可以在各种部分可观察的预测和控制任务中与最先进的RNN竞争或优于RNN。GateL0RD倾向于对环境的潜在生成因素进行编码，忽略虚假的时间依赖性，并且更好地泛化，从而提高了基于模型的规划和强化学习任务中的采样效率和整体性能。此外，我们表明，发展中的潜在状态可以很容易地解释，这是RNN更好地解释的一步。
2022-01-13 cs.AI cs.LG
Deep Hierarchical Reinforcement Learning Algorithm in Partially Observable Markov Decision Processes
Kyung Hee University（庆熙大学）；Queen’s University Belfast（贝尔法斯特女王大学）
针对分层结构任务中平面强化学习效果差、效率低，且现实任务多为部分可观测的问题，提出可同时适用于MDP和POMDP的深度分层强化学习算法，并在多种挑战性分层POMDP任务上开展评估。
2018-05-11 cs.AI
PODDP: Partially Observable Differential Dynamic Programming for Latent Belief Space Planning
自主智能体观察世界状态的能力有限。部分可观测马尔可夫决策过程（POMDPs）对世界状态不确定性下的规划问题进行了形式化建模，但具有连续动作和非线性动力学特性的POMDPs适合于机器人应用，其求解具有挑战性。在本文中，我们提出了一个有效的差分动态规划（DDP）算法的信任空间规划POMDP的不确定性在一个离散的潜在状态，连续的状态，行动，观察，和非线性动力学。这种表示允许规划的动态轨迹是敏感的离散的潜在世界状态的结构化不确定性。我们开发了动态规划技术，以优化一个可能的观测和信念空间轨迹树的应急计划，并得出一个层次版本的算法。我们的方法适用于成本或回报函数不确定的问题（例如，目标或障碍的配置），动态的不确定性（例如，混合系统的动态模式），以及交互的不确定性，其中其他代理的行为取决于潜在的意图。基准测试表明，我们的算法优于流行的启发式方法规划下的不确定性，从一个自主变道任务的结果表明，我们的算法可以合成强大的互动轨迹。
2019-12-14 cs.AI cs.RO
Effective Baselines for Multiple Object Rearrangement Planning in Partially Observable Mapped Environments
Meta
许多现实世界的任务，从打扫房子到做饭，都可以用公式表示为多对象重排问题--其中代理需要将特定对象置于适当的目标状态。对于这样的问题，我们专注于设置，假设一个预先指定的目标状态，完美的操作和对象识别能力的可用性，和一个静态的地图的环境，但未知的初始位置的对象重新排列。我们的目标是使家庭辅助智能代理，有效地规划下，这种部分可观性的重新安排。这需要在环境探索和重新安排规划之间进行有效的权衡，这是一个具有挑战性的问题，因为它具有长期性。为了在这个问题上取得进展，我们首先分析了各种因素的影响，如对象和容器的数量，代理承载能力，环境布局等勘探和规划重排使用经典的方法。然后，我们研究了单片和模块化深度强化学习（DRL）方法，用于在我们的环境中进行规划。我们发现，单片DRL方法不成功，在长期的规划需要多对象重排。相反，模块化的贪婪方法令人惊讶地表现得相当不错，并成为多目标重排问题中具有部分可观测性的规划的有竞争力的基线。我们还表明，我们的贪婪的模块化代理是经验最优的对象，需要重新安排是均匀分布在环境中-从而为未来的工作在部分可观察的设置多对象重新安排规划的强大性能的基线。
2023-01-24 cs.AI cs.RO
Blockwise Sequential Model Learning for Partially Observable Reinforcement Learning
School of Electrical Engineering, KAIST（韩国科学技术院电气工程学院）
本文提出了一种新的序列模型学习结构来解决部分可观测马尔可夫决策问题。与传统的基于递归神经网络的方法在每个时间步压缩顺序信息不同，所提出的架构在每个数据块中生成具有多个时间步长度的潜在变量，并将最相关的信息传递到下一个块进行策略优化。所提出的分块顺序模型是基于自注意实现的，使得该模型能够在部分可观察设置下进行详细的顺序学习。该模型利用自归一化重要性采样建立了一个额外的学习网络，有效地实现了梯度估计，在模型学习中不需要复杂的分块输入数据重构。数值结果表明，所提出的方法显着优于以往的方法在各种部分可观测的环境。
2021-12-10 cs.AI cs.LG
Probabilistic Planning with Partially Ordered Preferences over Temporal Goals
University of Florida（佛罗里达大学）
在本文中，我们研究规划随机系统，建模为马尔可夫决策过程（MDP），在时间上扩展的目标的偏好。先前的工作时间规划的偏好假设用户的偏好形成一个总的顺序，这意味着每对结果是相互比较的。在这项工作中，我们考虑的情况下，可能的结果的偏好是一个偏序，而不是一个总的顺序。我们首先介绍了一个变种的确定性有限自动机，称为偏好DFA，用于指定用户的偏好在时间上扩展的目标。基于序理论，我们将偏好DFA转化为一个标记MDP中的概率规划策略偏好关系。在这种治疗中，最优选的政策诱导弱随机非支配概率分布的有限路径的MDP。所提出的规划算法取决于一个多目标MDP的建设。我们证明了弱随机非支配政策的偏好规格是帕累托最优的构造多目标MDP，反之亦然。在整个文件中，我们采用了一个运行的例子来证明所提出的偏好规范和解决方案的方法。我们使用的例子与详细的分析，我们的算法的有效性，然后讨论可能的未来方向。
2023-03-07 cs.AI cs.RO
The Partially Observable History Process
University of Alberta（阿尔伯塔大学）；Amii（Amii（阿尔伯塔机器智能研究所））；Brown University（布朗大学）
我们介绍了部分可观察的历史过程（POHP）形式主义的强化学习。POHP以单个代理的行为和观察为中心，并抽象出其他参与者的存在，而不将其简化为随机过程。我们的形式主义提供了一个简化的接口，设计算法，无视分类为唯一的单一或多代理，并开发理论，适用于这些领域。我们展示了POHP形式主义如何统一传统模型，包括马尔可夫决策过程，马尔可夫博弈，扩展形式博弈及其部分可观察扩展，而不引入繁琐的技术机器或违反强化学习的哲学基础。我们说明了我们的形式主义的实用性，通过简洁地探索可观察到的顺序合理性，检查一般立即后悔最小化的一些理论性质，并推广的广泛形式的后悔最小化（EFR）算法。
2022-02-24 cs.AI cs.GT
Combined Model for Partially-Observable and Non-Observable Task Switching: Solving Hierarchical Reinforcement Learning Problems Statically and Dynamically with Transfer Learning
Middle Tennessee State University（中田纳西州立大学）
完全自主机器人和人类的一个不可或缺的功能是能够将注意力集中在一些相关的感知上以达到某个目标，同时忽略不相关的感知。人类和动物依靠前额叶皮层（PFC）和基底神经节（BG）之间的相互作用来实现这种称为工作记忆（WM）的焦点。工作记忆工具包（WMtk）是基于这种现象的计算神经科学模型与自治系统的时间差异（TD）学习开发的。工具包的最新调整要么利用抽象任务表示（ATR）来解决不可观察（NO）任务，要么存储过去的输入特征来解决部分可观察（PO）任务，但不能两者兼而有之。我们提出了一个新的模型，PONOWMtk，它结合了这两种方法，ATR和输入存储，与一个静态或动态的ATR数量。我们的实验结果表明，PONOWMtk执行有效的任务，表现出PO，NO，或两者兼而有之。
2020-04-17 cs.AI cs.LG
POPGym: Benchmarking Partially Observable Reinforcement Learning
强化学习（RL）的现实应用通常是部分可观察的，因此需要记忆。尽管如此，部分可观察性仍然在很大程度上被当代RL基准和库所忽视。我们介绍了部分可观察过程Gym（POPGym），这是一个由两部分组成的库，包含（1）15个部分可观察环境的不同集合，每个环境都有多个困难，以及（2）13个内存模型基线的实现-在单个RL库中最多。现有的部分可观察基准往往专注于3D视觉导航，这是计算昂贵，只有一种类型的POMDP。相比之下，POPGym环境是多样化的，产生更小的观察结果，使用更少的内存，并且通常在消费级GPU上训练两小时内收敛。我们在流行的RLlib框架之上实现了高级内存API和内存基线，为各种训练算法、探索策略和分布式训练范式提供了即插即用的兼容性。使用POPGym，我们执行了迄今为止最大的RL内存模型比较。POPGym可在https://github.com/proroklab/popgym上获得。
2023-03-03 cs.AI cs.LG cs.RO
Act-Then-Measure: Reinforcement Learning for Partially Observable Environments with Active Measuring
Radboud University（拉德堡德大学）；Nijmegen Institute for Computing and Information Sciences（奈梅亨计算与信息科学研究所）
我们研究马尔可夫决策过程（MDP），代理人直接控制何时以及如何收集信息，作为正式的行动或有无噪声可观察MDP（ACNO-MPD）。在这些模型中，动作由两个部分组成：影响环境的控制动作和影响代理可以观察到的内容的测量动作。为了解决ACNO-MDP，我们引入了行动然后测量（ATM）启发式算法，该算法假设我们在选择控制动作时可以忽略未来状态的不确定性。我们展示了如何遵循这种启发式可能会导致更短的政策计算时间，并证明了启发式所产生的性能损失的约束。为了决定是否采取度量行动，我们引入了度量值的概念。我们开发了一种基于ATM启发式的强化学习算法，使用适合部分可观察域的Dyna-Q变体，并在一些部分可观察的环境中展示了其优越的性能。
2023-03-14 cs.AI cs.LG
Context Discovery for Model Learning in Partially Observable Environments
SoftBank Robotics Europe (Aldebaran)（软银机器人欧洲（Aldebaran））
学习模型的能力对于自主智能体的成功至关重要。不幸的是，在部分可观察的环境中学习模型是困难的，其中潜在的环境因素影响代理观察到的内容。在缺乏监督训练信号的情况下，自主智能体因此需要一种机制来自主地发现这些环境因素或感觉运动背景。本文提出了一种在部分可观察环境中发现感觉运动上下文的方法，通过构建一个层次转换模型。该方法在模拟实验中进行评估，在该实验中，机器人学习到不同的房间的特点是在其中发现不同的对象。
2016-08-02 cs.AI cs.LG cs.RO
Regret Minimization for Partially Observable Deep Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
估计状态和状态-动作价值函数的深度强化学习算法已被证明在各种具有挑战性的领域中是有效的，包括从原始图像像素学习控制策略。然而，估计状态和状态-动作价值函数的算法通常假设完全观测的状态，并且必须通过使用有限长度的观测历史或递归网络来补偿部分观测。在这项工作中，我们提出了一个新的深度强化学习算法的基础上反事实遗憾最小化迭代更新近似的一个类似的函数，并部分观察状态是鲁棒的。我们证明了这种新算法在几个部分观察到的强化学习任务上的表现可以大大优于强基线方法：在Doom和Minecraft中学习第一人称3D导航，以及在Doom和Pong中存在部分观察到的对象时采取行动。
2018-10-25 cs.AI cs.LG
Partially Observable Markov Decision Process for Recommender Systems
Hong Kong University of Science and Technology（香港科技大学）
我们报告的“经常性恶化”（RD）现象观察到在线推荐系统。当推荐模型总是基于用户对先前推荐的反馈进行训练时，RD现象表现为性能下降的趋势。有几个原因的推荐系统遇到RD现象，包括缺乏负训练数据和用户的兴趣的演变，等等。出于解决问题，导致RD现象，我们提出了POMDP-Rec框架，这是一个神经优化的部分可观察马尔可夫决策过程算法的推荐系统。我们证明了POMDP-Rec框架有效地使用了来自真实世界推荐系统的累积历史数据，并自动实现了与那些通过公共数据集上的域导出进行彻底微调的模型相当的结果。
2016-09-01 cs.AI cs.IR
Deep Recurrent Q-Learning vs Deep Q-Learning on a simple Partially Observable Markov Decision Process with Minecraft
Ynov Informatique（Ynov信息技术学院）
在过去的几年里，深度Q学习已经成功地应用于各种各样的任务。然而，香草Deep Q-Network的架构不适合处理部分可观察的环境，如3D视频游戏。为此，Deep Q-Network中添加了递归层，以允许它处理过去的依赖关系。我们在这里使用Minecraft的定制优势，并设计了两个非常简单的任务，可以作为部分可观测马尔可夫决策过程的框架。我们在这些任务中比较了深度Q网络和深度递归Q网络，以了解后者是否总是最好的架构，当代理必须处理部分可观测性时，后者更棘手，训练时间更长。
2019-04-11 cs.AI cs.LG cs.NE
Transformer-Based Reinforcement Learning for Autonomous Orbital Collision Avoidance in Partially Observable Environments
Université Paris-Saclay, CentraleSupélec Engineering School, Department of Industrial Engineering（巴黎萨克雷大学，中央超导工程学院，工业工程系）
本文提出一种基于Transformer的强化学习框架，用于解决部分可观测环境下自主轨道避碰问题，通过结合可配置相遇模拟器、距离依赖观测模型和序列状态估计器，利用Transformer架构有效处理噪声和间歇性观测。
2026-02-05 cs.AI cs.LG
Geometry and Determinism of Optimal Stationary Control in Partially Observable Markov Decision Processes
Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学研究所）；Faculty of Mathematics and Computer Science（数学与计算机科学学院）；Leipzig University（莱比锡大学）；Santa Fe Institute（圣塔菲研究所）
众所周知，对于任何有限状态的马尔可夫决策过程（MDP），都存在一个无记忆的确定性策略使期望回报最大化。对于部分可观测马尔可夫决策过程（POMDPs），最优无记忆策略通常是随机的。研究了无记忆随机策略集上的期望报酬最优化问题。我们制定了一个约束线性最优化问题，并制定了相应的几何框架。我们表明，任何POMDP有限的随机性，这使我们能够减少搜索空间的维数有一个最佳的无记忆的政策。实验表明，该方法能够更好，更快地收敛的政策梯度的评估系统。
2016-02-13 cs.AI math.OC
Partially Observable Planning and Learning for Systems with Non-Uniform Dynamics
The University of Queensland（昆士兰大学）；Australian National University（澳大利亚国立大学）
我们提出了一种名为TransNet的神经网络架构，该架构将规划和模型学习结合起来，用于解决部分可观察马尔可夫决策过程（POMDP）与非均匀系统动态学。在过去的十年中，POMDP问题的解决取得了重大进展。然而，构建一个合适的POMDP模型仍然很困难。最近，已经提出了神经网络架构来减轻获取这样的模型的困难。虽然结果是有希望的，现有的体系结构限制了可以学习的系统动态的类型-也就是说，系统动态必须在状态空间的所有部分都是相同的。TransNet放宽了这种限制。这种放松的关键是一个新的神经网络模块，它将状态空间分类，然后学习不同类别的系统动力学。TransNet使用该模块与QMDP-Net[1]的整体架构，以允许解决具有更具表达力的动态模型的POMDPs，同时保持有效的数据需求。它的机器人导航与初始未知的系统和环境模型的典型基准的评估表明，TransNet大大超过了最先进的方法QMDP-Net的生成的政策和学习效率的质量。
2019-07-09 cs.AI cs.LG cs.RO
Improving Automated Driving through POMDP Planning with Human Internal States
Stanford University（斯坦福大学）
这项工作研究的假设，部分可观察马尔可夫决策过程（POMDP）规划与人类驾驶员的内部状态，可以显着提高安全性和效率，在自动高速公路驾驶。我们在一个模拟场景中评估了这一假设，在这个场景中，自动驾驶汽车必须安全地连续进行三次车道变换。通过观测加宽部分可观测蒙特卡罗规划（POMCPOW）算法得到了POMDP的近似解。这种方法优于过度自信和保守的MDP基线，并匹配或优于QMDP。相对于MDP基准，POMCPOW通常将不安全情况的发生率降低一半或将成功率提高50%。
2022-06-09 cs.AI cs.RO
Learning What to Memorize: Using Intrinsic Motivation to Form Useful Memory in Partially Observable Reinforcement Learning
Izmir University of Economics（伊兹密尔经济大学）
强化学习在具有长期依赖性的部分可观察环境中面临着重要的挑战。为了在模糊的环境中学习，智能体必须将先前的感知保存在记忆中。早期的基于内存的方法使用固定的方法来确定在内存中保存什么，这将它们限制在某些问题上。在这项研究中，我们遵循的想法，让记忆的控制代理，允许它有记忆改变的行动。这种学习机制是由一种内在的动机来支持的，这种动机是为了记住罕见的观察结果，这可以帮助智能体消除其在环境中的状态。我们的方法进行了实验和分析的几个部分可观察的任务与长期的依赖关系，并与其他记忆为基础的方法进行了比较。
2022-02-04 cs.AI cs.LG
An Empirical Comparison of Neural Architectures for Reinforcement Learning in Partially Observable Environments
Vrije Universiteit Brussel（布鲁塞尔自由大学）
本文探讨了拟合神经Q迭代强化学习在几个部分可观察的环境中的性能，使用三个递归神经网络架构：长短期记忆，门控递归单元和MUT 1，一个递归神经架构从一个池的几千个候选架构演变。一个变种的拟合Q迭代，优势值的基础上，而不是Q值，也探讨了。结果表明，GRU在大多数问题上的表现明显优于LSTM和MUT 1，在学习一个非常好的策略之前，需要更少的训练集和更少的CPU时间。优势学习也往往产生更好的结果。
2015-12-17 cs.AI cs.LG cs.NE
Market-Based Reinforcement Learning in Partially Observable Worlds
与传统的强化学习（RL）不同，基于市场的强化学习原则上适用于部分可观察马尔可夫决策过程（POMDPs）描述的世界，其中智能体需要学习相关先前事件的短期记忆，以便执行最佳行动。然而，大多数以前的工作都集中在反应式设置（MDP），而不是POMDP。在这里，我们重新实现了最近的基于市场的RL方法，并首次在玩具POMDP设置中对其进行评估。
2001-05-15 cs.AI cs.LG cs.MA
Deep Transformer Q-Networks for Partially Observable Reinforcement Learning
Khoury College of Computer Sciences（Khoury计算机科学学院）；Northeastern University（东北大学）
现实世界的强化学习任务通常涉及某种形式的部分可观察性，其中观察仅给出世界真实状态的部分或噪声视图。这些任务通常需要某种形式的记忆，其中代理可以访问多个过去的观察，以便执行良好。一种流行的合并记忆的方法是使用递归神经网络来访问代理的历史。然而，强化学习中的递归神经网络通常是脆弱的，难以训练，易受灾难性遗忘的影响，有时会完全失败。在这项工作中，我们提出了深度Transformer Q-网络（DTQN），一种新的架构，利用Transformers和自我注意编码代理的历史。DTQN是模块化设计的，我们对我们的基础模型的几个修改的结果进行比较。我们的实验表明，Transformer可以解决部分可观察的任务比以前的递归方法更快，更稳定。
2022-11-10 cs.AI cs.LG
Weathering Ongoing Uncertainty: Learning and Planning in a Time-Varying Partially Observable Environment
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Cyprus（塞浦路斯大学）；University of California, Berkeley（加州大学伯克利分校）
针对时变不确定环境下自主系统的最优决策难题，提出TV-POMDP模型及结合MPSE与集成规划的双路径方法，经仿真与硬件验证性能优于标准方法。
2024-03-07 cs.AI cs.RO cs.SY
Learning Reward Machines: A Study in Partially Observable Reinforcement Learning
Pontificia Universidad Católica de Chile（智利天主教大学）；Vector Institute（向量研究院）；University of Toronto（多伦多大学）；Ryerson University（瑞尔森大学）
强化学习是人工智能的核心问题。这个问题包括定义人工代理，可以通过与环境交互来学习最佳行为-其中最佳行为是相对于代理寻求最大化的奖励信号定义的。奖励机（RM）提供奖励函数的结构化的、基于自动机的表示，其使得RL代理能够将RL问题分解成可以经由离策略学习有效地学习的结构化子问题。在这里，我们表明，RM可以从经验中学习，而不是由用户指定，并且由此产生的问题分解可以用于有效地解决部分可观察的RL问题。我们提出的任务学习RM作为一个离散的优化问题，其目标是找到一个RM，分解成一组子问题的问题，使其最佳的无记忆的政策的组合是一个最佳的政策，为原始问题。我们展示了这种方法在三个部分可观察的领域的有效性，在这些领域中，它的性能显着优于A3 C，PPO和ACER，并讨论了它的优点，局限性和更广泛的潜力。
2021-12-17 cs.AI cs.LG
Reinforcement Learning In Partially Verifiable Environments for Colon Cancer Treatment Planning
University of California, San Francisco（加利福尼亚大学旧金山分校）；Weill Cancer Hub（威尔癌症中心）；West Vokram Inc.（West Vokram公司）；OpenEvidence
本研究将结肠癌治疗规划建模为部分可观测下的交互式强化学习问题，用GRPO、GDPO优化Llama-3.1-8B-Instruct，使策略的临床奖励显著提升，为交互式临床RL提供了有效学习信号。
2026-10-14 cs.AI cs.LG
SIDE: State Inference for Partially Observable Cooperative Multi-Agent Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
值分解方法作为求解分散部分可观测马尔可夫决策过程（Dec-POMDP）问题的方法之一，近年来取得了重要的成果。然而，大多数值分解方法需要在训练期间完全可观察的环境状态，但这在某些只能获得不完整和噪声观测的场景中是不可行的。因此，我们提出了一种新的价值分解框架，称为状态推理价值分解（SIDE），它通过同时寻求最优控制和状态推理两个问题的解决方案，消除了了解全局状态的需要。SIDE可以扩展到任何值分解方法，以解决部分可观察的问题。通过比较不同算法在星际争霸II微管理任务中的性能，我们验证了SIDE可以在没有可访问状态的情况下，根据过去的局部观察推断出有助于强化学习过程的当前状态，甚至在一些复杂场景中获得优于许多基线的结果。
2021-12-20 cs.AI cs.LG cs.MA
Off-Policy Evaluation in Partially Observable Environments
Technion Institute of Technology（以色列理工学院）
本文研究了部分可观测环境下强化学习的批量离策评估问题。在部分可观测性下的非政策评估本质上倾向于偏差，具有任意大误差的风险。我们定义了部分可观测马尔可夫决策过程（POMDPs）的离政策评估问题，并建立了我们认为是POMDPs的第一个离政策评估结果。此外，我们制定了一个模型，其中观察到的和未观察到的变量被解耦成两个动态过程，称为解耦POMDP。我们展示了如何在这个新模型下进行政策评估，减轻一般POMDPs固有的估计误差。我们证明了POMDP的政策外评估的陷阱，使用一个著名的政策外的方法，重要性采样，并将其与我们的结果进行比较合成的医疗数据。
2019-11-24 cs.AI cs.LG cs.SY
Inferring Reward Machines and Transition Machines from Partially Observable Markov Decision Processes
针对部分可观测环境中的非马尔可夫性，提出转移机器与双重行为米利机统一表示，并开发DB-RPNI算法高效推断最小正确自动机，速度提升达三个数量级。
2025-08-03 cs.AI cs.LG
Safer Autonomous Driving in a Stochastic, Partially-Observable Environment by Hierarchical Contingency Planning
Renault Software Labs（雷诺软件实验室）；EURECOM（欧洲通信学院）
当学习在随机的、部分可观察的环境中行动时，智能代理应该准备好预测其对环境状态的信念的变化，并且能够在飞行中调整其行动以适应不断变化的条件。作为人类，我们在学习一项任务时能够形成应急计划，其明确目标是能够纠正初始控制中的错误，因此，如果我们对环境的感知发生突然变化，需要立即采取纠正措施，这证明是有用的。对于在安全至关重要的现实世界中导航的自动驾驶汽车（AV）来说尤其如此，并且真正需要对环境变化的信念做出反应的强大能力。在本文中，我们探索了一个端到端的方法，从训练到执行，学习强大的应急计划，并将它们与层次规划器相结合，以获得一个强大的代理政策，在自主导航任务中，其他车辆的行为是未知的，代理人对这些行为的信念是受到突然的，最后一秒的变化。我们表明，我们的方法在部分可观察的随机环境中产生了鲁棒，安全的行为，在训练过程中没有看到环境动态。
2022-04-13 cs.AI cs.LG cs.RO
Decentralized Control of Partially Observable Markov Decision Processes using Belief Space Macro-actions
MIT（麻省理工学院）
本文的重点是解决连续空间中部分可观性的多机器人规划问题。分散部分可观测马尔可夫决策过程（Dec-POMDP）是多机器人协调问题的通用模型，但对于大型问题，Dec-POMDP的表示和求解往往比较困难。为了允许一个高层次的表示，这是自然的多机器人问题和可扩展到大型离散和连续的问题，本文扩展了Dec-POMDP模型的分散部分可观察的半马尔可夫决策过程（Dec-POSMDP）。的Dec-POSMDP制定允许异步决策的机器人，这是至关重要的多机器人域。我们还提出了一个算法来解决这个Dec-POSMDP这是更可扩展的比以前的方法，因为它可以将闭环的信念空间的宏观行动规划。这些宏操作被自动构造以产生鲁棒的解决方案。所提出的方法的性能进行评估的一个复杂的多机器人包裹递送问题下的不确定性，表明我们的方法可以自然地代表多机器人问题，并提供高质量的解决方案，为大规模的问题。
2015-02-20 cs.AI cs.MA cs.RO
Online Active Perception for Partially Observable Markov Decision Processes with Limited Budget
University of Texas at Austin（德克萨斯大学奥斯汀分校）
主动感知策略使智能体能够有选择地收集信息，以提高其性能。在应用程序中，代理不具有现有的信息源的先验知识，它是至关重要的综合主动感知策略在运行时。我们认为，在运行时的代理是能够收集信息的有限的预算下的设置。我们提出的问题的背景下，部分可观察的马尔可夫决策过程。我们提出了一个广义的贪婪策略，选择一个子集的信息源的不确定性减少的近最优保证。我们的理论分析表明，所提出的主动感知策略在预期的累积奖励方面达到了接近最优的性能。我们展示了机器人导航问题的模拟产生的战略。
2019-10-04 cs.AI cs.SY eess.SY
Model-free Motion Planning of Autonomous Agents for Complex Tasks in Partially Observable Environments
The University of Iowa（爱荷华大学）；Lehigh University（理海大学）；University of Science and Technology of China（中国科学技术大学）
针对部分可观测环境下自主智能体复杂任务运动规划难题，提出融合LTL、LDGBA与LSTM增强深度Q学习的无模型强化学习方法，经多场景仿真验证可有效应对各类不确定性，具备实际应用潜力。
2023-04-30 cs.AI cs.FL cs.MA
Preference-Based Planning in Stochastic Environments: From Partially-Ordered Temporal Goals to Most Preferred Policies
Missouri State University（密苏里州立大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Florida（佛罗里达大学）；Oden Institute for Computational Engineering and Sciences（奥登计算工程与科学研究所）
本文研究随机系统中基于偏序时序偏好的规划问题，提出偏好自动机模型，并将最偏好策略求解转化为多目标MDP中的Pareto最优策略计算。
2024-10-18 cs.AI cs.FL cs.LO
Deep Active Inference for Partially Observable MDPs
Radboud University（拉德堡德大学）
深度主动推理已被提出作为处理大型策略和状态空间的感知和动作的可扩展方法。然而，目前的模型仅限于完全可观察的领域。在本文中，我们描述了一个深度主动推理模型，可以直接从高维感官输入中学习成功的策略。深度学习架构优化预期自由能的变体，并通过变分自编码器对连续状态表示进行编码。我们在OpenAI基准测试中表明，我们的方法具有与深度Q学习（一种最先进的深度强化学习算法）相当或更好的性能。
2020-09-08 cs.AI cs.LG cs.NE
Learning Finite-State Controllers for Partially Observable Environments
Brown University（布朗大学）
针对部分可观测马尔可夫决策过程，提出一种基于随机梯度下降的VAPS扩展算法，学习局部最优的有限状态自动机控制器，并通过实验验证其利用历史观测信息补偿不可观测性的能力。
2013-01-23 cs.AI cs.SY eess.SY
Optimistic MLE -- A Generic Model-based Algorithm for Partially Observable Sequential Decision Making
DeepMind（深度思维）；Princeton University（普林斯顿大学）；Google Research India（谷歌印度研究院）；University of Alberta（阿尔伯塔大学）
本文介绍一种简单有效的一般序贯决策学习算法。该算法结合了最大似然估计和最乐观的探索模型估计，这因此被称为OMLE。我们证明了OMLE学习的一个非常丰富的类序列决策问题的多项式样本数的近优政策。这个丰富的类不仅包括大多数已知的易处理的基于基于模型的强化学习（RL）问题（如表MDP，因子MDP，低见证秩问题，表弱揭示/可观察POMDP和多步可解码POMDP），而且还包括许多新的具有挑战性的RL问题，特别是在部分可观察的设置中，以前不知道是易处理的。值得注意的是，本文所解决的新问题包括：（1）具有连续观测和函数逼近的可观测POMDPs，其中我们获得了与观测空间大小完全无关的第一样本复杂度;（2）良态低秩序贯决策问题（也称为预测状态表示（PSR）），其包括并概括在更内在的表示下的所有已知易处理的POMDP示例;（3）SAIL条件下的一般序贯决策问题，统一了我们对完全可观察和部分可观察两种情况下基于模型强化学习的理解。本文证明了SAIL条件，它可以看作是Bellman/witness秩的自然推广，以解决部分能观性问题。本文还提出了一种无奖励的OMLE算法，它学习近似的动态模型，使计算接近最优的政策，同时为所有的奖励功能。
2022-11-23 cs.AI cs.LG stat.ML
A transformer-based deep reinforcement learning approach to spatial navigation in a partially observable Morris Water Maze
Norwegian University of Science and Technology（挪威科技大学）
针对部分可观测Morris水迷宫的导航问题，提出基于仅含解码器的Transformer深度Q网络架构，使智能体在视野受限下高效学习空间导航策略，为类生物行为的人工智能体研究提供新方向。
2024-10-01 cs.AI cs.LG cs.RO
Optimal Control of Logically Constrained Partially Observable and Multi-Agent Markov Decision Processes
University of Southern California（南加州大学）；University of New Mexico（新墨西哥大学）
针对自主系统的逻辑约束、部分可观测性及多智能体信息不对称问题，提出带有限线性时序逻辑约束的POMDP最优控制理论与多智能体框架，可合成兼顾高奖励与约束满足概率的策略，经案例验证有效。
2024-06-19 cs.AI cs.FL cs.SY
When Is Partially Observable Reinforcement Learning Not Scary?
Princeton University（普林斯顿大学）；DeepMind（深度思维）；University of Alberta（阿尔伯塔大学）
强化学习（RL）的应用是普遍存在的，在这种应用中，智能体学习做出一系列决策，尽管缺乏关于受控系统潜在状态的完整信息，也就是说，它们在状态的部分可观测性下行事。众所周知，部分可观察的RL可能非常困难-众所周知的信息理论结果表明，学习部分可观察的马尔可夫决策过程（POMDPs）在最坏情况下需要指数数量的样本。然而，这并不排除存在POMDPs的大型子类，在这些子类上学习是容易处理的。在本文中，我们确定这样一个子类，我们称之为弱揭示POMDPs。这个家族排除了POMDP的病理情况，在这种情况下，观察结果在一定程度上是没有信息的，这使得学习困难。我们证明，弱揭示POMDPs，一个简单的算法相结合的乐观和最大似然估计（MLE）是足以保证多项式样本的复杂性。据我们所知，这是第一个可证明的样本有效的结果，用于从过完备POMDPs中的相互作用中学习，其中潜在状态的数量可以大于观察的数量。
2022-05-24 cs.AI cs.LG cs.SY
An intelligent tutor for planning in large partially observable environments
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Department of Psychology, UCLA（大学心理学系）
本文提出首个面向大型部分可观测环境的智能规划导师，结合新元推理算法与渐进式操作选择脚手架，经330人实验验证能显著提升人类决策能力。
2025-06-21 cs.AI
Representation Learning for Classical Planning from Partially Observed Traces
Sun Yat-sen University（中山大学）
构建一个完整的领域模型是一个耗时的问题，这已经成为人工智能规划技术在许多现实场景中应用的瓶颈。大多数经典的领域模型学习方法以声明性规划语言（如MANUPS或PDDL）的形式输出领域模型，并通过调用现有规划器来解决新的规划实例。然而，这种表示中的规划对所学习的领域模型的准确性敏感，这可能不能用于解决实际规划问题。为了以矢量化的方式表示领域模型，提出了一种基于图神经网络（GNN）的无模型学习和基于模型的规划相结合的新框架LP-GNN。通过在图中嵌入命题和动作，探索它们之间的潜在关系，形成特定领域的推理。我们评估我们的方法在五个经典的规划领域，与经典的领域模型学习器ARMS相比。实验结果表明，通过该方法学习的领域模型在解决实际规划问题时更加有效。
2019-07-19 cs.AI
Online Learning and Planning in Partially Observable Domains without Prior Knowledge
Xiamen University（厦门大学）
智能体如何在随机的、部分可观测的领域中最优地行动是一个具有挑战性的问题，解决这个问题的标准方法是首先学习领域模型，然后基于学习到的模型找到（近）最优策略。然而，离线学习模型通常需要存储整个训练数据，并且不能利用规划阶段生成的数据。此外，目前的研究通常假设学习的模型是准确的，或者预先假定对世界上不可观察部分的性质的了解。本文针对离散系统，利用预测状态表示（PSRs）的优点，提出了一种基于模型的规划方法，该方法的学习和规划阶段都可以在线执行，并且不需要底层系统的先验知识。实验结果表明，与最先进的方法相比，我们的算法实现了高水平的性能，没有提供先验知识，以及PSRs的理论优势。源代码可在https://github.com/DMU-XMU/PSR-MCTS-Online上获得。
2019-06-11 cs.AI
Memory Bounded Open-Loop Planning in Large POMDPs using Thompson Sampling
LMU Munich（慕尼黑大学）；MaibornWolff
像POMCP这样的部分可观察规划的最新方法是基于随机树搜索的。虽然这些方法在计算上是高效的，但是它们仍然可能构造相当大的搜索树，这可能由于有限的存储器资源而限制性能。在本文中，我们提出了部分可观察的堆叠汤普森采样（POSTS），内存有界的方法来开环规划大型POMDPs，优化了一个固定大小的堆栈汤普森采样强盗。我们在四个大的基准问题的经验评估后，并比较其性能与不同的基于树的方法。我们表明，POSTS实现竞争力的性能相比，基于树的开环规划，并提供了一个性能-内存权衡，使其适合于部分可观察的规划与高度受限的计算和内存资源。
2019-05-10 cs.AI
Some Orders Are Important: Partially Preserving Orders in Top-Quality Planning
IBM Research（IBM研究院）
本文提出在高质量规划中仅对指定动作子集保留顺序重要性的新问题，并通过适配偏序约简剪枝技术提升求解效率，实验验证了其有效性。
2024-04-01 cs.AI
