Solving Truly Massive Budgeted Monotonic POMDPs with Oracle-Guided Meta-Reinforcement Learning
Department of Aerospace Engineering（航空航天工程系）；University of Illinois Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；Department of Mathematics（数学系）；Engineer Research and Development Center（工程研究与发展中心）；U.S. Army Corps of Engineers（美国陆军工程兵团）
针对大规模预算约束多组件单调POMDP求解难题，提出两步法：先用随机森林近似最优预算分配，再用Oracle引导的元训练PPO算法求解各单组件问题，实现可扩展性。
2025-09-15 cs.AI cs.LG math.OC
Reinforcement Learning in POMDPs with Memoryless Options and Option-Observation Initiation Sets
Artificial Intelligence Lab, Vrije Universiteit Brussel（布鲁塞尔自由大学人工智能实验室）
许多现实世界的强化学习问题具有层次性，并且通常表现出一定程度的部分可观察性。虽然层次结构和部分可观测性通常是分开解决的（例如通过结合递归神经网络和选项），但我们表明，在许多情况下，同时解决这两个问题更简单，更有效。更具体地说，我们的初始设置的选项条件上的先前执行的选项，并表明，这样的选项观察初始集（OOI）的选项至少是表达有限状态控制器（FSC），一个国家的最先进的POMDPs学习方法。OOI很容易基于任务的直观描述进行设计，导致可解释的策略，并保持顶级和选项策略无记忆。我们的实验表明，OOI允许代理在挑战POMDPs时学习最优策略，同时比递归神经网络在选项上的样本效率更高。
2017-09-12 cs.AI cs.LG
Finite-State Controllers for (Hidden-Model) POMDPs using Deep Reinforcement Learning
Brno University of Technology（布尔诺理工大学）；Radboud University（拉德堡德大学）；Masaryk University（马萨里克大学）
本文提出Lexpop框架，利用深度强化学习训练神经策略并构建有限状态控制器，解决POMDPs的可扩展性问题，并扩展至隐式模型POMDPs，通过迭代训练稳健策略并提取稳健控制器，实验显示其在大状态空间问题上优于现有方法。
2026-04-01 cs.AI
Solving Collaborative Dec-POMDPs with Deep Reinforcement Learning Heuristics
针对现有 Dec-POMDP 最先进算法难以处理复杂智能体协作的问题，提出 SA2MA 两阶段方法：先学习单智能体策略，再将其用于多智能体求解，并在复杂协作领域中取得明显优势。
2024-08-30 cs.AI cs.LG cs.MA
Mask Atari for Deep Reinforcement Learning as POMDP Benchmarks
Hitachi Ltd.（日立有限公司）
我们提出了Mask Atari，这是一个新的基准，可以帮助解决基于深度强化学习（DRL）的方法的部分可观察马尔可夫决策过程（POMDP）问题。为了实现POMDP问题的仿真环境，基于Atari 2600游戏构建了Mask Atari，该游戏具有可控、可移动和可学习的Mask作为目标Agent的观察区域，特别是在POMDP中设置了主动信息收集（AIG）。鉴于目前还不存在这样的方法，Mask Atari提供了一个具有挑战性的，有效的基准来评估专注于上述问题的方法。此外，掩模操作是将人类视觉系统中的感受野引入到代理的模拟环境中的尝试，这意味着评估不偏离感知能力，并且纯粹关注与人类基线相比时的方法的认知性能。我们描述了我们的基准测试的挑战和功能，并使用Mask Atari评估了几个基线。
2022-03-31 cs.AI cs.CV cs.LG
When Is Partially Observable Reinforcement Learning Not Scary?
Princeton University（普林斯顿大学）；DeepMind（深度思维）；University of Alberta（阿尔伯塔大学）
强化学习（RL）的应用是普遍存在的，在这种应用中，智能体学习做出一系列决策，尽管缺乏关于受控系统潜在状态的完整信息，也就是说，它们在状态的部分可观测性下行事。众所周知，部分可观察的RL可能非常困难-众所周知的信息理论结果表明，学习部分可观察的马尔可夫决策过程（POMDPs）在最坏情况下需要指数数量的样本。然而，这并不排除存在POMDPs的大型子类，在这些子类上学习是容易处理的。在本文中，我们确定这样一个子类，我们称之为弱揭示POMDPs。这个家族排除了POMDP的病理情况，在这种情况下，观察结果在一定程度上是没有信息的，这使得学习困难。我们证明，弱揭示POMDPs，一个简单的算法相结合的乐观和最大似然估计（MLE）是足以保证多项式样本的复杂性。据我们所知，这是第一个可证明的样本有效的结果，用于从过完备POMDPs中的相互作用中学习，其中潜在状态的数量可以大于观察的数量。
2022-05-24 cs.AI cs.LG cs.SY
Data-Efficient Reinforcement Learning in Continuous-State POMDPs
University of Cambridge（剑桥大学）
本文提出一种抗观测噪声的数据高效强化学习算法，通过扩展PILCO算法至POMDPs，利用过滤过程提升策略评估性能，实现在Cartpole摆动任务中更优的非线性控制效果。
2016-02-08 cs.LG cs.SY eess.SY
Deep Variational Reinforcement Learning for POMDPs
University of Oxford（牛津大学）；University of British Columbia（不列颠哥伦比亚大学）
许多现实世界中的序贯决策问题本质上是部分可观察的，并且环境模型通常是未知的。因此，非常需要强化学习方法，该方法可以在仅给出不完整和噪声观测流的情况下解决此类问题。在本文中，我们提出了深度变分强化学习（DVRL），它引入了一种归纳偏差，允许代理学习环境的生成模型，并在该模型中执行推理，以有效地聚合可用信息。我们开发了一个n步逼近证据下限（ELBO），允许模型与策略联合训练。这确保了潜在状态表示适合于控制任务。在Mountain Hike和闪烁的Atari上的实验中，我们表明我们的方法优于以前依赖于递归神经网络来编码过去的方法。
2018-06-06 cs.LG stat.ML
ODE-based Recurrent Model-free Reinforcement Learning for POMDPs
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
本文提出一种基于ODE的循环模型与无模型强化学习框架相结合的方法，用于求解POMDP，在PO连续控制和元RL任务中验证了有效性，并展示了对不规则观测的鲁棒性。
2023-10-29 cs.AI cs.LG
POMDP inference and robust solution via deep reinforcement learning: An application to railway optimal maintenance
ETH Zürich（苏黎世联邦理工学院）；Swiss Federal Railways SBB（瑞士联邦铁路公司）；Technical University of Munich（慕尼黑工业大学）；Pennsylvania State Univ.（宾夕法尼亚州立大学）
本文提出结合贝叶斯参数推断、域随机化与深度强化学习的 POMDP 鲁棒求解框架，并比较 Transformer、LSTM 及混合方法在铁路资产维护规划中的应用。
2023-07-16 cs.AI cs.LG
Reinforcement Learning Methods for Wordle: A POMDP/Adaptive Control Approach
Arizona State University（亚利桑那州立大学）
在本文中，我们解决流行的Wordle难题的解决方案，使用新的强化学习方法，适用于更普遍的自适应控制的动态系统和类的部分可观察马尔可夫决策过程（POMDP）的问题。这些方法是基于近似值空间和推出的方法，承认一个简单的实现，并提供各种启发式方法的性能改善。对于Wordle难题，他们产生的在线解决方案的战略，是非常接近最佳的计算成本相对适中。我们的方法是可行的更复杂的版本的Wordle和相关的搜索问题，最佳策略将是不可能计算。它们也适用于广泛的自适应序贯决策问题，涉及一个未知的或经常变化的环境，其参数估计在线。
2022-11-29 cs.AI
Bayesian Reinforcement Learning in Factored POMDPs
Northeastern University（东北大学）；Delft University of Technology（代尔夫特理工大学）
贝叶斯方法为强化学习中的探索-利用权衡提供了一个原则性的解决方案。然而，典型的方法要么假设一个完全可观察的环境，要么规模很差。这项工作介绍了因子贝叶斯自适应POMDP模型，一个框架，能够利用底层结构，同时学习部分可观测系统的动态。我们还提出了一个信念跟踪方法来近似联合后验状态和模型变量，和适应的蒙特卡罗树搜索解决方案的方法，这两者一起能够解决潜在的问题接近最优。我们的方法能够有效地学习给定的因子分解，或者同时学习因子分解和模型参数。我们证明，这种方法是能够优于目前的方法和解决问题，以前是不可行的。
2018-11-14 cs.AI
Market-Based Reinforcement Learning in Partially Observable Worlds
与传统的强化学习（RL）不同，基于市场的强化学习原则上适用于部分可观察马尔可夫决策过程（POMDPs）描述的世界，其中智能体需要学习相关先前事件的短期记忆，以便执行最佳行动。然而，大多数以前的工作都集中在反应式设置（MDP），而不是POMDP。在这里，我们重新实现了最近的基于市场的RL方法，并首次在玩具POMDP设置中对其进行评估。
2001-05-15 cs.AI cs.LG cs.MA
On Improving Deep Reinforcement Learning for POMDPs
深度强化学习（RL）最近成为在具有完全可观察环境的顺序决策问题中学习的最具竞争力的方法之一，例如，电脑走。然而，在深度RL中处理部分可观察环境的工作很少。我们提出了一种新的架构，称为特定的深度递归Q网络（ADRQN），以提高在部分可观察域的学习性能。动作由一个完全连接的层编码，并与卷积观测耦合，形成一个动作-观测对。然后，动作-观察对的时间序列由LSTM层集成，LSTM层学习潜在状态，基于此，全连接层计算Q值，如传统的深度Q网络（DQN）。我们证明了我们的新架构的有效性，在几个部分可观察的领域，包括闪烁的雅达利游戏。
2018-05-08 cs.LG stat.ML
Learning in Observable POMDPs, without Computationally Intractable Oracles
MIT（麻省理工学院）
大部分强化学习理论都是建立在计算上难以实现的预言之上的。特别是在部分可观测马尔可夫决策过程（POMDPs）中学习接近最优的策略，现有的算法要么需要对模型动态（例如确定性转换）做出强有力的假设，要么假设访问用于解决硬乐观规划或估计问题的Oracle作为子例程。在这项工作中，我们开发了第一个甲骨文免费的学习算法POMDPs在合理的假设。具体来说，我们给出了一个准多项式时间的端到端算法学习“可观测”POMDPs，其中可观测性是假设，以及分离分布状态诱导良好分离分布的意见。我们的技术规避了更传统的方法，使用不确定性下的乐观原则，以促进探索，而是给了一个新的应用重心spectrometry构建政策覆盖。
2022-06-07 cs.AI cs.DS cs.LG
Structured World Belief for Reinforcement Learning in POMDP
Rutgers University（罗格斯大学）；Electronics and Telecommunications Research Institute（电子与电信研究所）；Rutgers Center for Cognitive Science（罗格斯认知科学中心）
以对象为中心的世界模型提供了场景的结构化表示，并且可以成为强化学习和规划的重要支柱。然而，现有的方法遭受部分可观察的环境中，由于缺乏信念状态。在本文中，我们提出了结构化的世界信念，一个模型的学习和推理的对象为中心的信念状态。通过序贯蒙特卡罗（SMC）推断，我们的信念状态提供了多个以对象为中心的场景假设。为了协同SMC粒子与对象表示的好处，我们还提出了一个新的以对象为中心的动力学模型，认为对象持久性的归纳偏差。这使得即使在对象状态长时间不可见时也能够跟踪对象状态。为了进一步促进在这种制度下的对象跟踪，我们允许我们的模型灵活地参加在以前的模型中受到限制的图像中的任何空间位置。在实验中，我们表明，以对象为中心的信念提供了一个更准确和强大的性能过滤和生成。此外，我们还展示了结构化世界信念在提高强化学习、规划和监督推理性能方面的功效。
2021-07-19 cs.AI cs.LG
A PAC RL Algorithm for Episodic POMDPs
Carnegie Mellon University（卡内基梅隆大学）
许多有趣的现实世界领域涉及部分可观察环境中的强化学习（RL）。在这些领域的有效学习是很重要的，但现有的样本复杂性界限部分可观察的RL至少是指数的情节长度。我们给，据我们所知，第一个部分可观察的RL算法与多项式约束上的算法可能无法实现接近最佳性能的发作次数。我们的算法适用于一类重要的情节POMDPs。我们的方法建立在矩量法的最新进展的潜变量模型估计。
2016-06-01 cs.AI cs.LG stat.ML
Discriminative Particle Filter Reinforcement Learning for Complex Partial Observations
National Unviersity of Singapore（新加坡国立大学）；The University of Queesland（昆士兰大学）
深度强化学习在诸如Atari、Go等复杂游戏的决策中是成功的，然而，现实世界的决策通常需要从复杂的视觉观察中提取部分信息进行推理。提出了一种新的用于复杂部分观测的强化学习框架--判别粒子滤波强化学习（DPFRL）。DPFRL在神经网络策略中编码可微粒子滤波器，用于随时间推移进行部分观测的显式推理。粒子滤波器使用学习的判别更新来保持信念，该信念是端到端训练的，用于决策。我们表明，使用判别更新而不是标准的生成模型，可以显着提高性能，特别是对于具有复杂视觉观察的任务，因为它们规避了对与决策无关的复杂观察进行建模的困难。此外，为了从粒子信念中提取特征，我们提出了一种基于矩生成函数的信念特征。DPFRL在现有的POMDP RL基准Flickering Atari Games和本文介绍的新的更具挑战性的POMDP RL基准Natural Flickering Atari Games中的表现优于最先进的POMDP RL模型。此外，DPFRL表现良好的视觉导航与现实世界的数据在人居环境中。
2020-02-23 cs.AI cs.LG stat.ML
Deep Hierarchical Reinforcement Learning Algorithm in Partially Observable Markov Decision Processes
Kyung Hee University（庆熙大学）；Queen’s University Belfast（贝尔法斯特女王大学）
针对分层结构任务中平面强化学习效果差、效率低，且现实任务多为部分可观测的问题，提出可同时适用于MDP和POMDP的深度分层强化学习算法，并在多种挑战性分层POMDP任务上开展评估。
2018-05-11 cs.AI
Monte Carlo Bayesian Reinforcement Learning
National University of Singapore（新加坡国立大学）
贝叶斯强化学习（BRL）将世界的先验知识编码到模型中，并通过保持模型参数的概率分布来表示模型参数的不确定性。本文介绍了蒙特卡罗BRL（MC-BRL），一种简单而通用的方法BRL。MC-BRL对模型参数值的有限假设集进行先验采样，并形成离散的部分可观察马尔可夫决策过程（POMDP），其状态空间是强化学习任务的状态空间和采样的模型参数空间的叉积。POMDP不需要共轭分布的信念表示，早期的作品，可以解决相对容易的基于点的近似算法。MC-BRL自然处理完全和部分可观察的世界。理论和实验结果表明，离散POMDP近似的底层BRL任务很好地保证性能。
2012-06-27 cs.LG stat.ML
On Improving Deep Reinforcement Learning for POMDPs
Waterloo, Ontario（滑铁卢（安大略省））；Beijing Institute of Technology（北京理工大学）
深度强化学习（RL）最近成为在具有完全可观察环境的顺序决策问题中学习的最具竞争力的方法之一，例如，电脑走。然而，在深度RL中处理部分可观察环境的工作很少。我们提出了一种新的架构，称为特定的深度递归Q网络（ADRQN），以提高在部分可观察域的学习性能。动作由一个完全连接的层编码，并与卷积观测耦合，形成一个动作-观测对。然后，动作-观察对的时间序列由LSTM层集成，LSTM层学习潜在状态，基于此，全连接层计算Q值，如传统的深度Q网络（DQN）。我们证明了我们的新架构的有效性，在几个部分可观察的领域，包括闪烁的雅达利游戏。
2018-05-24 cs.LG
Reinforcement Learning in POMDP's via Direct Gradient Ascent
Research School of Information Sciences and Engineering（信息科学与工程研究学校）；Australian National University（澳大利亚国立大学）
本文提出GPOMDP算法，通过直接梯度上升在POMDP中优化策略性能，仅需单条样本路径和一个自由参数，证明其收敛性并用于寻找局部最优解。
2025-12-02 cs.LG
Sublinear Regret for Learning POMDPs
The Chinese University of Hong Kong（香港中文大学）；University of Toronto（多伦多大学）
研究了部分可观测马尔可夫决策过程（POMDPs）的基于模型的非折扣强化学习。我们考虑的预言是POMDP与一个已知的环境中的平均回报在无限的地平线上的最优策略。我们提出了一个学习算法，建立在隐马尔可夫模型的谱矩估计方法，POMDPs的信念误差控制和在线学习的置信上限方法。我们建立了一个遗憾界的$O(T^{2/3}\sqrt{\log T})$的建议的学习算法，其中$T$是学习视野。这是，据我们所知，第一个算法实现次线性遗憾我们的神谕学习一般POMDPs。
2022-07-16 cs.LG math.OC
SOAP-RL: Sequential Option Advantage Propagation for Reinforcement Learning in POMDP Environments
Visual Geometry Group（视觉几何组）；University of Oxford（牛津大学）
本文提出PPOEM和SOAP两种算法解决POMDP中无监督学习时间一致选项的挑战，SOAP通过扩展GAE传播选项优势，在Atari等基准上表现最优。
2024-10-11 cs.AI cs.LG
Learning Interpretable Policies in Hindsight-Observable POMDPs through Partially Supervised Reinforcement Learning
Washington University in St. Louis（圣路易斯华盛顿大学）
提出部分监督强化学习（PSRL）框架，通过融合监督语义状态和无监督潜在表示作为策略网络输入，在部分可观测环境中提升模型可解释性，同时在奖励和收敛速度上保持或显著超越传统方法。
2024-02-14 cs.AI cs.LG
Reinforcement Learning in Partially Observable Markov Decision Processes using Hybrid Probabilistic Logic Programs
Gulf University for Science and Technology（海湾科技大学）
我们提出了一个概率逻辑编程框架，强化学习，通过集成强化学习，在POMDP环境中，与正常的混合概率逻辑程序与概率答案集语义，这是能够表示特定领域的知识。我们正式证明了我们的方法的正确性。我们证明了在我们的方法中为强化学习问题找到策略的复杂性是NP完全的。此外，我们证明了任何强化学习问题都可以编码为具有答案集语义的经典逻辑程序。我们还表明，一个强化学习问题可以编码为SAT问题。我们提出了一个新的高层次的动作描述语言，允许POMDP的因子表示。此外，我们修改了POMDP的原始模型，使它能够区分知识生产行动和行动，改变环境。
2010-11-27 cs.AI
Recurrent Natural Policy Gradient for POMDPs
Department of Mathematics RWTH Aachen University（数学系RWTH亚琛大学）；Department of Electrical and Computer Engineering The Ohio State University（电气与计算机工程系俄亥俄州立大学）
本文提出将循环神经网络融入自然策略梯度和时序差分学习的自然演员-评论家算法，用于解决POMDP中的非平稳性，并提供非渐近收敛保证及对长期依赖病态情况的分析。
2025-10-17 cs.LG math.OC stat.ML
Proximal Reinforcement Learning: Efficient Off-Policy Evaluation in Partially Observed Markov Decision Processes
在将离线强化学习应用于观察数据时，例如在医疗保健或教育中，普遍关注的是观察到的行为可能会受到未观察到的因素的影响，从而导致在完美马尔可夫决策过程（MDP）模型假设下得出的混淆和偏差估计。在这里，我们通过考虑部分观察MDP（POMDP）中的政策外评估来解决这个问题。具体来说，我们考虑估计一个给定的目标政策的值在POMDP给定的轨迹，只有部分状态观测产生的不同的和未知的政策，可能取决于未观察到的状态。我们解决两个问题：什么条件下，让我们从观察到的数据，并确定目标的政策价值，给定的识别，如何最好地估计它。为了回答这些问题，我们扩展的框架，近端因果推理我们的POMDP设置，提供了各种设置，其中识别是可能的存在所谓的桥梁功能。然后，我们将展示如何在这些设置中构建半参数有效估计。我们将由此产生的框架称为近端强化学习（PRL）。我们证明了PRL的好处，在一个广泛的模拟研究和脓毒症管理的问题。
2023-03-22 cs.LG math.OC math.ST
Evolving Inborn Knowledge For Fast Adaptation in Dynamic POMDP Problems
Loughborough University（拉夫堡大学）；HRL Laboratories（HRL实验室）
快速在线适应不断变化的任务是机器学习中的一个重要问题，也是Meta强化学习的一个焦点。然而，强化学习（RL）算法在POMDP环境中挣扎，因为在RL框架中必不可少的系统状态并不总是可见的。此外，手工设计的元RL架构可能不包括用于特定学习问题的合适的计算结构。相反，在线学习机制的进化具有将学习策略纳入代理的能力，该代理可以（i）在需要时进化记忆，以及（ii）优化对特定在线学习问题的适应速度。在本文中，我们利用神经调制神经网络的高度自适应性来发展一个控制器，它使用POMDP中的自编码器的潜在空间。对进化网络的分析揭示了所提出的算法在各个方面获得先天知识的能力，例如检测揭示隐含奖励的线索，以及进化有助于导航的位置神经元的能力。与一些非进化的Meta强化学习算法相比，先天知识和在线可塑性的集成使其能够快速适应和更好的性能。该算法在3D游戏环境Malmo Minecraft中也取得了成功。
2020-04-28 cs.AI cs.LG cs.NE
Scalable Planning and Learning for Multiagent POMDPs: Extended Version
MIT（麻省理工学院）；University of Amsterdam（阿姆斯特丹大学）；University of Liverpool（利物浦大学）
在线，基于样本的POMDPs规划算法在扩展到大状态空间的问题中表现出了很大的希望，但它们对于大的动作和观察空间变得难以处理。这在多智能体POMDP中尤其成问题，其中动作和观察空间随着智能体的数量呈指数级增长。为了解决这个棘手的问题，我们提出了一种新的可扩展的方法，基于样本的规划和因子化的价值函数，利用结构存在于许多多智能体设置。这种方法不仅适用于规划的情况下，但也在贝叶斯强化学习设置。实验结果表明，我们能够提供高质量的解决方案，大型多智能体规划和学习问题。
2014-12-20 cs.AI cs.LG
Scalable Policy-Based RL Algorithms for POMDPs
UIUC（伊利诺伊大学香槟分校）
本文提出将POMDP近似为有限状态MDP，用线性函数逼近的基于策略方法求解，理论证明误差随历史长度指数衰减，并给出首个非马尔可夫动态下TD学习的有限时间误差界。
2025-10-13 cs.AI cs.LG stat.ML
Why Generalization in RL is Difficult: Epistemic POMDPs and Implicit Partial Observability
UC Berkeley（加州大学伯克利分校）；Princeton University（普林斯顿大学）；Facebook AI Research（脸书人工智能研究院）
泛化是强化学习（RL）系统在现实世界中部署的核心挑战。在本文中，我们证明了RL问题的顺序结构需要新的方法来推广，超越了监督学习中使用的研究充分的技术。虽然监督学习方法可以有效地推广，而不明确占认知的不确定性，我们表明，也许令人惊讶的是，这是不是在RL的情况。我们发现，从有限数量的训练条件推广到看不见的测试条件会导致隐式部分可观察性，甚至有效地将完全观察到的MDP转化为POMDP。根据这一观察，我们将强化学习中的泛化问题重新定义为解决诱导的部分可观察马尔可夫决策过程，我们称之为认知POMDP。我们证明了故障模式的算法，不适当地处理这部分的可观测性，并提出了一个简单的集成为基础的技术，近似解决部分观察到的问题。从经验上讲，我们证明了我们的简单算法来自认知POMDP实现了显着的收益，在推广目前的方法上的Procgen基准套件。
2021-07-13 cs.AI cs.LG stat.ML
Best-Response Bayesian Reinforcement Learning with Bayes-adaptive POMDPs for Centaurs
Aalto University（阿尔托大学）；Delft University of Technology（代尔夫特理工大学）；University of Manchester（曼彻斯特大学）
半人马是半人半AI的决策者，AI的目标是补充人类。要做到这一点，人工智能必须能够识别人类的目标和限制，并有办法帮助他们。我们提出了一种新的配方之间的相互作用的人和人工智能作为一个连续的游戏，代理建模使用贝叶斯最佳反应模型。我们表明，在这种情况下，人工智能的问题，帮助有限理性的人类作出更好的决策减少到贝叶斯自适应POMDP。在我们的模拟实验中，我们考虑为主观上对AI未来行为持乐观态度的人类实例化我们的框架。我们的研究结果表明，当配备了人类模型时，AI可以推断出人类的界限，并将其推向更好的决策。我们讨论了机器如何在人类的帮助下学习改善自身的局限性。我们在部分可观察的任务中为半人马确定了一种新的权衡：为了使人工智能的行为能够被人类接受，机器必须确保它们的信念充分一致，但调整信念可能代价高昂。我们提出了一个初步的理论分析，这种权衡和任务结构的依赖。
2022-04-03 cs.AI cs.LG cs.MA
Sample-Efficient Learning of POMDPs with Multiple Observations In Hindsight
Fudan University（复旦大学）；Princeton University（普林斯顿大学）；Salesforce AI Research（赛富时人工智能研究院）
本文针对POMDP样本高效学习难题，提出“事后多重观测”反馈模型，并证明在多重观测揭示型POMDP和可区分型POMDP两个新子类上可实现样本高效学习，显著放宽了经典揭示型POMDP的条件。
2023-07-06 cs.LG stat.ML
Reinforcement Learning for POMDP: Partitioned Rollout and Policy Iteration with Application to Autonomous Sequential Repair Problems
Arizona State University（亚利桑那州立大学）；Massachusetts Institute of Technology（麻省理工学院）
本文研究了具有有限状态空间和控制空间，部分状态观测的无限时域折扣动态规划问题。我们讨论了一个算法，使用多步前瞻，截断推出一个已知的基本政策，和终端成本函数近似。该算法还用于近似策略迭代方案中的策略改进，其中通过使用神经网络分类器来近似连续的策略。我们的方法的一个新的特点是，它非常适合分布式计算，通过扩展的信念空间配方和使用分区架构，这是训练与多个神经网络。我们应用我们的方法在模拟一类顺序修复问题，机器人检查和修复管道与潜在的几个破裂部位下的部分信息的管道的状态。
2020-02-11 cs.AI cs.RO
Online Cyber-Attack Detection in Smart Grid: A Reinforcement Learning Approach
Columbia University（哥伦比亚大学）
网络攻击的早期检测对于智能电网的安全可靠运行至关重要。在文献中，离群点检测方案进行样本的样本决策和在线检测方案，需要完美的攻击模型已经提出。在本文中，我们制定了在线攻击/异常检测问题的部分可观察马尔可夫决策过程（POMDP）的问题，并提出了一个通用的鲁棒在线检测算法使用的框架无模型强化学习（RL）的POMDP。数值实验结果表明，该算法能够及时准确地检测出针对智能电网的网络攻击。
2018-09-14 cs.CR cs.LG stat.ML
On overfitting and asymptotic bias in batch reinforcement learning with partial observability
McGill University（麦吉尔大学）；University of Liege（列日大学）
本文分析了在具有部分可观测性的强化学习背景下，渐近偏差（无限数据的次优性）和过拟合（由于有限数据而导致的额外次优性）之间的权衡。我们的理论分析正式表征，虽然可能会增加渐近偏差，一个较小的状态表示降低过拟合的风险。该分析依赖于通过绑定相关联的置信状态的L1误差项来表达状态表示的质量。理论结果的经验表明，当状态表示是一个截断的历史观测，无论是在合成POMDP和大规模POMDP的背景下，智能电网，与现实世界的数据。最后，类似于已知的结果在完全可观察的设置，我们还简要讨论和经验说明如何使用函数逼近器和适应折扣因子可以增强渐近偏差和过度拟合之间的权衡在部分可观察的上下文中。
2019-02-06 cs.AI cs.LG stat.ML
POPCORN: Partially Observed Prediction COnstrained ReiNforcement Learning
Harvard SEAS（哈佛大学哈佛约翰·A·保尔森工程与应用科学学院）；Tufts University（塔夫茨大学）
许多医疗决策任务可以被框架为部分可观察马尔可夫决策过程（POMDP）。然而，流行的两阶段方法（首先学习POMDP，然后解决它）通常会失败，因为最适合数据的模型可能不太适合规划。我们引入了一个新的优化目标，该目标（a）产生高性能的策略和高质量的生成模型，即使某些观察结果与规划无关，以及（b）在医疗保健中典型的批量非策略设置中这样做，当只有回顾性数据可用时。我们展示了我们的方法合成的例子和一个具有挑战性的医疗决策问题。
2020-03-31 cs.LG stat.ML
Deep reinforcement learning driven inspection and maintenance planning under incomplete information and constraints
The Pennsylvania State University（宾夕法尼亚州立大学）
在日益恶化的工程环境中，为使长期风险和成本最小化而确定检查和维护策略是一个复杂的优化问题。主要的计算挑战包括（i）维数灾难，由于状态/动作集基数与组件数量的指数缩放;（ii）历史灾难，与决策步骤数量的指数增长决策树有关;（iii）存在状态不确定性，由固有的环境随机性和检查/监测测量的可变性引起;（iv）由于资源稀缺和其他不可行/不可取的系统响应，存在与随机长期限制有关的约束。在这项工作中，这些挑战是在约束部分可观察马尔可夫决策过程（POMDP）和多智能体深度强化学习（DRL）的联合框架内解决的。POMDP最佳地解决了（ii）-（iii），结合随机动态规划与贝叶斯推理原则。多智能体DRL通过深度功能参数化和分散控制假设解决了（i）。挑战（四）在这里处理通过适当的状态增强和拉格朗日松弛，强调生命周期风险为基础的约束和预算限制。提供了基本的算法步骤，拟议的框架被发现优于既定的政策基线，并促进熟练处方的检查和干预行动，在必须作出决定的情况下，在最资源和风险意识的方式。
2020-07-02 cs.AI cs.LG math.OC
POMDP-lite for Robust Robot Planning under Uncertainty
National University of Singapore（新加坡国立大学）；Massachusetts Institute of Technology（麻省理工学院）
部分可观察马尔可夫决策过程（POMDP）为不确定性下的规划提供了一个有原则的通用模型。然而，在最坏的情况下，求解一般的POMDP在计算上是难以处理的。本文介绍了POMDP-lite，POMDPs的一个子类，其中隐藏的状态变量是恒定的或只改变确定性。我们表明，POMDP-lite相当于一组完全可观察的马尔可夫决策过程索引的隐藏参数，是有用的建模各种有趣的机器人任务。我们开发了一个简单的基于模型的贝叶斯强化学习算法来解决POMDP-lite模型。该算法在大规模POMDP-lite模型上具有高达$10^{20}$的状态，并优于最先进的通用POMDP算法。我们进一步表明，该算法是近贝叶斯最优在适当的条件下。
2016-02-23 cs.AI
Planning in Observable POMDPs in Quasipolynomial Time
MIT（麻省理工学院）
部分可观测马尔可夫决策过程（POMDP）是强化学习中的一种自然和通用模型，它考虑了智能体对其当前状态的不确定性。在POMDPs的文献中，通常假设访问一个规划预言机，当参数已知时，该预言机计算最优策略，即使已知问题在计算上是困难的。几乎所有现有的规划算法要么在指数时间内运行，缺乏可证明的性能保证，或者需要在每个可能的策略下对过渡动态进行强有力的假设。在这项工作中，我们重新审视规划问题，并问：是否有自然和动机良好的假设，使规划容易？我们的主要结果是一个准多项式时间算法规划（一步）可观察POMDPs。具体来说，我们假设状态的良好分离分布导致观察的良好分离分布，因此观察在每个步骤中至少有一定的信息。至关重要的是，这一假设没有对POMDP的过渡动力学的限制;然而，它意味着接近最优的政策承认准简洁的描述，这是不正确的一般情况下（在标准的硬度假设）。我们的分析是基于新的定量界限的过滤器的稳定性-即速率的最佳过滤器的潜在状态忘记其初始化。此外，我们证明了匹配硬度规划在可观察POMDPs下的指数时间假设。
2022-03-23 cs.DS cs.LG math.OC
PAC Reinforcement Learning for Predictive State Representations
Princeton University（普林斯顿大学）；Cornell University（康奈尔大学）
本文研究了部分可观测动态系统中的在线强化学习。我们专注于预测状态表示（PSRs）模型，这是一个表达模型，捕获其他知名的模型，如部分可观察马尔可夫决策过程（POMDP）。PSR使用未来观测的一组预测来表示状态，并且完全使用可观测量来定义。我们开发了一种新的基于模型的算法的PSR，可以学习一个接近最优的政策，在样本复杂性缩放多项式的所有相关参数的系统。我们的算法自然地与函数近似一起工作，以扩展到具有潜在的大状态和观测空间的系统。我们表明，给定一个可实现的模型类，学习近最优策略的样本复杂度只与模型类的统计复杂度成多项式关系，而不依赖于状态空间和观测空间的大小。值得注意的是，我们的工作是第一个工作，显示多项式样本复杂性的竞争与全局最优的政策在PSR。最后，我们展示了如何我们的一般定理可以直接用于推导样本的复杂性边界的特殊模型，包括$m$ -步骤弱揭示和$m$ -步骤解码的表格POMDPs，POMDPs与低秩潜在的过渡，和POMDPs与线性发射和潜在的过渡。
2022-08-13 cs.LG
On-Robot Bayesian Reinforcement Learning for POMDPs
Khoury College of Computer Sciences, Northeastern University（东北大学Khoury计算机科学学院）
针对机器人学习数据采集成本高的问题，提出面向物理系统的BRL因子化框架及基于蒙特卡洛树搜索与粒子滤波的在线解法，在人机交互任务中仅需少量真实回合即达近最优性能。
2023-07-22 cs.AI cs.LG cs.RO
Learning Belief Representations for Imitation Learning in POMDPs
UIUC（伊利诺伊大学厄巴纳-香槟分校）；Uber AI Labs（优步人工智能实验室）；UT Austin（德克萨斯大学奥斯汀分校）
研究部分可观测马尔可夫决策过程中专家演示的模仿学习问题。信念表示，POMDP中的潜在状态的分布特征，已被建模使用递归神经网络和概率潜变量模型，并被证明是有效的强化学习POMDP。在这项工作中，我们研究的信念表示学习问题的生成对抗模仿学习POMDPs。我们没有像以前的工作中建议的那样分别训练信念模块和策略，而是使用任务感知的模仿损失来学习信念模块和策略，以确保表示与策略的目标更加一致。为了提高表示的鲁棒性，我们引入了几种信息信念正则化技术，包括动态和动作序列的多步预测。评估各种部分可观察的连续控制运动任务，我们的信念模块模仿学习方法（BMIL）大大优于几个基线，包括原来的GAIL算法和任务不可知的信念学习算法。广泛的消融分析表明，任务意识的信念学习和信念正规化的有效性。
2019-06-22 cs.LG stat.ML
Finite-Time Analysis of Natural Actor-Critic for POMDPs
RWTH Aachen University（亚琛工业大学）；ETH Zurich（苏黎世联邦理工学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
该研究针对大状态空间部分可观测马尔可夫决策过程的强化学习问题，分析带有限内部记忆与多步时序差分评估的自然actor-critic方法，首次证明其非渐近全局收敛性，刻画有限状态控制器带来的额外误差并给出减小该误差的途径。
2023-07-19 cs.LG math.OC stat.ML
Off-Policy Evaluation in Partially Observable Environments
Technion Institute of Technology（以色列理工学院）
本文研究了部分可观测环境下强化学习的批量离策评估问题。在部分可观测性下的非政策评估本质上倾向于偏差，具有任意大误差的风险。我们定义了部分可观测马尔可夫决策过程（POMDPs）的离政策评估问题，并建立了我们认为是POMDPs的第一个离政策评估结果。此外，我们制定了一个模型，其中观察到的和未观察到的变量被解耦成两个动态过程，称为解耦POMDP。我们展示了如何在这个新模型下进行政策评估，减轻一般POMDPs固有的估计误差。我们证明了POMDP的政策外评估的陷阱，使用一个著名的政策外的方法，重要性采样，并将其与我们的结果进行比较合成的医疗数据。
2019-11-24 cs.AI cs.LG cs.SY
A Convolution and Attention Based Encoder for Reinforcement Learning under Partial Observability
School of Engineering, The University of Newcastle（工程学院，新castle大学）
针对部分可观测强化学习问题，提出基于深度可分离卷积和自注意力的轻量级时序编码器，集成于actor-critic框架，在连续控制基准上取得优越性能并提升系统可扩展性。
2025-09-13 cs.AI cs.LG
From Ambiguity to Action: A POMDP Perspective on Partial Multi-Label Ambiguity and Its Horizon-One Resolution
College of Computer Science and Technology, Jilin University, China（吉林大学计算机科学与技术学院）；Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education, Jilin University, China（教育部符号计算与知识工程重点实验室）
本文提出基于POMDP的框架，通过强化学习联合解决部分多标签学习中的标签消歧与特征选择问题，提升模型伪标签质量与特征可解释性。
2026-02-04 cs.LG
Safe Continual Reinforcement Learning Methods for Nonstationary Environments. Towards a Survey of the State of the Art
McMaster Centre for Software Certification（麦克斯特软件认证中心）；Department of Computing and Software（计算与软件系）；McMaster University（麦克斯特大学）
本文综述了非平稳环境下安全持续强化学习的最新方法，探讨了理论挑战和未来发展方向。
2026-01-08 cs.AI cs.LG
Implications of Human Irrationality for Reinforcement Learning
University of Birmingham（伯明翰大学）
行为科学的最新研究已经开始推翻人们长期以来的信念，即人类的决策是非理性的，次优的，并受到偏见的影响。这种理性的转向表明，人类决策可能是限制机器学习问题如何定义的更好的思想来源。一个很有前途的想法是关于人类的决策，它依赖于选择环境中明显不相关的方面。先前的研究表明，通过考虑选择背景和进行相关观察，人们可以最大化期望值。其他工作表明，部分可观察马尔可夫决策过程（POMDPs）是一种有用的方式来制定类似人类的决策问题。在这里，我们提出了一种新的POMDP模型的上下文选择任务，并表明，尽管明显的不合理性，强化学习器可以利用人类做出决定的方式。我们认为，人类的非理性可能会为改进人工智能架构和机器学习方法的设计提供富有成效的灵感来源。
2020-06-07 cs.AI cs.LG cs.RO
Deep Reinforcement Learning with Modulated Hebbian plus Q Network Architecture
Loughborough University（拉夫堡大学）；UNIST（蔚山国家科学技术研究院）；HRL Laboratories（HRL实验室）；Vanderbilt University（范德堡大学）
本文提出了一种新的神经网络结构，它结合了调制Hebbian网络（MOHN）和DQN，我们称之为调制Hebbian加Q网络结构（MOHQA）。假设是这样的组合允许MOHQA解决困难的部分可观察马尔可夫决策过程（POMDP）问题，这会损害基于时间差（TD）的RL算法，如DQN，因为TD误差不能很容易地从观察中得出。其关键思想是使用具有生物启发神经轨迹的Hebbian网络，以便在混淆观察和稀疏奖励导致不准确的TD错误时弥合动作和奖励之间的时间延迟。在MOHQA中，DQN学习低级特征和控制，而MOHN通过将奖励与过去的状态和动作相关联来帮助高级决策。因此，所提出的架构结合了两个模块显着不同的学习算法，一个Hebbian关联网络和一个经典的DQN管道，利用两者的优势。在一组POMDP和MALMO环境上的仿真表明，该算法改进了DQN的结果，甚至优于A2C，QRDQN+LSTM和REINFORCE算法对一些具有混淆刺激和稀疏奖励的POMDP的控制测试。
2021-10-14 cs.LG stat.ML
Reinforcement Learning under State and Outcome Uncertainty: A Foundational Distributional Perspective
本文提出分布点基值迭代（DPBVI），将分布强化学习扩展到部分可观测马尔可夫决策过程，通过新的分布贝尔曼算子和psi-向量表示回报分布，为风险敏感控制奠定基础。
2026-09-22 cs.AI cs.LG
Active Inference and Reinforcement Learning: A unified inference on continuous state and action spaces under partial observability
University of Toronto（多伦多大学）
本文提出统一原理建立主动推理与强化学习的理论联系，在连续空间POMDP中克服两者局限，通过最小化期望自由能结合利用与探索行为，实现无需显式奖励设计的有效学习。
2024-05-31 cs.AI cs.LG
Reinforcement Learning from Partial Observation: Linear Function Approximation with Provable Sample Efficiency
Northwestern University（西北大学）；Yale University（耶鲁大学）
本文首次在具有线性结构的部分可观测马尔可夫决策过程中结合函数逼近，提出OP-TENET算法，在O(1/ε²)回合内获得ε-最优策略，样本复杂度与观测和状态空间大小无关。
2024-04-01 cs.LG math.OC stat.ML
