Memory-based Deep Reinforcement Learning for POMDPs
University of Waterloo（滑铁卢大学）；Monash University（莫纳什大学）
深度强化学习（DRL）的一个有前途的特性是它能够以端到端的方式学习最优策略，而不依赖于特征工程。然而，大多数方法假设完全可观察的状态空间，即完全可观察的马尔可夫决策过程（MDP）。在现实世界的机器人中，这种假设是不切实际的，因为传感器灵敏度限制和传感器噪声等问题，以及缺乏关于观察设计是否完整的知识。这些场景导致部分可观察的MDP（POMDP）。本文通过在TD 3中引入记忆成分，提出了基于长短期记忆的双延迟深度确定性策略梯度（LSTM-TD 3），并在MDP和POMDP中与其他DRL算法进行了性能比较。我们的研究结果表明，内存组件在解决POMDPs的显着优势，包括处理丢失和嘈杂的观测数据的能力。
2021-09-13 cs.AI cs.LG cs.RO
Solving Collaborative Dec-POMDPs with Deep Reinforcement Learning Heuristics
针对现有 Dec-POMDP 最先进算法难以处理复杂智能体协作的问题，提出 SA2MA 两阶段方法：先学习单智能体策略，再将其用于多智能体求解，并在复杂协作领域中取得明显优势。
2024-08-30 cs.AI cs.LG cs.MA
Mask Atari for Deep Reinforcement Learning as POMDP Benchmarks
Hitachi Ltd.（日立有限公司）
我们提出了Mask Atari，这是一个新的基准，可以帮助解决基于深度强化学习（DRL）的方法的部分可观察马尔可夫决策过程（POMDP）问题。为了实现POMDP问题的仿真环境，基于Atari 2600游戏构建了Mask Atari，该游戏具有可控、可移动和可学习的Mask作为目标Agent的观察区域，特别是在POMDP中设置了主动信息收集（AIG）。鉴于目前还不存在这样的方法，Mask Atari提供了一个具有挑战性的，有效的基准来评估专注于上述问题的方法。此外，掩模操作是将人类视觉系统中的感受野引入到代理的模拟环境中的尝试，这意味着评估不偏离感知能力，并且纯粹关注与人类基线相比时的方法的认知性能。我们描述了我们的基准测试的挑战和功能，并使用Mask Atari评估了几个基线。
2022-03-31 cs.AI cs.CV cs.LG
Sparse tree search optimality guarantees in POMDPs with continuous observation spaces
University of California, Berkeley（加州大学伯克利分校）；University of Colorado, Boulder（科罗拉多大学博尔德分校）
针对连续状态与观测空间 POMDP 中观测似然加权缺乏理论证明的问题，本文提出并分析 POWSS，证明其能高概率准确估计 Q 值并随计算增加趋近最优。
2023-06-05 cs.LG cs.RO cs.SY
Reinforcement Learning in POMDPs with Memoryless Options and Option-Observation Initiation Sets
Artificial Intelligence Lab, Vrije Universiteit Brussel（布鲁塞尔自由大学人工智能实验室）
许多现实世界的强化学习问题具有层次性，并且通常表现出一定程度的部分可观察性。虽然层次结构和部分可观测性通常是分开解决的（例如通过结合递归神经网络和选项），但我们表明，在许多情况下，同时解决这两个问题更简单，更有效。更具体地说，我们的初始设置的选项条件上的先前执行的选项，并表明，这样的选项观察初始集（OOI）的选项至少是表达有限状态控制器（FSC），一个国家的最先进的POMDPs学习方法。OOI很容易基于任务的直观描述进行设计，导致可解释的策略，并保持顶级和选项策略无记忆。我们的实验表明，OOI允许代理在挑战POMDPs时学习最优策略，同时比递归神经网络在选项上的样本效率更高。
2017-09-12 cs.AI cs.LG
Voronoi Progressive Widening: Efficient Online Solvers for Continuous State, Action, and Observation POMDPs
University of California, Berkeley（加州大学伯克利分校）；University of Colorado Boulder（科罗拉多大学博尔德分校）
本文介绍了Voronoi渐进加宽（VPW），Voronoi乐观优化（VOO）和行动渐进加宽部分可观测马尔可夫决策过程（POMDPs）的推广。树搜索算法可以使用VPW有效地处理连续或混合动作空间，有效地平衡局部和全局动作搜索。本文提出了两种基于VPW的算法，并从理论和仿真的角度进行了分析。Voronoi乐观加权稀疏采样（VOWSS）是一种理论工具，证明了基于VPW的在线求解器，它是第一个具有连续状态，动作和观测POMDPs全局收敛保证的算法。VOMCPOW是一种多功能和高效的算法，在几个仿真实验中始终优于最先进的POMDP算法。
2021-04-01 cs.AI cs.LG cs.RO
On Improving Deep Reinforcement Learning for POMDPs
深度强化学习（RL）最近成为在具有完全可观察环境的顺序决策问题中学习的最具竞争力的方法之一，例如，电脑走。然而，在深度RL中处理部分可观察环境的工作很少。我们提出了一种新的架构，称为特定的深度递归Q网络（ADRQN），以提高在部分可观察域的学习性能。动作由一个完全连接的层编码，并与卷积观测耦合，形成一个动作-观测对。然后，动作-观察对的时间序列由LSTM层集成，LSTM层学习潜在状态，基于此，全连接层计算Q值，如传统的深度Q网络（DQN）。我们证明了我们的新架构的有效性，在几个部分可观察的领域，包括闪烁的雅达利游戏。
2018-05-08 cs.LG stat.ML
POMDPs in Continuous Time and Discrete Spaces
Technische Universität Darmstadt（达姆施塔特工业大学）
许多过程，如工程中的离散事件系统或生物学中的种群动力学，在离散空间和连续时间中进化。我们考虑的问题，最优决策的离散状态和行动空间系统的部分可观性。这使我们的工作处于最优滤波和最优控制的交叉点。在目前的研究状态下，仍然缺乏一个数学描述的同时决策和过滤在连续时间有限的状态和行动空间。本文给出了连续时间部分可观测马尔可夫决策过程（POMDP）的数学描述。通过利用最优滤波理论，我们推导出一个哈密尔顿-雅可比-贝尔曼（HJB）型方程，其特征在于最优解。使用来自深度学习的技术，我们近似地求解所得到的偏积分微分方程。我们提出了（i）通过学习价值函数的近似值离线解决决策问题的方法和（ii）使用深度强化学习在置信空间中提供解决方案的在线算法。我们展示了一组玩具的例子，为未来的方法提供高维问题的解决方案铺平了道路的适用性。
2020-10-26 cs.LG cs.SY eess.SY
Monte Carlo Bayesian Reinforcement Learning
National University of Singapore（新加坡国立大学）
贝叶斯强化学习（BRL）将世界的先验知识编码到模型中，并通过保持模型参数的概率分布来表示模型参数的不确定性。本文介绍了蒙特卡罗BRL（MC-BRL），一种简单而通用的方法BRL。MC-BRL对模型参数值的有限假设集进行先验采样，并形成离散的部分可观察马尔可夫决策过程（POMDP），其状态空间是强化学习任务的状态空间和采样的模型参数空间的叉积。POMDP不需要共轭分布的信念表示，早期的作品，可以解决相对容易的基于点的近似算法。MC-BRL自然处理完全和部分可观察的世界。理论和实验结果表明，离散POMDP近似的底层BRL任务很好地保证性能。
2012-06-27 cs.LG stat.ML
On Improving Deep Reinforcement Learning for POMDPs
Waterloo, Ontario（滑铁卢（安大略省））；Beijing Institute of Technology（北京理工大学）
深度强化学习（RL）最近成为在具有完全可观察环境的顺序决策问题中学习的最具竞争力的方法之一，例如，电脑走。然而，在深度RL中处理部分可观察环境的工作很少。我们提出了一种新的架构，称为特定的深度递归Q网络（ADRQN），以提高在部分可观察域的学习性能。动作由一个完全连接的层编码，并与卷积观测耦合，形成一个动作-观测对。然后，动作-观察对的时间序列由LSTM层集成，LSTM层学习潜在状态，基于此，全连接层计算Q值，如传统的深度Q网络（DQN）。我们证明了我们的新架构的有效性，在几个部分可观察的领域，包括闪烁的雅达利游戏。
2018-05-24 cs.LG
Provably Efficient Reinforcement Learning in Partially Observable Dynamical Systems
Cornell University（康奈尔大学）；Princeton University（普林斯顿大学）
我们研究了部分可观测动力系统的函数逼近强化学习。我们提出了一个新的\textit{Partially Observable Bilinear Actor-Critic framework}，这是一般性的，足以包括模型，如可观察的表格部分可观察马尔可夫决策过程（POMDPs），可观察的线性二次高斯（LQG），预测状态表示（PSR），以及一个新引入的模型希尔伯特空间嵌入的POMDPs和可观察的POMDPs与潜在的低秩转换。在这个框架下，我们提出了一个演员-评论家风格的算法，能够执行不可知的策略学习。给定一个由基于内存的策略（查看最近观察的固定长度窗口）组成的策略类，以及一个由将内存和未来观察作为输入的函数组成的价值函数类，我们的算法学习与给定策略类中最好的基于内存的策略竞争。对于某些例子，如不完全可观测的表格POMDPs，可观测的LQG和可观测的POMDPs与潜在的低秩转换，通过隐含地利用其特殊属性，我们的算法甚至能够竞争的全局最优策略，而无需支付指数依赖于地平线上的样本复杂度。
2022-06-24 cs.LG math.ST stat.ME
Sequential Monte Carlo for Policy Optimization in Continuous POMDPs
University of Amsterdam（阿姆斯特丹大学）；Aalto University（阿尔托大学）
本文提出了一种基于序列蒙特卡洛的策略优化方法，用于解决连续部分可观测马尔可夫决策过程中的探索与利用平衡问题。
2025-12-04 cs.AI cs.LG stat.ML
ODE-based Recurrent Model-free Reinforcement Learning for POMDPs
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
本文提出一种基于ODE的循环模型与无模型强化学习框架相结合的方法，用于求解POMDP，在PO连续控制和元RL任务中验证了有效性，并展示了对不规则观测的鲁棒性。
2023-10-29 cs.AI cs.LG
Reinforcement Learning in POMDP's via Direct Gradient Ascent
Research School of Information Sciences and Engineering（信息科学与工程研究学校）；Australian National University（澳大利亚国立大学）
本文提出GPOMDP算法，通过直接梯度上升在POMDP中优化策略性能，仅需单条样本路径和一个自由参数，证明其收敛性并用于寻找局部最优解。
2025-12-02 cs.LG
Posterior Sampling-based Online Learning for Episodic POMDPs
University of Southern California（南加州大学）；eBay, Inc.（亿贝公司）；Google DeepMind（谷歌DeepMind）
本文针对情景POMDP在线学习问题提出后验采样算法PS4POMDPs，证明其贝叶斯遗憾在一般情形下随视界指数增长且该下界不可避免，但在不完备弱揭示条件下可达到多项式遗憾界，并扩展至多智能体场景。
2024-10-23 cs.AI cs.LG cs.SY
Market-Based Reinforcement Learning in Partially Observable Worlds
与传统的强化学习（RL）不同，基于市场的强化学习原则上适用于部分可观察马尔可夫决策过程（POMDPs）描述的世界，其中智能体需要学习相关先前事件的短期记忆，以便执行最佳行动。然而，大多数以前的工作都集中在反应式设置（MDP），而不是POMDP。在这里，我们重新实现了最近的基于市场的RL方法，并首次在玩具POMDP设置中对其进行评估。
2001-05-15 cs.AI cs.LG cs.MA
POMDP inference and robust solution via deep reinforcement learning: An application to railway optimal maintenance
ETH Zürich（苏黎世联邦理工学院）；Swiss Federal Railways SBB（瑞士联邦铁路公司）；Technical University of Munich（慕尼黑工业大学）；Pennsylvania State Univ.（宾夕法尼亚州立大学）
本文提出结合贝叶斯参数推断、域随机化与深度强化学习的 POMDP 鲁棒求解框架，并比较 Transformer、LSTM 及混合方法在铁路资产维护规划中的应用。
2023-07-16 cs.AI cs.LG
Solving Truly Massive Budgeted Monotonic POMDPs with Oracle-Guided Meta-Reinforcement Learning
Department of Aerospace Engineering（航空航天工程系）；University of Illinois Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；Department of Mathematics（数学系）；Engineer Research and Development Center（工程研究与发展中心）；U.S. Army Corps of Engineers（美国陆军工程兵团）
针对大规模预算约束多组件单调POMDP求解难题，提出两步法：先用随机森林近似最优预算分配，再用Oracle引导的元训练PPO算法求解各单组件问题，实现可扩展性。
2025-09-15 cs.AI cs.LG math.OC
Off-Policy Evaluation in Partially Observable Environments
Technion Institute of Technology（以色列理工学院）
本文研究了部分可观测环境下强化学习的批量离策评估问题。在部分可观测性下的非政策评估本质上倾向于偏差，具有任意大误差的风险。我们定义了部分可观测马尔可夫决策过程（POMDPs）的离政策评估问题，并建立了我们认为是POMDPs的第一个离政策评估结果。此外，我们制定了一个模型，其中观察到的和未观察到的变量被解耦成两个动态过程，称为解耦POMDP。我们展示了如何在这个新模型下进行政策评估，减轻一般POMDPs固有的估计误差。我们证明了POMDP的政策外评估的陷阱，使用一个著名的政策外的方法，重要性采样，并将其与我们的结果进行比较合成的医疗数据。
2019-11-24 cs.AI cs.LG cs.SY
Efficient Sampling in POMDPs with Lipschitz Bandits for Motion Planning in Continuous Spaces
FZI Research Center for Information Technology（FZI信息技术研究中心）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
不确定性下的决策过程可以看作是一个部分可观测的马尔可夫决策过程（POMDP）。寻找POMDPs的精确解通常在计算上是难以处理的，但是该解可以通过基于采样的方法来近似。这些基于采样的POMDP求解器依赖于多臂强盗（MAB）算法，该算法假设不同动作的结果是不相关的。在某些应用中，如连续空间中的运动规划，类似的动作会产生类似的结果。在本文中，我们利用MAB启发式算法的变体，对行动结果进行Lipschitz连续性假设，以提高基于采样的规划方法的效率。我们证明了这种方法的有效性的背景下，自动驾驶的运动规划。
2021-06-08 cs.LG cs.RO
Structured World Belief for Reinforcement Learning in POMDP
Rutgers University（罗格斯大学）；Electronics and Telecommunications Research Institute（电子与电信研究所）；Rutgers Center for Cognitive Science（罗格斯认知科学中心）
以对象为中心的世界模型提供了场景的结构化表示，并且可以成为强化学习和规划的重要支柱。然而，现有的方法遭受部分可观察的环境中，由于缺乏信念状态。在本文中，我们提出了结构化的世界信念，一个模型的学习和推理的对象为中心的信念状态。通过序贯蒙特卡罗（SMC）推断，我们的信念状态提供了多个以对象为中心的场景假设。为了协同SMC粒子与对象表示的好处，我们还提出了一个新的以对象为中心的动力学模型，认为对象持久性的归纳偏差。这使得即使在对象状态长时间不可见时也能够跟踪对象状态。为了进一步促进在这种制度下的对象跟踪，我们允许我们的模型灵活地参加在以前的模型中受到限制的图像中的任何空间位置。在实验中，我们表明，以对象为中心的信念提供了一个更准确和强大的性能过滤和生成。此外，我们还展示了结构化世界信念在提高强化学习、规划和监督推理性能方面的功效。
2021-07-19 cs.AI cs.LG
Sample-Efficient Learning of POMDPs with Multiple Observations In Hindsight
Fudan University（复旦大学）；Princeton University（普林斯顿大学）；Salesforce AI Research（赛富时人工智能研究院）
本文针对POMDP样本高效学习难题，提出“事后多重观测”反馈模型，并证明在多重观测揭示型POMDP和可区分型POMDP两个新子类上可实现样本高效学习，显著放宽了经典揭示型POMDP的条件。
2023-07-06 cs.LG stat.ML
Online Cyber-Attack Detection in Smart Grid: A Reinforcement Learning Approach
Columbia University（哥伦比亚大学）
网络攻击的早期检测对于智能电网的安全可靠运行至关重要。在文献中，离群点检测方案进行样本的样本决策和在线检测方案，需要完美的攻击模型已经提出。在本文中，我们制定了在线攻击/异常检测问题的部分可观察马尔可夫决策过程（POMDP）的问题，并提出了一个通用的鲁棒在线检测算法使用的框架无模型强化学习（RL）的POMDP。数值实验结果表明，该算法能够及时准确地检测出针对智能电网的网络攻击。
2018-09-14 cs.CR cs.LG stat.ML
Anytime Incremental $ρ$POMDP Planning in Continuous Spaces
Technion - Israel Institute of Technology（以色列理工学院）
本文提出随时求解器ρPOMCPOW，通过动态细化信念表示和增量计算依赖信念奖励，在连续空间ρPOMDP规划中显著提升效率与求解质量。
2025-02-04 cs.AI cs.LG cs.RO
POPCORN: Partially Observed Prediction COnstrained ReiNforcement Learning
Harvard SEAS（哈佛大学哈佛约翰·A·保尔森工程与应用科学学院）；Tufts University（塔夫茨大学）
许多医疗决策任务可以被框架为部分可观察马尔可夫决策过程（POMDP）。然而，流行的两阶段方法（首先学习POMDP，然后解决它）通常会失败，因为最适合数据的模型可能不太适合规划。我们引入了一个新的优化目标，该目标（a）产生高性能的策略和高质量的生成模型，即使某些观察结果与规划无关，以及（b）在医疗保健中典型的批量非策略设置中这样做，当只有回顾性数据可用时。我们展示了我们的方法合成的例子和一个具有挑战性的医疗决策问题。
2020-03-31 cs.LG stat.ML
A PAC RL Algorithm for Episodic POMDPs
Carnegie Mellon University（卡内基梅隆大学）
许多有趣的现实世界领域涉及部分可观察环境中的强化学习（RL）。在这些领域的有效学习是很重要的，但现有的样本复杂性界限部分可观察的RL至少是指数的情节长度。我们给，据我们所知，第一个部分可观察的RL算法与多项式约束上的算法可能无法实现接近最佳性能的发作次数。我们的算法适用于一类重要的情节POMDPs。我们的方法建立在矩量法的最新进展的潜变量模型估计。
2016-06-01 cs.AI cs.LG stat.ML
Discriminative Particle Filter Reinforcement Learning for Complex Partial Observations
National Unviersity of Singapore（新加坡国立大学）；The University of Queesland（昆士兰大学）
深度强化学习在诸如Atari、Go等复杂游戏的决策中是成功的，然而，现实世界的决策通常需要从复杂的视觉观察中提取部分信息进行推理。提出了一种新的用于复杂部分观测的强化学习框架--判别粒子滤波强化学习（DPFRL）。DPFRL在神经网络策略中编码可微粒子滤波器，用于随时间推移进行部分观测的显式推理。粒子滤波器使用学习的判别更新来保持信念，该信念是端到端训练的，用于决策。我们表明，使用判别更新而不是标准的生成模型，可以显着提高性能，特别是对于具有复杂视觉观察的任务，因为它们规避了对与决策无关的复杂观察进行建模的困难。此外，为了从粒子信念中提取特征，我们提出了一种基于矩生成函数的信念特征。DPFRL在现有的POMDP RL基准Flickering Atari Games和本文介绍的新的更具挑战性的POMDP RL基准Natural Flickering Atari Games中的表现优于最先进的POMDP RL模型。此外，DPFRL表现良好的视觉导航与现实世界的数据在人居环境中。
2020-02-23 cs.AI cs.LG stat.ML
PAC Reinforcement Learning for Predictive State Representations
Princeton University（普林斯顿大学）；Cornell University（康奈尔大学）
本文研究了部分可观测动态系统中的在线强化学习。我们专注于预测状态表示（PSRs）模型，这是一个表达模型，捕获其他知名的模型，如部分可观察马尔可夫决策过程（POMDP）。PSR使用未来观测的一组预测来表示状态，并且完全使用可观测量来定义。我们开发了一种新的基于模型的算法的PSR，可以学习一个接近最优的政策，在样本复杂性缩放多项式的所有相关参数的系统。我们的算法自然地与函数近似一起工作，以扩展到具有潜在的大状态和观测空间的系统。我们表明，给定一个可实现的模型类，学习近最优策略的样本复杂度只与模型类的统计复杂度成多项式关系，而不依赖于状态空间和观测空间的大小。值得注意的是，我们的工作是第一个工作，显示多项式样本复杂性的竞争与全局最优的政策在PSR。最后，我们展示了如何我们的一般定理可以直接用于推导样本的复杂性边界的特殊模型，包括$m$ -步骤弱揭示和$m$ -步骤解码的表格POMDPs，POMDPs与低秩潜在的过渡，和POMDPs与线性发射和潜在的过渡。
2022-08-13 cs.LG
Sublinear Regret for Learning POMDPs
The Chinese University of Hong Kong（香港中文大学）；University of Toronto（多伦多大学）
研究了部分可观测马尔可夫决策过程（POMDPs）的基于模型的非折扣强化学习。我们考虑的预言是POMDP与一个已知的环境中的平均回报在无限的地平线上的最优策略。我们提出了一个学习算法，建立在隐马尔可夫模型的谱矩估计方法，POMDPs的信念误差控制和在线学习的置信上限方法。我们建立了一个遗憾界的$O(T^{2/3}\sqrt{\log T})$的建议的学习算法，其中$T$是学习视野。这是，据我们所知，第一个算法实现次线性遗憾我们的神谕学习一般POMDPs。
2022-07-16 cs.LG math.OC
SOAP-RL: Sequential Option Advantage Propagation for Reinforcement Learning in POMDP Environments
Visual Geometry Group（视觉几何组）；University of Oxford（牛津大学）
本文提出PPOEM和SOAP两种算法解决POMDP中无监督学习时间一致选项的挑战，SOAP通过扩展GAE传播选项优势，在Atari等基准上表现最优。
2024-10-11 cs.AI cs.LG
Proximal Reinforcement Learning: Efficient Off-Policy Evaluation in Partially Observed Markov Decision Processes
在将离线强化学习应用于观察数据时，例如在医疗保健或教育中，普遍关注的是观察到的行为可能会受到未观察到的因素的影响，从而导致在完美马尔可夫决策过程（MDP）模型假设下得出的混淆和偏差估计。在这里，我们通过考虑部分观察MDP（POMDP）中的政策外评估来解决这个问题。具体来说，我们考虑估计一个给定的目标政策的值在POMDP给定的轨迹，只有部分状态观测产生的不同的和未知的政策，可能取决于未观察到的状态。我们解决两个问题：什么条件下，让我们从观察到的数据，并确定目标的政策价值，给定的识别，如何最好地估计它。为了回答这些问题，我们扩展的框架，近端因果推理我们的POMDP设置，提供了各种设置，其中识别是可能的存在所谓的桥梁功能。然后，我们将展示如何在这些设置中构建半参数有效估计。我们将由此产生的框架称为近端强化学习（PRL）。我们证明了PRL的好处，在一个广泛的模拟研究和脓毒症管理的问题。
2023-03-22 cs.LG math.OC math.ST
Evolving Inborn Knowledge For Fast Adaptation in Dynamic POMDP Problems
Loughborough University（拉夫堡大学）；HRL Laboratories（HRL实验室）
快速在线适应不断变化的任务是机器学习中的一个重要问题，也是Meta强化学习的一个焦点。然而，强化学习（RL）算法在POMDP环境中挣扎，因为在RL框架中必不可少的系统状态并不总是可见的。此外，手工设计的元RL架构可能不包括用于特定学习问题的合适的计算结构。相反，在线学习机制的进化具有将学习策略纳入代理的能力，该代理可以（i）在需要时进化记忆，以及（ii）优化对特定在线学习问题的适应速度。在本文中，我们利用神经调制神经网络的高度自适应性来发展一个控制器，它使用POMDP中的自编码器的潜在空间。对进化网络的分析揭示了所提出的算法在各个方面获得先天知识的能力，例如检测揭示隐含奖励的线索，以及进化有助于导航的位置神经元的能力。与一些非进化的Meta强化学习算法相比，先天知识和在线可塑性的集成使其能够快速适应和更好的性能。该算法在3D游戏环境Malmo Minecraft中也取得了成功。
2020-04-28 cs.AI cs.LG cs.NE
Learning Interpretable Policies in Hindsight-Observable POMDPs through Partially Supervised Reinforcement Learning
Washington University in St. Louis（圣路易斯华盛顿大学）
提出部分监督强化学习（PSRL）框架，通过融合监督语义状态和无监督潜在表示作为策略网络输入，在部分可观测环境中提升模型可解释性，同时在奖励和收敛速度上保持或显著超越传统方法。
2024-02-14 cs.AI cs.LG
From Ambiguity to Action: A POMDP Perspective on Partial Multi-Label Ambiguity and Its Horizon-One Resolution
College of Computer Science and Technology, Jilin University, China（吉林大学计算机科学与技术学院）；Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education, Jilin University, China（教育部符号计算与知识工程重点实验室）
本文提出基于POMDP的框架，通过强化学习联合解决部分多标签学习中的标签消歧与特征选择问题，提升模型伪标签质量与特征可解释性。
2026-02-04 cs.LG
Learning Belief Representations for Imitation Learning in POMDPs
UIUC（伊利诺伊大学厄巴纳-香槟分校）；Uber AI Labs（优步人工智能实验室）；UT Austin（德克萨斯大学奥斯汀分校）
研究部分可观测马尔可夫决策过程中专家演示的模仿学习问题。信念表示，POMDP中的潜在状态的分布特征，已被建模使用递归神经网络和概率潜变量模型，并被证明是有效的强化学习POMDP。在这项工作中，我们研究的信念表示学习问题的生成对抗模仿学习POMDPs。我们没有像以前的工作中建议的那样分别训练信念模块和策略，而是使用任务感知的模仿损失来学习信念模块和策略，以确保表示与策略的目标更加一致。为了提高表示的鲁棒性，我们引入了几种信息信念正则化技术，包括动态和动作序列的多步预测。评估各种部分可观察的连续控制运动任务，我们的信念模块模仿学习方法（BMIL）大大优于几个基线，包括原来的GAIL算法和任务不可知的信念学习算法。广泛的消融分析表明，任务意识的信念学习和信念正规化的有效性。
2019-06-22 cs.LG stat.ML
Learning in Observable POMDPs, without Computationally Intractable Oracles
MIT（麻省理工学院）
大部分强化学习理论都是建立在计算上难以实现的预言之上的。特别是在部分可观测马尔可夫决策过程（POMDPs）中学习接近最优的策略，现有的算法要么需要对模型动态（例如确定性转换）做出强有力的假设，要么假设访问用于解决硬乐观规划或估计问题的Oracle作为子例程。在这项工作中，我们开发了第一个甲骨文免费的学习算法POMDPs在合理的假设。具体来说，我们给出了一个准多项式时间的端到端算法学习“可观测”POMDPs，其中可观测性是假设，以及分离分布状态诱导良好分离分布的意见。我们的技术规避了更传统的方法，使用不确定性下的乐观原则，以促进探索，而是给了一个新的应用重心spectrometry构建政策覆盖。
2022-06-07 cs.AI cs.DS cs.LG
Best-Response Bayesian Reinforcement Learning with Bayes-adaptive POMDPs for Centaurs
Aalto University（阿尔托大学）；Delft University of Technology（代尔夫特理工大学）；University of Manchester（曼彻斯特大学）
半人马是半人半AI的决策者，AI的目标是补充人类。要做到这一点，人工智能必须能够识别人类的目标和限制，并有办法帮助他们。我们提出了一种新的配方之间的相互作用的人和人工智能作为一个连续的游戏，代理建模使用贝叶斯最佳反应模型。我们表明，在这种情况下，人工智能的问题，帮助有限理性的人类作出更好的决策减少到贝叶斯自适应POMDP。在我们的模拟实验中，我们考虑为主观上对AI未来行为持乐观态度的人类实例化我们的框架。我们的研究结果表明，当配备了人类模型时，AI可以推断出人类的界限，并将其推向更好的决策。我们讨论了机器如何在人类的帮助下学习改善自身的局限性。我们在部分可观察的任务中为半人马确定了一种新的权衡：为了使人工智能的行为能够被人类接受，机器必须确保它们的信念充分一致，但调整信念可能代价高昂。我们提出了一个初步的理论分析，这种权衡和任务结构的依赖。
2022-04-03 cs.AI cs.LG cs.MA
Scalable Planning and Learning for Multiagent POMDPs: Extended Version
MIT（麻省理工学院）；University of Amsterdam（阿姆斯特丹大学）；University of Liverpool（利物浦大学）
在线，基于样本的POMDPs规划算法在扩展到大状态空间的问题中表现出了很大的希望，但它们对于大的动作和观察空间变得难以处理。这在多智能体POMDP中尤其成问题，其中动作和观察空间随着智能体的数量呈指数级增长。为了解决这个棘手的问题，我们提出了一种新的可扩展的方法，基于样本的规划和因子化的价值函数，利用结构存在于许多多智能体设置。这种方法不仅适用于规划的情况下，但也在贝叶斯强化学习设置。实验结果表明，我们能够提供高质量的解决方案，大型多智能体规划和学习问题。
2014-12-20 cs.AI cs.LG
Deep Reinforcement Learning with Modulated Hebbian plus Q Network Architecture
Loughborough University（拉夫堡大学）；UNIST（蔚山国家科学技术研究院）；HRL Laboratories（HRL实验室）；Vanderbilt University（范德堡大学）
本文提出了一种新的神经网络结构，它结合了调制Hebbian网络（MOHN）和DQN，我们称之为调制Hebbian加Q网络结构（MOHQA）。假设是这样的组合允许MOHQA解决困难的部分可观察马尔可夫决策过程（POMDP）问题，这会损害基于时间差（TD）的RL算法，如DQN，因为TD误差不能很容易地从观察中得出。其关键思想是使用具有生物启发神经轨迹的Hebbian网络，以便在混淆观察和稀疏奖励导致不准确的TD错误时弥合动作和奖励之间的时间延迟。在MOHQA中，DQN学习低级特征和控制，而MOHN通过将奖励与过去的状态和动作相关联来帮助高级决策。因此，所提出的架构结合了两个模块显着不同的学习算法，一个Hebbian关联网络和一个经典的DQN管道，利用两者的优势。在一组POMDP和MALMO环境上的仿真表明，该算法改进了DQN的结果，甚至优于A2C，QRDQN+LSTM和REINFORCE算法对一些具有混淆刺激和稀疏奖励的POMDP的控制测试。
2021-10-14 cs.LG stat.ML
Recurrent Natural Policy Gradient for POMDPs
Department of Mathematics RWTH Aachen University（数学系RWTH亚琛大学）；Department of Electrical and Computer Engineering The Ohio State University（电气与计算机工程系俄亥俄州立大学）
本文提出将循环神经网络融入自然策略梯度和时序差分学习的自然演员-评论家算法，用于解决POMDP中的非平稳性，并提供非渐近收敛保证及对长期依赖病态情况的分析。
2025-10-17 cs.LG math.OC stat.ML
Flow-based Recurrent Belief State Learning for POMDPs
Tsinghua University（清华大学）；The University of Hong Kong（香港大学）；Shanghai Qizhi Institute（上海期智研究院）
部分可观测马尔可夫决策过程（POMDP）提供了一个原则性和通用的框架来建模现实世界的顺序决策过程，但仍然没有解决，特别是对于高维连续空间和未知模型。主要的挑战在于如何准确地获得信念状态，这是给定历史信息的不可观测环境状态的概率分布。准确地计算这种信念状态是获得POMDPs最优策略的前提。深度学习技术的最新进展显示出学习良好信念状态的巨大潜力。然而，现有的方法只能学习近似分布，灵活性有限。在本文中，我们介绍了\textbf{F} l \textbf{O} w的\textbf{R} ecurrent \textbf{BE} lief \textbf{S} tate model（FORBES），它将归一化流的变分推理学习一般连续的信念状态POMDPs。此外，我们表明，学习的信念状态可以插入到下游RL算法，以提高性能。在实验中，我们表明，我们的方法成功地捕捉复杂的信念状态，使多模态预测以及高质量的重建，具有挑战性的视觉运动控制任务的结果表明，我们的方法实现了卓越的性能和样本效率。
2022-05-23 cs.LG stat.ML
Scalable Policy-Based RL Algorithms for POMDPs
UIUC（伊利诺伊大学香槟分校）
本文提出将POMDP近似为有限状态MDP，用线性函数逼近的基于策略方法求解，理论证明误差随历史长度指数衰减，并给出首个非马尔可夫动态下TD学习的有限时间误差界。
2025-10-13 cs.AI cs.LG stat.ML
Computationally Efficient PAC RL in POMDPs with Latent Determinism and Conditional Embeddings
Cornell University（康奈尔大学）；Princeton University（普林斯顿大学）
研究了大规模部分可观测马尔可夫决策过程（POMDPs）的函数逼近强化学习，其中状态空间和观测空间都很大甚至是连续的。特别地，我们考虑POMDP的Hilbert空间嵌入，其中潜在状态的特征和观测的特征允许观测发射过程的条件Hilbert空间嵌入，并且潜在状态转移是确定性的。在最优潜在状态-动作$Q$ -函数在状态特征上是线性的，并且最优$Q$ -函数在动作上有间隙的函数近似设置下，我们提供了一个寻找\emph{exact optimal}策略的\emph{computationally and statistically efficient}算法.我们展示了我们的算法的计算和统计复杂性尺度多项式的地平线和内在维度的观察空间上的功能。此外，我们证明了确定性的潜在转移和间隙假设是必要的，以避免统计复杂性指数的水平或维度。由于我们的保证没有明确的依赖于状态和观测空间的大小，我们的算法可证明规模大规模POMDPs。
2022-06-24 cs.LG stat.ME stat.ML
Online Learning for Unknown Partially Observable MDPs
University of Southern California（南加州大学）
求解部分可观测马尔可夫决策过程（POMDP）是一个困难的问题。当模型未知时，学习POMDPs的最优控制器是困难的。未知POMDP的最优控制器的在线学习，这需要使用有效权衡探索和利用的遗憾最小化算法的有效学习，甚至更难，并且目前不存在解决方案。本文研究了转移模型未知但观测模型已知的无限时间平均费用POMDP问题。我们提出了一种基于自然后验采样的强化学习算法（PSRL-POMDP），并证明了当参数集有限时，它达到了$O(\log T)$的遗憾界，其中$T$是时间范围。在一般情况下（连续参数集），我们表明，该算法实现了$O (T^{2/3})$遗憾的两个技术假设。据我们所知，这是POMDPs的第一个在线RL算法，具有次线性遗憾。
2021-06-14 cs.LG
On-Robot Bayesian Reinforcement Learning for POMDPs
Khoury College of Computer Sciences, Northeastern University（东北大学Khoury计算机科学学院）
针对机器人学习数据采集成本高的问题，提出面向物理系统的BRL因子化框架及基于蒙特卡洛树搜索与粒子滤波的在线解法，在人机交互任务中仅需少量真实回合即达近最优性能。
2023-07-22 cs.AI cs.LG cs.RO
Why Generalization in RL is Difficult: Epistemic POMDPs and Implicit Partial Observability
UC Berkeley（加州大学伯克利分校）；Princeton University（普林斯顿大学）；Facebook AI Research（脸书人工智能研究院）
泛化是强化学习（RL）系统在现实世界中部署的核心挑战。在本文中，我们证明了RL问题的顺序结构需要新的方法来推广，超越了监督学习中使用的研究充分的技术。虽然监督学习方法可以有效地推广，而不明确占认知的不确定性，我们表明，也许令人惊讶的是，这是不是在RL的情况。我们发现，从有限数量的训练条件推广到看不见的测试条件会导致隐式部分可观察性，甚至有效地将完全观察到的MDP转化为POMDP。根据这一观察，我们将强化学习中的泛化问题重新定义为解决诱导的部分可观察马尔可夫决策过程，我们称之为认知POMDP。我们证明了故障模式的算法，不适当地处理这部分的可观测性，并提出了一个简单的集成为基础的技术，近似解决部分观察到的问题。从经验上讲，我们证明了我们的简单算法来自认知POMDP实现了显着的收益，在推广目前的方法上的Procgen基准套件。
2021-07-13 cs.AI cs.LG stat.ML
PEGASUS: A Policy Search Method for Large MDPs and POMDPs
UC Berkeley（加州大学伯克利分校）
我们提出了一种新的方法来搜索一个马尔可夫决策过程（MDP）或部分可观察马尔可夫决策过程（POMDP）的政策空间的问题，给定的模型。我们的方法是基于以下观察：任何（PO）MDP可以转化为一个“等效”POMDP中的所有状态转换（给定当前状态和动作）是确定性的。这将策略搜索的一般问题减少到我们只需要考虑具有确定性转换的POMDP的问题。我们给出了一个自然的方法来估计这些转换POMDPs中所有政策的价值。然后，通过搜索具有高估计值的策略来简单地执行策略搜索。我们还建立了我们的价值估计将是好的条件下，恢复类似于Kearns，Mansour和Ng（1999）的理论结果，但“样本复杂性”的界限，只有一个多项式，而不是指数依赖于地平线时间。我们的方法适用于任意POMDPs，包括无限状态和动作空间。我们还提出了一个小的离散问题，我们的方法的实证结果，并在一个复杂的连续状态/连续动作的问题，涉及学习骑自行车。
2013-01-16 cs.AI cs.LG
Planning in Observable POMDPs in Quasipolynomial Time
MIT（麻省理工学院）
部分可观测马尔可夫决策过程（POMDP）是强化学习中的一种自然和通用模型，它考虑了智能体对其当前状态的不确定性。在POMDPs的文献中，通常假设访问一个规划预言机，当参数已知时，该预言机计算最优策略，即使已知问题在计算上是困难的。几乎所有现有的规划算法要么在指数时间内运行，缺乏可证明的性能保证，或者需要在每个可能的策略下对过渡动态进行强有力的假设。在这项工作中，我们重新审视规划问题，并问：是否有自然和动机良好的假设，使规划容易？我们的主要结果是一个准多项式时间算法规划（一步）可观察POMDPs。具体来说，我们假设状态的良好分离分布导致观察的良好分离分布，因此观察在每个步骤中至少有一定的信息。至关重要的是，这一假设没有对POMDP的过渡动力学的限制;然而，它意味着接近最优的政策承认准简洁的描述，这是不正确的一般情况下（在标准的硬度假设）。我们的分析是基于新的定量界限的过滤器的稳定性-即速率的最佳过滤器的潜在状态忘记其初始化。此外，我们证明了匹配硬度规划在可观察POMDPs下的指数时间假设。
2022-03-23 cs.DS cs.LG math.OC
Convex Is Back: Solving Belief MDPs With Convexity-Informed Deep Reinforcement Learning
TU Munich（慕尼黑工业大学）；College of Engineering Penn State University（宾夕法尼亚州立大学工程学院）
本文提出在POMDP的深度强化学习中利用信念空间价值函数的凸性，通过硬强制和软强制凸性两种方法提升智能体性能与鲁棒性，并在两个标准环境中验证了其有效性。
2025-03-12 cs.LG
On overfitting and asymptotic bias in batch reinforcement learning with partial observability
McGill University（麦吉尔大学）；University of Liege（列日大学）
本文分析了在具有部分可观测性的强化学习背景下，渐近偏差（无限数据的次优性）和过拟合（由于有限数据而导致的额外次优性）之间的权衡。我们的理论分析正式表征，虽然可能会增加渐近偏差，一个较小的状态表示降低过拟合的风险。该分析依赖于通过绑定相关联的置信状态的L1误差项来表达状态表示的质量。理论结果的经验表明，当状态表示是一个截断的历史观测，无论是在合成POMDP和大规模POMDP的背景下，智能电网，与现实世界的数据。最后，类似于已知的结果在完全可观察的设置，我们还简要讨论和经验说明如何使用函数逼近器和适应折扣因子可以增强渐近偏差和过度拟合之间的权衡在部分可观察的上下文中。
2019-02-06 cs.AI cs.LG stat.ML
On the Challenges of using Reinforcement Learning in Precision Drug Dosing: Delay and Prolongedness of Action Effects
McGill University（麦吉尔大学）；Mila（米拉研究所）；Meta AI
药物给药是人工智能的一个重要应用，可以用强化学习（RL）问题来描述。在本文中，我们确定了使用RL进行药物给药的两个主要挑战：给药的延迟和延长效应，这打破了RL框架的马尔可夫假设。我们专注于延长，并定义PAE-POMDP（延长的行动不完全可观察的马尔可夫决策过程），POMDP的一个子类，其中马尔可夫假设不持有具体由于长期的影响行动。受药理学文献的启发，我们提出了一种简单有效的方法来将药物给药PAE-POMDP转换为MDP，从而能够使用现有的RL算法来解决这些问题。我们验证所提出的方法上的玩具任务，和一个具有挑战性的血糖控制任务，我们设计了一个临床启发的奖励功能。我们的结果表明：（1）所提出的恢复马尔可夫假设的方法导致了对普通基线的显著改进;（2）该方法与可能固有地捕获动作的长期影响的经常性策略竞争;（3）它比经常性基线显著地更节省时间和存储器，因此更适合于实时剂量控制系统;（4）在我们的政策分析中，它表现出良好的定性行为。
2023-01-02 cs.LG
Safe Reinforcement Learning in Tensor Reproducing Kernel Hilbert Space
University College London（伦敦大学学院）
本文针对部分可观测环境中的安全强化学习问题，提出基于预测状态表示和再生核希尔伯特空间的随机模型方法，在欠完备性假设下建立了多项式样本复杂度并保证ε-次优安全策略。
2023-12-01 cs.AI cs.LG cs.SY
A Convolution and Attention Based Encoder for Reinforcement Learning under Partial Observability
School of Engineering, The University of Newcastle（工程学院，新castle大学）
针对部分可观测强化学习问题，提出基于深度可分离卷积和自注意力的轻量级时序编码器，集成于actor-critic框架，在连续控制基准上取得优越性能并提升系统可扩展性。
2025-09-13 cs.AI cs.LG
Safe Continual Reinforcement Learning Methods for Nonstationary Environments. Towards a Survey of the State of the Art
McMaster Centre for Software Certification（麦克斯特软件认证中心）；Department of Computing and Software（计算与软件系）；McMaster University（麦克斯特大学）
本文综述了非平稳环境下安全持续强化学习的最新方法，探讨了理论挑战和未来发展方向。
2026-01-08 cs.AI cs.LG
