Regret Minimization for Partially Observable Deep Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
估计状态和状态-动作价值函数的深度强化学习算法已被证明在各种具有挑战性的领域中是有效的，包括从原始图像像素学习控制策略。然而，估计状态和状态-动作价值函数的算法通常假设完全观测的状态，并且必须通过使用有限长度的观测历史或递归网络来补偿部分观测。在这项工作中，我们提出了一个新的深度强化学习算法的基础上反事实遗憾最小化迭代更新近似的一个类似的函数，并部分观察状态是鲁棒的。我们证明了这种新算法在几个部分观察到的强化学习任务上的表现可以大大优于强基线方法：在Doom和Minecraft中学习第一人称3D导航，以及在Doom和Pong中存在部分观察到的对象时采取行动。
2018-10-25 cs.AI cs.LG
Provably Efficient Partially Observable Risk-Sensitive Reinforcement Learning with Hindsight Observation
Tsinghua University（清华大学）；Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）
本文研究带事后观测的部分可观测风险敏感强化学习，将其纳入POMDP与熵风险度量框架，提出首个可证明高效算法，并利用测度变换和beta向量给出多项式遗憾保证。
2024-02-28 cs.LG stat.ML
Transformer-Based Reinforcement Learning for Autonomous Orbital Collision Avoidance in Partially Observable Environments
Université Paris-Saclay, CentraleSupélec Engineering School, Department of Industrial Engineering（巴黎萨克雷大学，中央超导工程学院，工业工程系）
本文提出一种基于Transformer的强化学习框架，用于解决部分可观测环境下自主轨道避碰问题，通过结合可配置相遇模拟器、距离依赖观测模型和序列状态估计器，利用Transformer架构有效处理噪声和间歇性观测。
2026-02-05 cs.AI cs.LG
POPGym: Benchmarking Partially Observable Reinforcement Learning
强化学习（RL）的现实应用通常是部分可观察的，因此需要记忆。尽管如此，部分可观察性仍然在很大程度上被当代RL基准和库所忽视。我们介绍了部分可观察过程Gym（POPGym），这是一个由两部分组成的库，包含（1）15个部分可观察环境的不同集合，每个环境都有多个困难，以及（2）13个内存模型基线的实现-在单个RL库中最多。现有的部分可观察基准往往专注于3D视觉导航，这是计算昂贵，只有一种类型的POMDP。相比之下，POPGym环境是多样化的，产生更小的观察结果，使用更少的内存，并且通常在消费级GPU上训练两小时内收敛。我们在流行的RLlib框架之上实现了高级内存API和内存基线，为各种训练算法、探索策略和分布式训练范式提供了即插即用的兼容性。使用POPGym，我们执行了迄今为止最大的RL内存模型比较。POPGym可在https://github.com/proroklab/popgym上获得。
2023-03-03 cs.AI cs.LG cs.RO
Blockwise Sequential Model Learning for Partially Observable Reinforcement Learning
School of Electrical Engineering, KAIST（韩国科学技术院电气工程学院）
本文提出了一种新的序列模型学习结构来解决部分可观测马尔可夫决策问题。与传统的基于递归神经网络的方法在每个时间步压缩顺序信息不同，所提出的架构在每个数据块中生成具有多个时间步长度的潜在变量，并将最相关的信息传递到下一个块进行策略优化。所提出的分块顺序模型是基于自注意实现的，使得该模型能够在部分可观察设置下进行详细的顺序学习。该模型利用自归一化重要性采样建立了一个额外的学习网络，有效地实现了梯度估计，在模型学习中不需要复杂的分块输入数据重构。数值结果表明，所提出的方法显着优于以往的方法在各种部分可观测的环境。
2021-12-10 cs.AI cs.LG
Deep Transformer Q-Networks for Partially Observable Reinforcement Learning
Khoury College of Computer Sciences（Khoury计算机科学学院）；Northeastern University（东北大学）
现实世界的强化学习任务通常涉及某种形式的部分可观察性，其中观察仅给出世界真实状态的部分或噪声视图。这些任务通常需要某种形式的记忆，其中代理可以访问多个过去的观察，以便执行良好。一种流行的合并记忆的方法是使用递归神经网络来访问代理的历史。然而，强化学习中的递归神经网络通常是脆弱的，难以训练，易受灾难性遗忘的影响，有时会完全失败。在这项工作中，我们提出了深度Transformer Q-网络（DTQN），一种新的架构，利用Transformers和自我注意编码代理的历史。DTQN是模块化设计的，我们对我们的基础模型的几个修改的结果进行比较。我们的实验表明，Transformer可以解决部分可观察的任务比以前的递归方法更快，更稳定。
2022-11-10 cs.AI cs.LG
Act-Then-Measure: Reinforcement Learning for Partially Observable Environments with Active Measuring
Radboud University（拉德堡德大学）；Nijmegen Institute for Computing and Information Sciences（奈梅亨计算与信息科学研究所）
我们研究马尔可夫决策过程（MDP），代理人直接控制何时以及如何收集信息，作为正式的行动或有无噪声可观察MDP（ACNO-MPD）。在这些模型中，动作由两个部分组成：影响环境的控制动作和影响代理可以观察到的内容的测量动作。为了解决ACNO-MDP，我们引入了行动然后测量（ATM）启发式算法，该算法假设我们在选择控制动作时可以忽略未来状态的不确定性。我们展示了如何遵循这种启发式可能会导致更短的政策计算时间，并证明了启发式所产生的性能损失的约束。为了决定是否采取度量行动，我们引入了度量值的概念。我们开发了一种基于ATM启发式的强化学习算法，使用适合部分可观察域的Dyna-Q变体，并在一些部分可观察的环境中展示了其优越的性能。
2023-03-14 cs.AI cs.LG
Provably Efficient Reinforcement Learning in Partially Observable Dynamical Systems
Cornell University（康奈尔大学）；Princeton University（普林斯顿大学）
我们研究了部分可观测动力系统的函数逼近强化学习。我们提出了一个新的\textit{Partially Observable Bilinear Actor-Critic framework}，这是一般性的，足以包括模型，如可观察的表格部分可观察马尔可夫决策过程（POMDPs），可观察的线性二次高斯（LQG），预测状态表示（PSR），以及一个新引入的模型希尔伯特空间嵌入的POMDPs和可观察的POMDPs与潜在的低秩转换。在这个框架下，我们提出了一个演员-评论家风格的算法，能够执行不可知的策略学习。给定一个由基于内存的策略（查看最近观察的固定长度窗口）组成的策略类，以及一个由将内存和未来观察作为输入的函数组成的价值函数类，我们的算法学习与给定策略类中最好的基于内存的策略竞争。对于某些例子，如不完全可观测的表格POMDPs，可观测的LQG和可观测的POMDPs与潜在的低秩转换，通过隐含地利用其特殊属性，我们的算法甚至能够竞争的全局最优策略，而无需支付指数依赖于地平线上的样本复杂度。
2022-06-24 cs.LG math.ST stat.ME
On Improving Deep Reinforcement Learning for POMDPs
Waterloo, Ontario（滑铁卢（安大略省））；Beijing Institute of Technology（北京理工大学）
深度强化学习（RL）最近成为在具有完全可观察环境的顺序决策问题中学习的最具竞争力的方法之一，例如，电脑走。然而，在深度RL中处理部分可观察环境的工作很少。我们提出了一种新的架构，称为特定的深度递归Q网络（ADRQN），以提高在部分可观察域的学习性能。动作由一个完全连接的层编码，并与卷积观测耦合，形成一个动作-观测对。然后，动作-观察对的时间序列由LSTM层集成，LSTM层学习潜在状态，基于此，全连接层计算Q值，如传统的深度Q网络（DQN）。我们证明了我们的新架构的有效性，在几个部分可观察的领域，包括闪烁的雅达利游戏。
2018-05-24 cs.LG
Provable Representation with Efficient Planning for Partial Observable Reinforcement Learning
University of Alberta（阿尔伯塔大学）；UT Austin（德克萨斯大学奥斯汀分校）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Google DeepMind（谷歌DeepMind）；Georgia Tech（佐治亚理工学院）
针对部分可观测强化学习，本文提出基于表示的统一框架与可处理算法，给出统计效率理论保证，并在多个基准上超越现有最先进方法。
2024-06-11 cs.AI cs.LG stat.ML
Why Linear Recurrent Memory Works in Partially Observable Reinforcement Learning
EPFL（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（智能系统马克斯·普朗克研究所）
本文通过构造两种线性滤波器，从理论上证明了线性循环神经网络在部分可观测强化学习中作为记忆单元的有效性，并扩展到动作控制的隐马尔可夫模型。
2026-05-29 cs.AI cs.LG stat.ML
SIDE: State Inference for Partially Observable Cooperative Multi-Agent Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
值分解方法作为求解分散部分可观测马尔可夫决策过程（Dec-POMDP）问题的方法之一，近年来取得了重要的成果。然而，大多数值分解方法需要在训练期间完全可观察的环境状态，但这在某些只能获得不完整和噪声观测的场景中是不可行的。因此，我们提出了一种新的价值分解框架，称为状态推理价值分解（SIDE），它通过同时寻求最优控制和状态推理两个问题的解决方案，消除了了解全局状态的需要。SIDE可以扩展到任何值分解方法，以解决部分可观察的问题。通过比较不同算法在星际争霸II微管理任务中的性能，我们验证了SIDE可以在没有可访问状态的情况下，根据过去的局部观察推断出有助于强化学习过程的当前状态，甚至在一些复杂场景中获得优于许多基线的结果。
2021-12-20 cs.AI cs.LG cs.MA
Information State Embedding in Partially Observable Cooperative Multi-Agent Reinforcement Learning
Coordinated Science Laboratory, University of Illinois（伊利诺伊大学厄巴纳-香槟分校协调科学实验室）
部分可观测性下的多智能体强化学习（MARL）长期以来一直被认为是具有挑战性的，这主要是由于要求每个智能体在所有其他智能体的本地历史上保持信念-这是一个通常随时间呈指数增长的领域。在这项工作中，我们研究了一个部分可观察的MARL问题，其中代理是合作的。为了使易于处理的算法的发展，我们引入了信息状态嵌入的概念，用于压缩代理的历史。我们量化压缩误差如何影响分散控制的价值函数。此外，我们提出了一个基于递归神经网络（RNNs）的嵌入实例。然后将嵌入用作近似信息状态，并且可以馈送到任何MARL算法中。所提出的嵌入-然后-学习管道打开了现有（部分可观察）MARL算法的黑盒子，使我们能够建立一些理论保证（价值函数的误差界），同时仍然可以通过许多端到端方法实现有竞争力的性能。
2020-08-17 cs.AI cs.LG cs.MA
Pathfinding in Random Partially Observable Environments with Vision-Informed Deep Reinforcement Learning
Clarkson University（克拉克森大学）
深度强化学习是一种用于解决各种环境中问题的技术，从Atari视频游戏到股票交易。该方法利用深度神经网络模型来基于对给定环境的观察做出决策，目标是最大化奖励函数，该奖励函数可以包含实现目标的成本和奖励。为了寻路，奖励条件可以包括到达指定的目标区域以及移动的成本。在这项工作中，多个深度Q网络（DQN）代理被训练在部分可观察的环境中运行，目标是在最短的旅行时间内到达目标区域。代理基于其周围环境的视觉表示进行操作，因此具有有限的观察环境的能力。对DQN、DQN-GRU和DQN-LSTM进行了比较，以检查每个模型在两种不同类型输入下的能力。通过这种评估，它被证明，具有等效的训练和类似的模型架构，DQN模型能够优于其经常性的同行。
2022-09-11 cs.CV cs.LG
The act of remembering: a study in partially observable reinforcement learning
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Element AI（元素人工智能公司）
强化学习（RL）代理通常学习无记忆策略--在选择动作时只考虑最后一次观察的策略。学习无记忆策略在完全可观察的环境中是有效和最优的。然而，当RL代理面临部分可观测性时，某种形式的记忆是必要的。在本文中，我们研究了一种轻量级的方法来解决RL中的部分可观性。我们为代理提供了一个外部存储器和额外的操作来控制写入内存的内容（如果有的话）。在每一步中，当前的内存状态都是代理观察的一部分，代理选择一个动作元组：一个动作修改环境，另一个动作修改内存。当外部记忆有足够的表现力时，最优无记忆策略会产生全局最优解。不幸的是，以前以二进制存储器的形式使用外部存储器的尝试在实践中产生了很差的结果。在这里，我们研究了其他形式的记忆，以支持学习有效的无记忆策略。我们的新形式的内存优于二进制和基于LSTM的内存在完善的部分可观察域。
2020-10-05 cs.AI cs.LG
Multi-agent Off-policy Actor-Critic Reinforcement Learning for Partially Observable Environments
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
针对部分可观测环境，本文在去中心化多智能体异策略 actor-critic 中引入社会学习估计全局状态，证明误差 ε-有界且无需转移模型，实验优于现有方法。
2024-07-06 cs.LG cs.MA
Optimal Decision-Making in Mixed-Agent Partially Observable Stochastic Environments via Reinforcement Learning
在多智能体相互作用的随机环境中，有限信息或无信息的最优决策是人工智能领域中一个具有挑战性的课题。强化学习（RL）是一种通过预测刺激（如遵循策略的奖励）来获得最佳策略的流行方法。强化学习在单智能体环境中得到了大量的探索，但在多智能体问题中还是一个新生的概念。为此，我提出了几个原则性的无模型和部分基于基于模型的强化学习方法的多智能体设置。在规范的强化学习领域，我介绍了可扩展的扩展蒙特卡洛探索开始部分可观察马尔可夫决策过程（POMDP），被称为MCES-P，在那里我扩展的理论和算法的多智能体设置。我首先检查MCES-P与可能近似正确（PAC）的范围内的多智能体设置，显示MCESP+PAC持有在其他代理的存在。然后，我提出了一个更具样本效率的方法，对抗设置，MCESIP+PAC。对于协作设置，我将MCES-P扩展到Multiagent POMDP，称为MCESMP+PAC。然后，我将探索使用强化学习作为在现实和潜在模型环境中搜索最优值的方法。首先，我探讨了一个参数化的Q学习方法在建模人类学习的原因在一个不确定的，多智能体的环境。接下来，我提出了一个MCES-P的实现，以及图像分割，以创建一个自适应的团队为基础的强化学习技术，积极识别表型表达的水和病原体胁迫在农田中的存在。
2019-01-04 cs.AI cs.LG
PIGDreamer: Privileged Information Guided World Models for Safe Partially Observable Reinforcement Learning
School of Computer Science, University of Beihang, Beijing, China（北京航空航天大学计算机学院）；School of Computer Science, Chinese University of Hong Kong, Hongkong, China（香港中文大学计算机学院）；JD Explore Academy, Beijing, China（京东探索研究院）；North Automatic Control Institute, Taiyuan, China（太原北自动控制研究所）
本文提出PIGDreamer，通过特权表示对齐和非对称actor-critic结构利用特权信息，在部分可观测安全强化学习中显著提升智能体的安全性、性能与效率。
2025-09-23 cs.LG
Learning Interpretable Policies in Hindsight-Observable POMDPs through Partially Supervised Reinforcement Learning
Washington University in St. Louis（圣路易斯华盛顿大学）
提出部分监督强化学习（PSRL）框架，通过融合监督语义状态和无监督潜在表示作为策略网络输入，在部分可观测环境中提升模型可解释性，同时在奖励和收敛速度上保持或显著超越传统方法。
2024-02-14 cs.AI cs.LG
Learning Reward Machines: A Study in Partially Observable Reinforcement Learning
Pontificia Universidad Católica de Chile（智利天主教大学）；Vector Institute（向量研究院）；University of Toronto（多伦多大学）；Ryerson University（瑞尔森大学）
强化学习是人工智能的核心问题。这个问题包括定义人工代理，可以通过与环境交互来学习最佳行为-其中最佳行为是相对于代理寻求最大化的奖励信号定义的。奖励机（RM）提供奖励函数的结构化的、基于自动机的表示，其使得RL代理能够将RL问题分解成可以经由离策略学习有效地学习的结构化子问题。在这里，我们表明，RM可以从经验中学习，而不是由用户指定，并且由此产生的问题分解可以用于有效地解决部分可观察的RL问题。我们提出的任务学习RM作为一个离散的优化问题，其目标是找到一个RM，分解成一组子问题的问题，使其最佳的无记忆的政策的组合是一个最佳的政策，为原始问题。我们展示了这种方法在三个部分可观察的领域的有效性，在这些领域中，它的性能显着优于A3 C，PPO和ACER，并讨论了它的优点，局限性和更广泛的潜力。
2021-12-17 cs.AI cs.LG
Approximate Equivariance in Reinforcement Learning
Northeastern University（东北大学）；J.P.Morgan AI Research（摩根大通AI研究）
本研究提出强化学习中的近似等变算法，定义近似等变MDP，用松弛群和可转向卷积构建网络，在连续控制和股票交易中验证，性能优于精确等变网络且更鲁棒。
2025-04-22 cs.LG
Reinforcement Learning using Guided Observability
TU Darmstadt（达姆施塔特工业大学）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；Aalto University（阿尔托大学）
由于最近的突破，强化学习（RL）在具有挑战性的顺序决策问题中表现出令人印象深刻的性能。然而，一个悬而未决的问题是如何使强化学习处理部分可观测性，这是在许多现实世界中的问题。与当代RL方法相反，主要集中在改进的记忆表示或关于部分可观测性类型的强假设上，我们提出了一种简单但有效的方法，可以与各种RL方法一起应用。我们的主要观点是，在训练过程中从完全可观测性平滑过渡到部分可观测性会产生高性能的策略。该方法被称为部分可观察引导强化学习（PO-GRL），允许在策略优化期间利用全部状态信息，而不会损害最终策略的最优性。在离散部分可观测马尔可夫决策过程（POMDP）基准问题和连续部分可观测MuJoCo和OpenAI gym任务中的综合评估表明，PO-GRL提高了性能。最后，我们证明了PO-GRL在一个真正的巴雷特WAM机器人的部分可观测性下的球在杯子中的任务。
2021-04-22 cs.LG
Leveraging Fully Observable Policies for Learning under Partial Observability
Khoury College of Computer Sciences（Khoury计算机科学学院）；Northeastern University（东北大学）
部分可观测域中的强化学习由于缺乏可观测的状态信息而具有挑战性。值得庆幸的是，在模拟器中离线学习这些状态信息通常是可能的。特别是，我们提出了一种部分可观察的强化学习方法，该方法在离线训练期间使用完全可观察的策略（我们称之为状态专家）来提高在线性能。基于软Actor-Critic（SAC），我们的代理平衡执行类似于状态专家的行动，并在部分可观测性下获得高回报。我们的方法可以利用完全可观察的策略进行探索，并且部分领域是完全可观察的，同时仍然能够在部分可观察性下学习。在六个机器人领域，我们的方法优于纯模仿，纯强化学习，这两种类型的顺序或并行组合，以及最近的国家的最先进的方法在相同的设置。一个成功的政策转移到一个物理机器人在操作任务从像素显示我们的方法的实用性，在学习感兴趣的政策下的部分可观测性。
2022-11-10 cs.LG cs.RO
When Is Partially Observable Reinforcement Learning Not Scary?
Princeton University（普林斯顿大学）；DeepMind（深度思维）；University of Alberta（阿尔伯塔大学）
强化学习（RL）的应用是普遍存在的，在这种应用中，智能体学习做出一系列决策，尽管缺乏关于受控系统潜在状态的完整信息，也就是说，它们在状态的部分可观测性下行事。众所周知，部分可观察的RL可能非常困难-众所周知的信息理论结果表明，学习部分可观察的马尔可夫决策过程（POMDPs）在最坏情况下需要指数数量的样本。然而，这并不排除存在POMDPs的大型子类，在这些子类上学习是容易处理的。在本文中，我们确定这样一个子类，我们称之为弱揭示POMDPs。这个家族排除了POMDP的病理情况，在这种情况下，观察结果在一定程度上是没有信息的，这使得学习困难。我们证明，弱揭示POMDPs，一个简单的算法相结合的乐观和最大似然估计（MLE）是足以保证多项式样本的复杂性。据我们所知，这是第一个可证明的样本有效的结果，用于从过完备POMDPs中的相互作用中学习，其中潜在状态的数量可以大于观察的数量。
2022-05-24 cs.AI cs.LG cs.SY
On Improving Deep Reinforcement Learning for POMDPs
深度强化学习（RL）最近成为在具有完全可观察环境的顺序决策问题中学习的最具竞争力的方法之一，例如，电脑走。然而，在深度RL中处理部分可观察环境的工作很少。我们提出了一种新的架构，称为特定的深度递归Q网络（ADRQN），以提高在部分可观察域的学习性能。动作由一个完全连接的层编码，并与卷积观测耦合，形成一个动作-观测对。然后，动作-观察对的时间序列由LSTM层集成，LSTM层学习潜在状态，基于此，全连接层计算Q值，如传统的深度Q网络（DQN）。我们证明了我们的新架构的有效性，在几个部分可观察的领域，包括闪烁的雅达利游戏。
2018-05-08 cs.LG stat.ML
Provable Partially Observable Reinforcement Learning with Privileged Information
Yale University（耶鲁大学）；University of Maryland（马里兰大学）
该研究针对部分可观测强化学习场景，形式化并分析了专家蒸馏、非对称演员-评论家两种实用范式的理论性质，提出满足复杂度要求的算法，还拓展至多智能体场景，为带特权信息的RL算法提供了理论支撑。
2025-02-20 cs.LG
Selecting Near-Optimal Approximate State Representations in Reinforcement Learning
Montanuniversitaet Leoben（莱奥本矿业大学）；The Technion（以色列理工学院）；Inria Lille-Nord Europe（法国国家信息与自动化研究所里尔-北欧中心）；Inria Chile（法国国家信息与自动化研究所智利中心）
我们考虑引入的强化学习设置（Maillard et al.，NIPS 2011），其中学习者没有显式访问底层马尔可夫决策过程（MDP）的状态。相反，她可以访问几个模型，将过去的相互作用历史映射到状态。在这里，我们改进了已知的遗憾界在这种情况下，更重要的是，推广到的情况下，模型给学习者不包含一个真正的模型，导致MDP表示，但只有它的近似值。
2014-09-15 cs.LG
A transformer-based deep reinforcement learning approach to spatial navigation in a partially observable Morris Water Maze
Norwegian University of Science and Technology（挪威科技大学）
针对部分可观测Morris水迷宫的导航问题，提出基于仅含解码器的Transformer深度Q网络架构，使智能体在视野受限下高效学习空间导航策略，为类生物行为的人工智能体研究提供新方向。
2024-10-01 cs.AI cs.LG cs.RO
PriPG-RL: Privileged Planner-Guided Reinforcement Learning for Partially Observable Systems with Anytime-Feasible MPC
Stockholm University（斯德哥尔摩大学）；Washington State University（华盛顿州立大学）
本文提出PriPG-RL方法，通过在训练期间独有的特权规划器代理，解决部分可观测系统的强化学习策略训练问题。方法结合了任何时间可行的MPC算法和P2P-SAC算法，提升样本效率和最终策略性能。
2026-04-09 cs.LG cs.RO
To Distill or Decide? Understanding the Algorithmic Trade-off in Partially Observable Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）；Aurora Innovation
本文通过受扰Block MDP理论模型与模拟运动实验，揭示特权专家蒸馏和标准RL的权衡取决于隐动力学随机性，且最优隐策略未必最适合蒸馏。
2026-10-23 cs.LG
Non-Deterministic Policy Improvement Stabilizes Approximated Reinforcement Learning
Technische Universität Berlin（柏林工业大学）
本文研究了近似强化学习中与贪婪策略改进相关的一种不稳定性。我们的经验表明，非确定性的政策改进可以稳定的方法，如LSPI通过控制改进的随机性。此外，我们表明，一个合适的表示的价值函数也稳定的解决方案在一定程度上。所提出的方法很简单，也应该很容易转移到更复杂的算法，如深度强化学习。
2016-12-22 cs.AI cs.LG stat.ML
Sample-Efficient Reinforcement Learning of Partially Observable Markov Games
Princeton University（普林斯顿大学）；DeepMind（深度思维）；University of Alberta（阿尔伯塔大学）
针对部分可观测条件下的多智能体强化学习（MARL）问题，提出了一种基于部分可观测性的多智能体强化学习方法.本文在多人一般和部分可观察马尔可夫博弈（POMG）的一般模型下研究了这些任务，POMG模型明显大于不完全信息可拓形式博弈（IIEFG）的标准模型。我们确定了一个丰富的子类POMG-弱揭示POMG-其中样本有效的学习是易于处理的。在自我发挥的设置，我们证明了一个简单的算法相结合的乐观和最大似然估计（MLE）是足够的找到近似纳什均衡，相关的均衡，以及粗糙的相关均衡弱揭示POMG，在多项式数量的样本时，代理的数量很小。在对抗对手的设置中，我们表明，我们的乐观MLE算法的一个变体是能够实现次线性遗憾时，与最佳的最大最小化政策进行比较。据我们所知，这项工作提供了学习POMG的第一行样本有效的结果。
2022-10-17 cs.AI cs.GT cs.LG
Adversarial Search and Tracking with Multiagent Reinforcement Learning in Sparsely Observable Environment
Institute of Robotics and Intelligent Machines (IRIM), Georgia Institute of Technology（佐治亚理工学院机器人与智能机器研究所（IRIM））
针对稀疏可观测环境中对抗性逃避智能体的搜索与跟踪难题，提出结合可学习过滤模型估计对手位置的多智能体强化学习（MARL）框架，使探测率提升46%并超越所有基线方法。
2023-10-21 cs.AI cs.LG cs.RO
Stable Hadamard Memory: Revitalizing Memory-Augmented Agents for Reinforcement Learning
Applied AI Institute, Deakin University（迪肯大学应用人工智能学院）
针对部分可观测强化学习中记忆模型难以捕获长期信息并稳定更新的问题，提出Stable Hadamard Memory模型，利用Hadamard积动态校准和更新记忆，显著提升了在多项部分可观测基准上的性能。
2024-10-14 cs.LG stat.ML
Approximate Robust NMPC using Reinforcement Learning
Norwegian University of Science and Technology (NTNU)（挪威科技大学）
提出了一种基于强化学习的鲁棒非线性模型预测控制（RL-RNMPC）框架，用于控制存在干扰和不确定性的非线性系统。采用一种低计算复杂度的近似鲁棒非线性模型预测控制（RNMPC），其中状态轨迹的不确定性通过椭球来建模。然后使用强化学习来处理椭圆近似，并通过调整生成椭圆的MPC参数来提高该方案的闭环性能。该方法进行了测试模拟轮式移动机器人（WMR）跟踪所需的轨迹，同时避免静态障碍物。
2021-04-06 cs.LG cs.RO cs.SY
Memory-based Deep Reinforcement Learning for POMDPs
University of Waterloo（滑铁卢大学）；Monash University（莫纳什大学）
深度强化学习（DRL）的一个有前途的特性是它能够以端到端的方式学习最优策略，而不依赖于特征工程。然而，大多数方法假设完全可观察的状态空间，即完全可观察的马尔可夫决策过程（MDP）。在现实世界的机器人中，这种假设是不切实际的，因为传感器灵敏度限制和传感器噪声等问题，以及缺乏关于观察设计是否完整的知识。这些场景导致部分可观察的MDP（POMDP）。本文通过在TD 3中引入记忆成分，提出了基于长短期记忆的双延迟深度确定性策略梯度（LSTM-TD 3），并在MDP和POMDP中与其他DRL算法进行了性能比较。我们的研究结果表明，内存组件在解决POMDPs的显着优势，包括处理丢失和嘈杂的观测数据的能力。
2021-09-13 cs.AI cs.LG cs.RO
Partially Observable Multi-Agent Reinforcement Learning with Information Sharing
本文研究了在部分可观测随机游戏框架下可证明的多智能体强化学习问题，提出利用智能体间的信息共享来解决计算复杂性问题，并设计了具有准多项式时间复杂度的算法，扩展至合作部分可观测马尔可夫决策过程。
2026-03-12 cs.GT cs.LG cs.MA
On the Role of Information Structure in Reinforcement Learning for Partially-Observable Sequential Teams and Games
Yale University（耶鲁大学）
本文提出一种显式表示信息结构的强化学习模型，通过图论量刻画一般序贯决策问题的统计难度，给出样本复杂度上界及达到该上界的算法，为识别可处理问题类别提供系统方法。
2024-05-27 cs.AI cs.LG stat.ML
Learning Optimal Admission Control in Partially Observable Queueing Networks
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）
本文针对仅能观测到达和离开时间的部分可观测排队网络，提出一种基于 Norton 等价定理和生灭过程结构 MDP 的高效强化学习算法，实现最优准入控制，并证明其遗憾仅亚线性依赖于最大作业数 S，且不依赖 MDP 直径。
2023-08-04 cs.LG math.OC
Efficient model-based reinforcement learning for approximate online optimal
本文提出基于状态跟随核方法的在线近似最优控制策略，通过局部小邻域近似值函数实现稳定性和最优性的高效控制。
2015-02-09 cs.LG cs.SY eess.SY
Approximated Behavioral Metric-based State Projection for Federated Reinforcement Learning
College of Artificial Intelligence, China University of Petroleum-Beijing（人工智能学院，中国石油大学（北京））；Hainan Institute of China University of Petroleum (Beijing)（中国石油大学（北京）海南学院）
针对联邦强化学习中的隐私与性能权衡问题，提出FedRAG框架，通过共享并聚合基于近似行为度量的状态投影函数，在不泄露任务敏感信息的同时提升各客户端学习效果。
2025-05-15 cs.LG
How Does an Approximate Model Help in Reinforcement Learning?
UCLA（加州大学洛杉矶分校）
在强化学习（RL）中保存样本的关键方法之一是使用来自近似模型（如其模拟器）的知识。然而，近似模型对学习真正未知模型的近似最优策略有多大帮助？尽管迁移强化学习有许多实证研究，但这个问题的答案仍然难以捉摸。在本文中，我们研究了RL的样本复杂性，同时提供了一个近似的环境模型。对于一个未知的马尔可夫决策过程（MDP），我们表明，近似模型可以有效地降低复杂性，消除次优行动的政策搜索空间。特别是，我们提供了一个算法，使用生成模型中的$\widetilde{O}(N/(1-γ)^3/\varepsilon^2)$样本来学习$\varepsilon$最优策略，其中$γ$是折扣因子，$N$是近似模型中接近最优的动作的数量。这可以比从头学习复杂度$\widetildeΘ(SA/(1-γ)^3/\varepsilon^2)$小得多，其中$S$和$A$分别是状态和动作空间的大小。我们还提供了一个下界，表明如果近似模型中的近优动作和次优动作之间的值差距足够大，则上述上界是近紧的。我们的研究结果提供了一个非常精确的表征，当没有对模型进行额外的假设时，近似模型如何帮助强化学习。
2020-07-13 cs.AI cs.LG stat.ML
The configurable tree graph (CT-graph): measurable problems in partially observable and distal reward environments for lifelong reinforcement learning
Loughborough University（拉夫堡大学）；UNIST（蔚山科学技术院）；HRL Laboratories（HRL实验室）；Vanderbilt University（范德堡大学）
针对强化学习算法提出了一组形式化定义的透明问题，这些问题具有以下特征：（1）可变的可观测度（非Markov观测），（2）远端稀疏奖励，（3）可变的分层奖励结构，（4）多任务生成，（5）可变的问题复杂度.环境提供1D或2D分类观测，并将操作作为输入。CT图的核心结构是一个多分支树图，具有任意的分支因子，深度和观察集，可以通过可控和可测量的方式来增加问题的维度。两个主要类别的状态，决策状态和等待状态，旨在创建一个层次的重要性之间的意见，典型的现实世界的问题。一个大的观察集可以产生一个庞大的历史集，损害记忆增强代理。可变奖励函数允许轻松创建多个任务，并允许代理在呈现具有可控相似度的任务的动态场景中有效适应的能力。由于图的指数增长，可以很容易地实现复杂性级别。问题公式和附带的代码提供了一组快速，透明和数学定义的可配置测试，以比较强化学习算法的性能，特别是在终身学习环境中。
2023-01-21 cs.AI cs.LG
Near-Optimal Partially Observable Reinforcement Learning with Partial Online State Information
Department of Electrical Engineering, The State University of New York at Buffalo（电气工程系，纽约州立大学布法罗分校）；Department of Electrical and Computer Engineering, The Ohio State University（电气与计算机工程系，俄亥俄州立大学）；Department of Electrical and Computer Engineering and the Department of Computer Science and Engineering, The Ohio State University（电气与计算机工程系和计算机科学与工程系，俄亥俄州立大学）
本文研究了在部分在线状态信息下，如何通过高效算法实现近优的强化学习，揭示了POSI在不同POMDP子类中的学习可行性及性能保证。
2026-01-24 cs.AI cs.LG
Design Space Exploration of Approximate Computing Techniques with a Reinforcement Learning Approach
Politecnico di Torino（都灵理工大学）
本文提出基于强化学习的多目标设计空间探索策略，用于在近似计算中平衡精度损失与功耗及计算时间减少，实验显示良好权衡。
2023-12-29 cs.AR cs.LG cs.PF
Multiple-Step Greedy Policies in Online and Approximate Reinforcement Learning
Technion, Israel Institute of Technology（以色列理工学院）；INRIA（法国国家信息与自动化研究所）
通过使用蒙特卡罗树搜索或模型预测控制，多步前瞻策略在强化学习中表现出了很高的经验能力。在最近的工作\cite{efroni2018beyond}，多步贪婪的政策和他们的使用香草政策迭代算法提出和分析。在这项工作中，我们研究多步贪心算法在更实际的设置。我们首先强调一个反直觉的困难，软策略更新：即使在没有近似的情况下，相反的1步贪婪的情况下，单调的政策改善是不能保证的，除非更新步长足够大。特别关心这个困难，我们制定和分析在线和近似算法，使用这样的多步贪婪算子。
2018-09-20 cs.AI cs.LG stat.ML
PID-Inspired Inductive Biases for Deep Reinforcement Learning in Partially Observable Control Tasks
Carnegie Mellon University（卡内基梅隆大学）
本文受PID控制器启发，提出两种历史编码架构，通过求和与差分累积观测信息，在部分可观测控制任务中提升策略鲁棒性和性能，运动控制任务平均性能达先前最优方法的1.7倍。
2023-10-25 cs.AI cs.LG
Common Information based Approximate State Representations in Multi-Agent Reinforcement Learning
University of Michigan（密歇根大学）
由于信息不对称，分散部分可观测马尔可夫决策过程（Dec-POMDP）的最优策略难以求解，其复杂度在时域长度上呈双指数增长.在多智能体强化学习（MARL）设置中，转移概率、观察核和奖励函数都是未知的，这一挑战大大增加。在这里，我们开发了一个通用的压缩框架，近似的公共和私人状态表示，在此基础上，分散的政策可以构建。我们推导出执行动态规划（DP）与近似状态的近似误差参数和剩余时间步长的最优性差距。当压缩是精确的（没有错误），产生的DP是相当于在现有的工作。我们的一般框架概括了文献中提出的一些方法。研究结果为在“集中式学习分布式执行”方案下设计实用的深度MARL网络结构提供了依据。
2021-10-25 cs.LG cs.MA math.OC
PAC Reinforcement Learning for Predictive State Representations
Princeton University（普林斯顿大学）；Cornell University（康奈尔大学）
本文研究了部分可观测动态系统中的在线强化学习。我们专注于预测状态表示（PSRs）模型，这是一个表达模型，捕获其他知名的模型，如部分可观察马尔可夫决策过程（POMDP）。PSR使用未来观测的一组预测来表示状态，并且完全使用可观测量来定义。我们开发了一种新的基于模型的算法的PSR，可以学习一个接近最优的政策，在样本复杂性缩放多项式的所有相关参数的系统。我们的算法自然地与函数近似一起工作，以扩展到具有潜在的大状态和观测空间的系统。我们表明，给定一个可实现的模型类，学习近最优策略的样本复杂度只与模型类的统计复杂度成多项式关系，而不依赖于状态空间和观测空间的大小。值得注意的是，我们的工作是第一个工作，显示多项式样本复杂性的竞争与全局最优的政策在PSR。最后，我们展示了如何我们的一般定理可以直接用于推导样本的复杂性边界的特殊模型，包括$m$ -步骤弱揭示和$m$ -步骤解码的表格POMDPs，POMDPs与低秩潜在的过渡，和POMDPs与线性发射和潜在的过渡。
2022-08-13 cs.LG
Reinforcement Learning under Partial Observability Guided by Learned Environment Models
Silicon Austria Labs（奥地利硅实验室）；Graz University of Technology（格拉茨技术大学）
在实际应用中，我们很少能假设系统环境的完全可观测性，尽管这些知识对于确定反应控制系统与其环境的精确相互作用是重要的。因此，我们提出了一种在部分可观察环境中进行强化学习（RL）的方法。虽然假设环境的行为就像一个部分可观察的马尔可夫决策过程与已知的离散行动，我们假设没有关于其结构或转移概率的知识。我们的方法将Q学习与IoAlergia相结合，IoAlergia是一种学习马尔可夫决策过程（MDP）的方法。通过学习MDP模型的环境，从情节的RL代理，我们使RL在部分可观察的领域没有明确的，额外的内存来跟踪以前的相互作用，处理来自部分可观察性的模糊性。相反，我们通过在学习的环境模型上模拟新的经验来跟踪探索的状态，以抽象环境状态的形式为RL提供额外的观察。在我们的评估中，我们报告了我们的方法的有效性及其与六种最先进的具有递归神经网络和固定记忆的深度RL技术相比的良好性能。
2022-06-23 cs.AI cs.LG
Approximately Solving Mean Field Games via Entropy-Regularized Deep Reinforcement Learning
Technische Universität Darmstadt（达姆施塔特工业大学）
最近的平均场博弈（MFG）的形式主义，否则难以计算的近似纳什均衡在许多代理设置。在本文中，我们考虑离散时间有限MFG有限时域目标。我们发现，所有的离散时间有限MFG与非常数不动点算子未能压缩通常假设在现有的MFG文献，除非通过不动点迭代收敛。相反，我们将熵正则化和玻尔兹曼政策到不动点迭代。结果，我们获得了可证明的收敛到现有方法失败的近似不动点，并达到了近似纳什均衡的原始目标。所有提出的方法进行评估，就其可利用性，在两个有指导意义的例子与易于处理的精确解和高维问题的精确方法变得棘手。在高维场景中，我们应用已建立的深度强化学习方法，并根据经验将虚拟游戏与我们的近似值结合起来。
2022-07-08 cs.AI cs.LG cs.MA
Pessimism in the Face of Confounders: Provably Efficient Offline Reinforcement Learning in Partially Observable Markov Decision Processes
Stanford University（斯坦福大学）；Yale University（耶鲁大学）；Northwestern University（西北大学）
针对部分可观测马尔可夫决策过程中存在混杂的离线强化学习问题，本文提出P3O算法，通过近端因果推断构造悲观置信区域，在局部覆盖假设下首次实现n^{-1/2}次优性的可证明高效学习。
2024-04-01 cs.AI cs.LG math.ST
Monte Carlo Bayesian Reinforcement Learning
National University of Singapore（新加坡国立大学）
贝叶斯强化学习（BRL）将世界的先验知识编码到模型中，并通过保持模型参数的概率分布来表示模型参数的不确定性。本文介绍了蒙特卡罗BRL（MC-BRL），一种简单而通用的方法BRL。MC-BRL对模型参数值的有限假设集进行先验采样，并形成离散的部分可观察马尔可夫决策过程（POMDP），其状态空间是强化学习任务的状态空间和采样的模型参数空间的叉积。POMDP不需要共轭分布的信念表示，早期的作品，可以解决相对容易的基于点的近似算法。MC-BRL自然处理完全和部分可观察的世界。理论和实验结果表明，离散POMDP近似的底层BRL任务很好地保证性能。
2012-06-27 cs.LG stat.ML
Cut-and-Approximate: 3D Shape Reconstruction from Planar Cross-sections with Deep Reinforcement Learning
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
目前的方法从一组平面截面的三维物体重建仍然难以捕捉详细的拓扑结构或需要相当数量的横截面。在本文中，我们提出，尽我们所知的第一个三维形状重建网络来解决这个任务，另外使用正交投影的形状。我们的方法基于应用强化学习算法来学习如何使用依赖于标量奖励的试错方案来有效地解析形状。该方法在每个步骤中切割3D形状的一部分，然后将其近似为多边形网格。代理的目标是最大化的奖励，这取决于表面重建的近似零件的精度。我们还考虑使用启发式方法生成的演示对网络进行预训练，以实现更快的学习。实验表明，我们的训练算法，受益于模仿学习和自我探索，学习有效的政策更快，这导致代理产生视觉上引人注目的结果。
2022-10-22 cs.CV cs.LG
