Partially Observable Reinforcement Learning with Memory Traces
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Tübingen（图宾根大学）
本文提出记忆痕迹方法，用指数移动平均紧凑表示部分可观测环境中的长观测历史，并从理论和实验上证明其相比有限窗口方法具有更高的样本效率。
2025-06-03 cs.LG
Market-Based Reinforcement Learning in Partially Observable Worlds
与传统的强化学习（RL）不同，基于市场的强化学习原则上适用于部分可观察马尔可夫决策过程（POMDPs）描述的世界，其中智能体需要学习相关先前事件的短期记忆，以便执行最佳行动。然而，大多数以前的工作都集中在反应式设置（MDP），而不是POMDP。在这里，我们重新实现了最近的基于市场的RL方法，并首次在玩具POMDP设置中对其进行评估。
2001-05-15 cs.AI cs.LG cs.MA
POPGym: Benchmarking Partially Observable Reinforcement Learning
强化学习（RL）的现实应用通常是部分可观察的，因此需要记忆。尽管如此，部分可观察性仍然在很大程度上被当代RL基准和库所忽视。我们介绍了部分可观察过程Gym（POPGym），这是一个由两部分组成的库，包含（1）15个部分可观察环境的不同集合，每个环境都有多个困难，以及（2）13个内存模型基线的实现-在单个RL库中最多。现有的部分可观察基准往往专注于3D视觉导航，这是计算昂贵，只有一种类型的POMDP。相比之下，POPGym环境是多样化的，产生更小的观察结果，使用更少的内存，并且通常在消费级GPU上训练两小时内收敛。我们在流行的RLlib框架之上实现了高级内存API和内存基线，为各种训练算法、探索策略和分布式训练范式提供了即插即用的兼容性。使用POPGym，我们执行了迄今为止最大的RL内存模型比较。POPGym可在https://github.com/proroklab/popgym上获得。
2023-03-03 cs.AI cs.LG cs.RO
Transformer-Based Reinforcement Learning for Autonomous Orbital Collision Avoidance in Partially Observable Environments
Université Paris-Saclay, CentraleSupélec Engineering School, Department of Industrial Engineering（巴黎萨克雷大学，中央超导工程学院，工业工程系）
本文提出一种基于Transformer的强化学习框架，用于解决部分可观测环境下自主轨道避碰问题，通过结合可配置相遇模拟器、距离依赖观测模型和序列状态估计器，利用Transformer架构有效处理噪声和间歇性观测。
2026-02-05 cs.AI cs.LG
Deep Transformer Q-Networks for Partially Observable Reinforcement Learning
Khoury College of Computer Sciences（Khoury计算机科学学院）；Northeastern University（东北大学）
现实世界的强化学习任务通常涉及某种形式的部分可观察性，其中观察仅给出世界真实状态的部分或噪声视图。这些任务通常需要某种形式的记忆，其中代理可以访问多个过去的观察，以便执行良好。一种流行的合并记忆的方法是使用递归神经网络来访问代理的历史。然而，强化学习中的递归神经网络通常是脆弱的，难以训练，易受灾难性遗忘的影响，有时会完全失败。在这项工作中，我们提出了深度Transformer Q-网络（DTQN），一种新的架构，利用Transformers和自我注意编码代理的历史。DTQN是模块化设计的，我们对我们的基础模型的几个修改的结果进行比较。我们的实验表明，Transformer可以解决部分可观察的任务比以前的递归方法更快，更稳定。
2022-11-10 cs.AI cs.LG
Provably Efficient Reinforcement Learning in Partially Observable Dynamical Systems
Cornell University（康奈尔大学）；Princeton University（普林斯顿大学）
我们研究了部分可观测动力系统的函数逼近强化学习。我们提出了一个新的\textit{Partially Observable Bilinear Actor-Critic framework}，这是一般性的，足以包括模型，如可观察的表格部分可观察马尔可夫决策过程（POMDPs），可观察的线性二次高斯（LQG），预测状态表示（PSR），以及一个新引入的模型希尔伯特空间嵌入的POMDPs和可观察的POMDPs与潜在的低秩转换。在这个框架下，我们提出了一个演员-评论家风格的算法，能够执行不可知的策略学习。给定一个由基于内存的策略（查看最近观察的固定长度窗口）组成的策略类，以及一个由将内存和未来观察作为输入的函数组成的价值函数类，我们的算法学习与给定策略类中最好的基于内存的策略竞争。对于某些例子，如不完全可观测的表格POMDPs，可观测的LQG和可观测的POMDPs与潜在的低秩转换，通过隐含地利用其特殊属性，我们的算法甚至能够竞争的全局最优策略，而无需支付指数依赖于地平线上的样本复杂度。
2022-06-24 cs.LG math.ST stat.ME
Blockwise Sequential Model Learning for Partially Observable Reinforcement Learning
School of Electrical Engineering, KAIST（韩国科学技术院电气工程学院）
本文提出了一种新的序列模型学习结构来解决部分可观测马尔可夫决策问题。与传统的基于递归神经网络的方法在每个时间步压缩顺序信息不同，所提出的架构在每个数据块中生成具有多个时间步长度的潜在变量，并将最相关的信息传递到下一个块进行策略优化。所提出的分块顺序模型是基于自注意实现的，使得该模型能够在部分可观察设置下进行详细的顺序学习。该模型利用自归一化重要性采样建立了一个额外的学习网络，有效地实现了梯度估计，在模型学习中不需要复杂的分块输入数据重构。数值结果表明，所提出的方法显着优于以往的方法在各种部分可观测的环境。
2021-12-10 cs.AI cs.LG
Monte Carlo Bayesian Reinforcement Learning
National University of Singapore（新加坡国立大学）
贝叶斯强化学习（BRL）将世界的先验知识编码到模型中，并通过保持模型参数的概率分布来表示模型参数的不确定性。本文介绍了蒙特卡罗BRL（MC-BRL），一种简单而通用的方法BRL。MC-BRL对模型参数值的有限假设集进行先验采样，并形成离散的部分可观察马尔可夫决策过程（POMDP），其状态空间是强化学习任务的状态空间和采样的模型参数空间的叉积。POMDP不需要共轭分布的信念表示，早期的作品，可以解决相对容易的基于点的近似算法。MC-BRL自然处理完全和部分可观察的世界。理论和实验结果表明，离散POMDP近似的底层BRL任务很好地保证性能。
2012-06-27 cs.LG stat.ML
When Is Partially Observable Reinforcement Learning Not Scary?
Princeton University（普林斯顿大学）；DeepMind（深度思维）；University of Alberta（阿尔伯塔大学）
强化学习（RL）的应用是普遍存在的，在这种应用中，智能体学习做出一系列决策，尽管缺乏关于受控系统潜在状态的完整信息，也就是说，它们在状态的部分可观测性下行事。众所周知，部分可观察的RL可能非常困难-众所周知的信息理论结果表明，学习部分可观察的马尔可夫决策过程（POMDPs）在最坏情况下需要指数数量的样本。然而，这并不排除存在POMDPs的大型子类，在这些子类上学习是容易处理的。在本文中，我们确定这样一个子类，我们称之为弱揭示POMDPs。这个家族排除了POMDP的病理情况，在这种情况下，观察结果在一定程度上是没有信息的，这使得学习困难。我们证明，弱揭示POMDPs，一个简单的算法相结合的乐观和最大似然估计（MLE）是足以保证多项式样本的复杂性。据我们所知，这是第一个可证明的样本有效的结果，用于从过完备POMDPs中的相互作用中学习，其中潜在状态的数量可以大于观察的数量。
2022-05-24 cs.AI cs.LG cs.SY
Act-Then-Measure: Reinforcement Learning for Partially Observable Environments with Active Measuring
Radboud University（拉德堡德大学）；Nijmegen Institute for Computing and Information Sciences（奈梅亨计算与信息科学研究所）
我们研究马尔可夫决策过程（MDP），代理人直接控制何时以及如何收集信息，作为正式的行动或有无噪声可观察MDP（ACNO-MPD）。在这些模型中，动作由两个部分组成：影响环境的控制动作和影响代理可以观察到的内容的测量动作。为了解决ACNO-MDP，我们引入了行动然后测量（ATM）启发式算法，该算法假设我们在选择控制动作时可以忽略未来状态的不确定性。我们展示了如何遵循这种启发式可能会导致更短的政策计算时间，并证明了启发式所产生的性能损失的约束。为了决定是否采取度量行动，我们引入了度量值的概念。我们开发了一种基于ATM启发式的强化学习算法，使用适合部分可观察域的Dyna-Q变体，并在一些部分可观察的环境中展示了其优越的性能。
2023-03-14 cs.AI cs.LG
Optimal Decision-Making in Mixed-Agent Partially Observable Stochastic Environments via Reinforcement Learning
在多智能体相互作用的随机环境中，有限信息或无信息的最优决策是人工智能领域中一个具有挑战性的课题。强化学习（RL）是一种通过预测刺激（如遵循策略的奖励）来获得最佳策略的流行方法。强化学习在单智能体环境中得到了大量的探索，但在多智能体问题中还是一个新生的概念。为此，我提出了几个原则性的无模型和部分基于基于模型的强化学习方法的多智能体设置。在规范的强化学习领域，我介绍了可扩展的扩展蒙特卡洛探索开始部分可观察马尔可夫决策过程（POMDP），被称为MCES-P，在那里我扩展的理论和算法的多智能体设置。我首先检查MCES-P与可能近似正确（PAC）的范围内的多智能体设置，显示MCESP+PAC持有在其他代理的存在。然后，我提出了一个更具样本效率的方法，对抗设置，MCESIP+PAC。对于协作设置，我将MCES-P扩展到Multiagent POMDP，称为MCESMP+PAC。然后，我将探索使用强化学习作为在现实和潜在模型环境中搜索最优值的方法。首先，我探讨了一个参数化的Q学习方法在建模人类学习的原因在一个不确定的，多智能体的环境。接下来，我提出了一个MCES-P的实现，以及图像分割，以创建一个自适应的团队为基础的强化学习技术，积极识别表型表达的水和病原体胁迫在农田中的存在。
2019-01-04 cs.AI cs.LG
Sample-Efficient Reinforcement Learning of Partially Observable Markov Games
Princeton University（普林斯顿大学）；DeepMind（深度思维）；University of Alberta（阿尔伯塔大学）
针对部分可观测条件下的多智能体强化学习（MARL）问题，提出了一种基于部分可观测性的多智能体强化学习方法.本文在多人一般和部分可观察马尔可夫博弈（POMG）的一般模型下研究了这些任务，POMG模型明显大于不完全信息可拓形式博弈（IIEFG）的标准模型。我们确定了一个丰富的子类POMG-弱揭示POMG-其中样本有效的学习是易于处理的。在自我发挥的设置，我们证明了一个简单的算法相结合的乐观和最大似然估计（MLE）是足够的找到近似纳什均衡，相关的均衡，以及粗糙的相关均衡弱揭示POMG，在多项式数量的样本时，代理的数量很小。在对抗对手的设置中，我们表明，我们的乐观MLE算法的一个变体是能够实现次线性遗憾时，与最佳的最大最小化政策进行比较。据我们所知，这项工作提供了学习POMG的第一行样本有效的结果。
2022-10-17 cs.AI cs.GT cs.LG
Proximal Reinforcement Learning: Efficient Off-Policy Evaluation in Partially Observed Markov Decision Processes
在将离线强化学习应用于观察数据时，例如在医疗保健或教育中，普遍关注的是观察到的行为可能会受到未观察到的因素的影响，从而导致在完美马尔可夫决策过程（MDP）模型假设下得出的混淆和偏差估计。在这里，我们通过考虑部分观察MDP（POMDP）中的政策外评估来解决这个问题。具体来说，我们考虑估计一个给定的目标政策的值在POMDP给定的轨迹，只有部分状态观测产生的不同的和未知的政策，可能取决于未观察到的状态。我们解决两个问题：什么条件下，让我们从观察到的数据，并确定目标的政策价值，给定的识别，如何最好地估计它。为了回答这些问题，我们扩展的框架，近端因果推理我们的POMDP设置，提供了各种设置，其中识别是可能的存在所谓的桥梁功能。然后，我们将展示如何在这些设置中构建半参数有效估计。我们将由此产生的框架称为近端强化学习（PRL）。我们证明了PRL的好处，在一个广泛的模拟研究和脓毒症管理的问题。
2023-03-22 cs.LG math.OC math.ST
On the Role of Information Structure in Reinforcement Learning for Partially-Observable Sequential Teams and Games
Yale University（耶鲁大学）
本文提出一种显式表示信息结构的强化学习模型，通过图论量刻画一般序贯决策问题的统计难度，给出样本复杂度上界及达到该上界的算法，为识别可处理问题类别提供系统方法。
2024-05-27 cs.AI cs.LG stat.ML
Learning What to Memorize: Using Intrinsic Motivation to Form Useful Memory in Partially Observable Reinforcement Learning
Izmir University of Economics（伊兹密尔经济大学）
强化学习在具有长期依赖性的部分可观察环境中面临着重要的挑战。为了在模糊的环境中学习，智能体必须将先前的感知保存在记忆中。早期的基于内存的方法使用固定的方法来确定在内存中保存什么，这将它们限制在某些问题上。在这项研究中，我们遵循的想法，让记忆的控制代理，允许它有记忆改变的行动。这种学习机制是由一种内在的动机来支持的，这种动机是为了记住罕见的观察结果，这可以帮助智能体消除其在环境中的状态。我们的方法进行了实验和分析的几个部分可观察的任务与长期的依赖关系，并与其他记忆为基础的方法进行了比较。
2022-02-04 cs.AI cs.LG
Information State Embedding in Partially Observable Cooperative Multi-Agent Reinforcement Learning
Coordinated Science Laboratory, University of Illinois（伊利诺伊大学厄巴纳-香槟分校协调科学实验室）
部分可观测性下的多智能体强化学习（MARL）长期以来一直被认为是具有挑战性的，这主要是由于要求每个智能体在所有其他智能体的本地历史上保持信念-这是一个通常随时间呈指数增长的领域。在这项工作中，我们研究了一个部分可观察的MARL问题，其中代理是合作的。为了使易于处理的算法的发展，我们引入了信息状态嵌入的概念，用于压缩代理的历史。我们量化压缩误差如何影响分散控制的价值函数。此外，我们提出了一个基于递归神经网络（RNNs）的嵌入实例。然后将嵌入用作近似信息状态，并且可以馈送到任何MARL算法中。所提出的嵌入-然后-学习管道打开了现有（部分可观察）MARL算法的黑盒子，使我们能够建立一些理论保证（价值函数的误差界），同时仍然可以通过许多端到端方法实现有竞争力的性能。
2020-08-17 cs.AI cs.LG cs.MA
Pathfinding in Random Partially Observable Environments with Vision-Informed Deep Reinforcement Learning
Clarkson University（克拉克森大学）
深度强化学习是一种用于解决各种环境中问题的技术，从Atari视频游戏到股票交易。该方法利用深度神经网络模型来基于对给定环境的观察做出决策，目标是最大化奖励函数，该奖励函数可以包含实现目标的成本和奖励。为了寻路，奖励条件可以包括到达指定的目标区域以及移动的成本。在这项工作中，多个深度Q网络（DQN）代理被训练在部分可观察的环境中运行，目标是在最短的旅行时间内到达目标区域。代理基于其周围环境的视觉表示进行操作，因此具有有限的观察环境的能力。对DQN、DQN-GRU和DQN-LSTM进行了比较，以检查每个模型在两种不同类型输入下的能力。通过这种评估，它被证明，具有等效的训练和类似的模型架构，DQN模型能够优于其经常性的同行。
2022-09-11 cs.CV cs.LG
Multi-agent Off-policy Actor-Critic Reinforcement Learning for Partially Observable Environments
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
针对部分可观测环境，本文在去中心化多智能体异策略 actor-critic 中引入社会学习估计全局状态，证明误差 ε-有界且无需转移模型，实验优于现有方法。
2024-07-06 cs.LG cs.MA
Toward Deep Supervised Anomaly Detection: Reinforcement Learning from Partially Labeled Anomaly Data
Australian Institute for Machine Learning（澳大利亚机器学习研究所）；The University of Adelaide（阿德莱德大学）；Advanced Analytics Institute（高级分析研究所）；University of Technology Sydney（悉尼科技大学）
我们考虑的问题的异常检测与一个小的部分标记的异常的例子和一个大规模的未标记的数据集。这是许多重要应用中的常见场景。现有的相关方法要么专门适合通常不跨越整个异常集的有限异常示例，要么从未标记的数据进行无监督学习。相反，我们在这里提出了一种基于深度强化学习的方法，该方法可以对标记和未标记异常的检测进行端到端的优化。该方法通过自动地与异常偏置的模拟环境交互来学习已知的异常，同时连续地将所学习的异常扩展到新的异常类别（即，未知的异常），通过主动探索未标记数据中可能的异常。这是通过联合优化小标记异常数据的利用和罕见的未标记异常的探索来实现的。在48个真实世界数据集上进行的广泛实验表明，我们的模型明显优于五种最先进的竞争方法。
2021-06-10 cs.AI cs.CR cs.CV
SIDE: State Inference for Partially Observable Cooperative Multi-Agent Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
值分解方法作为求解分散部分可观测马尔可夫决策过程（Dec-POMDP）问题的方法之一，近年来取得了重要的成果。然而，大多数值分解方法需要在训练期间完全可观察的环境状态，但这在某些只能获得不完整和噪声观测的场景中是不可行的。因此，我们提出了一种新的价值分解框架，称为状态推理价值分解（SIDE），它通过同时寻求最优控制和状态推理两个问题的解决方案，消除了了解全局状态的需要。SIDE可以扩展到任何值分解方法，以解决部分可观察的问题。通过比较不同算法在星际争霸II微管理任务中的性能，我们验证了SIDE可以在没有可访问状态的情况下，根据过去的局部观察推断出有助于强化学习过程的当前状态，甚至在一些复杂场景中获得优于许多基线的结果。
2021-12-20 cs.AI cs.LG cs.MA
PIGDreamer: Privileged Information Guided World Models for Safe Partially Observable Reinforcement Learning
School of Computer Science, University of Beihang, Beijing, China（北京航空航天大学计算机学院）；School of Computer Science, Chinese University of Hong Kong, Hongkong, China（香港中文大学计算机学院）；JD Explore Academy, Beijing, China（京东探索研究院）；North Automatic Control Institute, Taiyuan, China（太原北自动控制研究所）
本文提出PIGDreamer，通过特权表示对齐和非对称actor-critic结构利用特权信息，在部分可观测安全强化学习中显著提升智能体的安全性、性能与效率。
2025-09-23 cs.LG
Learning Reward Machines: A Study in Partially Observable Reinforcement Learning
Pontificia Universidad Católica de Chile（智利天主教大学）；Vector Institute（向量研究院）；University of Toronto（多伦多大学）；Ryerson University（瑞尔森大学）
强化学习是人工智能的核心问题。这个问题包括定义人工代理，可以通过与环境交互来学习最佳行为-其中最佳行为是相对于代理寻求最大化的奖励信号定义的。奖励机（RM）提供奖励函数的结构化的、基于自动机的表示，其使得RL代理能够将RL问题分解成可以经由离策略学习有效地学习的结构化子问题。在这里，我们表明，RM可以从经验中学习，而不是由用户指定，并且由此产生的问题分解可以用于有效地解决部分可观察的RL问题。我们提出的任务学习RM作为一个离散的优化问题，其目标是找到一个RM，分解成一组子问题的问题，使其最佳的无记忆的政策的组合是一个最佳的政策，为原始问题。我们展示了这种方法在三个部分可观察的领域的有效性，在这些领域中，它的性能显着优于A3 C，PPO和ACER，并讨论了它的优点，局限性和更广泛的潜力。
2021-12-17 cs.AI cs.LG
Learning Interpretable Policies in Hindsight-Observable POMDPs through Partially Supervised Reinforcement Learning
Washington University in St. Louis（圣路易斯华盛顿大学）
提出部分监督强化学习（PSRL）框架，通过融合监督语义状态和无监督潜在表示作为策略网络输入，在部分可观测环境中提升模型可解释性，同时在奖励和收敛速度上保持或显著超越传统方法。
2024-02-14 cs.AI cs.LG
On Improving Deep Reinforcement Learning for POMDPs
Waterloo, Ontario（滑铁卢（安大略省））；Beijing Institute of Technology（北京理工大学）
深度强化学习（RL）最近成为在具有完全可观察环境的顺序决策问题中学习的最具竞争力的方法之一，例如，电脑走。然而，在深度RL中处理部分可观察环境的工作很少。我们提出了一种新的架构，称为特定的深度递归Q网络（ADRQN），以提高在部分可观察域的学习性能。动作由一个完全连接的层编码，并与卷积观测耦合，形成一个动作-观测对。然后，动作-观察对的时间序列由LSTM层集成，LSTM层学习潜在状态，基于此，全连接层计算Q值，如传统的深度Q网络（DQN）。我们证明了我们的新架构的有效性，在几个部分可观察的领域，包括闪烁的雅达利游戏。
2018-05-24 cs.LG
Combined Model for Partially-Observable and Non-Observable Task Switching: Solving Hierarchical Reinforcement Learning Problems Statically and Dynamically with Transfer Learning
Middle Tennessee State University（中田纳西州立大学）
完全自主机器人和人类的一个不可或缺的功能是能够将注意力集中在一些相关的感知上以达到某个目标，同时忽略不相关的感知。人类和动物依靠前额叶皮层（PFC）和基底神经节（BG）之间的相互作用来实现这种称为工作记忆（WM）的焦点。工作记忆工具包（WMtk）是基于这种现象的计算神经科学模型与自治系统的时间差异（TD）学习开发的。工具包的最新调整要么利用抽象任务表示（ATR）来解决不可观察（NO）任务，要么存储过去的输入特征来解决部分可观察（PO）任务，但不能两者兼而有之。我们提出了一个新的模型，PONOWMtk，它结合了这两种方法，ATR和输入存储，与一个静态或动态的ATR数量。我们的实验结果表明，PONOWMtk执行有效的任务，表现出PO，NO，或两者兼而有之。
2020-04-17 cs.AI cs.LG
The act of remembering: a study in partially observable reinforcement learning
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Element AI（元素人工智能公司）
强化学习（RL）代理通常学习无记忆策略--在选择动作时只考虑最后一次观察的策略。学习无记忆策略在完全可观察的环境中是有效和最优的。然而，当RL代理面临部分可观测性时，某种形式的记忆是必要的。在本文中，我们研究了一种轻量级的方法来解决RL中的部分可观性。我们为代理提供了一个外部存储器和额外的操作来控制写入内存的内容（如果有的话）。在每一步中，当前的内存状态都是代理观察的一部分，代理选择一个动作元组：一个动作修改环境，另一个动作修改内存。当外部记忆有足够的表现力时，最优无记忆策略会产生全局最优解。不幸的是，以前以二进制存储器的形式使用外部存储器的尝试在实践中产生了很差的结果。在这里，我们研究了其他形式的记忆，以支持学习有效的无记忆策略。我们的新形式的内存优于二进制和基于LSTM的内存在完善的部分可观察域。
2020-10-05 cs.AI cs.LG
PAC Reinforcement Learning without Real-World Feedback
University of Michigan（密歇根大学）；Microsoft AI & Research（微软人工智能与研究院）
这项工作研究了强化学习在模拟到真实的设置，其中代理首先在一些模拟器上进行训练，然后部署在现实世界中，目的是降低真实世界的样本复杂性要求。使用一个动态模型称为丰富的观察马尔可夫决策过程（ROMDP），我们制定了一个理论框架，模拟到真实的情况下，在现实世界中的反馈是不可用的。我们建立了真实世界的样本复杂度保证，其小于目前已知的直接（即，不访问模拟器）学习具有反馈的ROMDP。
2019-10-25 cs.LG stat.ML
Benchmarking Batch Deep Reinforcement Learning Algorithms
Mila, McGill University（麦吉尔大学米拉研究所）；Facebook（脸书）；Facebook AI Research（脸书人工智能研究院）
广泛使用的深度强化学习算法已被证明在批量设置中失败-从固定的数据集学习而不与环境交互。根据这一结果，有几篇论文显示了在各种环境和批次设置下的合理性能。在本文中，我们在Atari域的统一设置下对最近的离线策略和批量强化学习算法的性能进行了基准测试，数据由单个部分训练的行为策略生成。我们发现，在这些条件下，这些算法中的许多算法的性能低于使用相同数量的数据在线训练的DQN，以及部分训练的行为策略。为了引入一个强大的基线，我们将批量约束Q-学习算法适应于离散动作设置，并显示它在此任务中优于所有现有算法。
2019-10-03 cs.AI cs.LG stat.ML
Reinforcement Learning using Guided Observability
TU Darmstadt（达姆施塔特工业大学）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；Aalto University（阿尔托大学）
由于最近的突破，强化学习（RL）在具有挑战性的顺序决策问题中表现出令人印象深刻的性能。然而，一个悬而未决的问题是如何使强化学习处理部分可观测性，这是在许多现实世界中的问题。与当代RL方法相反，主要集中在改进的记忆表示或关于部分可观测性类型的强假设上，我们提出了一种简单但有效的方法，可以与各种RL方法一起应用。我们的主要观点是，在训练过程中从完全可观测性平滑过渡到部分可观测性会产生高性能的策略。该方法被称为部分可观察引导强化学习（PO-GRL），允许在策略优化期间利用全部状态信息，而不会损害最终策略的最优性。在离散部分可观测马尔可夫决策过程（POMDP）基准问题和连续部分可观测MuJoCo和OpenAI gym任务中的综合评估表明，PO-GRL提高了性能。最后，我们证明了PO-GRL在一个真正的巴雷特WAM机器人的部分可观测性下的球在杯子中的任务。
2021-04-22 cs.LG
A stabilizing reinforcement learning approach for sampled systems with partially unknown models
Technische Universität Chemnitz（开姆尼茨工业大学）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
强化学习通常与奖励最大化（或成本最小化）代理的训练相关联，换句话说，控制器。它可以以无模型或基于模型的方式应用，使用先验或在线收集的系统数据来训练所涉及的参数架构。一般来说，在线强化学习不能保证闭环稳定性，除非采取特殊措施，例如通过学习约束或定制的训练规则。特别有前途的是强化学习与“经典”控制方法的混合。在这项工作中，我们提出了一种方法，以保证实际稳定的系统控制器闭环在一个纯粹的在线学习设置，即，没有离线训练。此外，我们假设只有部分知识的系统模型。为了实现所要求的结果，我们采用经典的自适应控制技术。在数字采样设置中明确提供了总体控制方案的实施。也就是说，控制器接收系统的状态，并在离散的，具体地说，等距的时刻计算控制动作。该方法在自适应牵引力控制和巡航控制中进行了测试，证明其显着降低了成本。
2022-08-31 cs.LG cs.SY eess.SY
A Comparative study of Artificial Neural Networks Using Reinforcement learning and Multidimensional Bayesian Classification Using Parzen Density Estimation for Identification of GC-EIMS Spectra of Partially Methylated Alditol Acetates
本研究报告的模式识别搜索引擎的开发，基于万维网的数据库的气相色谱-电子轰击质谱（GC-EIMS）的部分甲基化糖醇乙酸酯（PMAAs）。在这里，我们还报告了本研究所采用的两种模式识别技术的比较结果。第一种技术是使用贝叶斯分类器和Parzen密度估计器的统计技术。第二种技术涉及用强化学习训练的人工神经网络模块。我们在这里证明，这两个系统在识别光谱与少量的噪声表现良好。这两种系统的性能都随着信噪比（SNR）的降低而降低。当处理部分光谱（缺失数据）时，人工神经网络系统表现得更好。所开发的系统是在万维网上实现的，并打算使用提交的光谱记录在任何GC-EIMS仪器上的这些分子来识别PMAAs。因此，该系统对GC-EIMS光谱中的仪器和色谱柱相关变化不敏感。
2020-07-31 cs.LG cs.NE eess.SP
A transformer-based deep reinforcement learning approach to spatial navigation in a partially observable Morris Water Maze
Norwegian University of Science and Technology（挪威科技大学）
针对部分可观测Morris水迷宫的导航问题，提出基于仅含解码器的Transformer深度Q网络架构，使智能体在视野受限下高效学习空间导航策略，为类生物行为的人工智能体研究提供新方向。
2024-10-01 cs.AI cs.LG cs.RO
PriPG-RL: Privileged Planner-Guided Reinforcement Learning for Partially Observable Systems with Anytime-Feasible MPC
Stockholm University（斯德哥尔摩大学）；Washington State University（华盛顿州立大学）
本文提出PriPG-RL方法，通过在训练期间独有的特权规划器代理，解决部分可观测系统的强化学习策略训练问题。方法结合了任何时间可行的MPC算法和P2P-SAC算法，提升样本效率和最终策略性能。
2026-04-09 cs.LG cs.RO
To Distill or Decide? Understanding the Algorithmic Trade-off in Partially Observable Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）；Aurora Innovation
本文通过受扰Block MDP理论模型与模拟运动实验，揭示特权专家蒸馏和标准RL的权衡取决于隐动力学随机性，且最优隐策略未必最适合蒸馏。
2026-10-23 cs.LG
Provable Partially Observable Reinforcement Learning with Privileged Information
Yale University（耶鲁大学）；University of Maryland（马里兰大学）
该研究针对部分可观测强化学习场景，形式化并分析了专家蒸馏、非对称演员-评论家两种实用范式的理论性质，提出满足复杂度要求的算法，还拓展至多智能体场景，为带特权信息的RL算法提供了理论支撑。
2025-02-20 cs.LG
Multi-View Reinforcement Learning
University College London（伦敦大学学院）
本文关注的是多视图强化学习（MVRL），它允许决策时，代理共享共同的动态，但坚持不同的观察模型。通过扩展部分可观测马尔可夫决策过程（POMDPs）以支持多个观测模型，定义了MVRL框架，并通过观测增强和跨视图策略转移提出了两种解决方法.我们经验评估我们的方法，并证明其在各种环境中的有效性。具体来说，我们展示了样本复杂性和计算时间的减少，用于获取处理多视图环境的策略。
2019-10-18 cs.LG stat.ML
Zero-Shot Reinforcement Learning Under Partial Observability
本研究探讨部分可观测条件下零样本强化学习的性能退化，并提出基于记忆的架构作为有效补救，实验证明其优于无记忆基线。
2025-06-18 cs.AI cs.LG
Pessimism in the Face of Confounders: Provably Efficient Offline Reinforcement Learning in Partially Observable Markov Decision Processes
Stanford University（斯坦福大学）；Yale University（耶鲁大学）；Northwestern University（西北大学）
针对部分可观测马尔可夫决策过程中存在混杂的离线强化学习问题，本文提出P3O算法，通过近端因果推断构造悲观置信区域，在局部覆盖假设下首次实现n^{-1/2}次优性的可证明高效学习。
2024-04-01 cs.AI cs.LG math.ST
Partially Observable Multi-Agent Reinforcement Learning with Information Sharing
本文研究了在部分可观测随机游戏框架下可证明的多智能体强化学习问题，提出利用智能体间的信息共享来解决计算复杂性问题，并设计了具有准多项式时间复杂度的算法，扩展至合作部分可观测马尔可夫决策过程。
2026-03-12 cs.GT cs.LG cs.MA
Quantum Bayesian Networks Can Speed up Reinforcement Learning in Partially Observable Environments
High-Assurance Software Laboratory (HASLab), INESC TEC, Portugal（高可信软件实验室（HASLab），INESC TEC，葡萄牙）；Department of Computer Science, University of Minho, Portugal（米尼奥大学计算机科学系，葡萄牙）；International Iberian Nanotechnology Laboratory (INL), Portugal（国际伊比利亚纳米技术实验室（INL），葡萄牙）
提出量子贝叶斯强化学习（QBRL），利用量子拒绝采样和幅度放大加速稀疏贝叶斯网络上的推理，实现部分可观察环境中基于模型的强化学习，在稀疏动力学环境下获得亚二次加速。
2026-07-01 cs.LG quant-ph
Policy Gradient in Partially Observable Environments: Approximation and Convergence
California Institute of Technology（加州理工学院）
策略梯度是一种通用且灵活的强化学习方法，通常在分析、实现和部署方面都很简单。在过去的几十年里，这种方法已经被广泛地用于完全可观察的环境。在本文中，我们概括了各种这些进展部分可观察的设置，并类似于完全可观察的情况下，我们保持我们的重点是类马尔可夫政策。我们提出了一系列的技术工具，包括一个新的优势函数的概念，开发策略梯度算法，并研究其收敛性能在这样的环境中。部署这些工具，我们推广了各种现有的理论保证，如策略梯度和收敛定理，部分可观察的域，这些也可以进行更多的设置的兴趣。这项研究还揭示了在现实世界中的应用，往往是部分可观察的策略梯度方法的理解。
2020-05-24 cs.LG stat.ML
Provable Representation with Efficient Planning for Partial Observable Reinforcement Learning
University of Alberta（阿尔伯塔大学）；UT Austin（德克萨斯大学奥斯汀分校）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Google DeepMind（谷歌DeepMind）；Georgia Tech（佐治亚理工学院）
针对部分可观测强化学习，本文提出基于表示的统一框架与可处理算法，给出统计效率理论保证，并在多个基准上超越现有最先进方法。
2024-06-11 cs.AI cs.LG stat.ML
Offline Reinforcement Learning with Causal Structured World Models
Nanjing University（南京大学）；Carnegie Mellon University（卡内基梅隆大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Peng Cheng Laboratory（鹏城实验室）
基于模型的方法最近显示出离线强化学习（RL）的前景，旨在从历史数据中学习良好的策略，而无需与环境交互。以前的基于模型的离线RL方法将完全连接的网络学习为世界模型，将状态和动作映射到下一步状态。然而，一个世界模型应该坚持潜在的因果效应，这样它将支持学习一个有效的政策，在看不见的状态下推广。在本文中，我们首先提供的理论结果，因果世界模型可以优于平原世界模型离线RL通过将因果结构的泛化误差界。然后，我们提出了一个实用的算法，oFfline基于模型的强化学习与因果结构（FOCUS），说明学习和利用因果结构在离线RL的可行性。两个基准测试的实验结果表明，FOCUS重建的基础因果结构准确，鲁棒性。因此，它的性能优于普通的基于模型的离线RL算法和其他因果模型为基础的RL算法。
2022-06-03 cs.LG stat.ML
Learning Optimal Admission Control in Partially Observable Queueing Networks
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）
本文针对仅能观测到达和离开时间的部分可观测排队网络，提出一种基于 Norton 等价定理和生灭过程结构 MDP 的高效强化学习算法，实现最优准入控制，并证明其遗憾仅亚线性依赖于最大作业数 S，且不依赖 MDP 直径。
2023-08-04 cs.LG math.OC
Analysis of Thompson Sampling for Partially Observable Contextual Multi-Armed Bandits
情境多臂强盗是强化学习中与个体信息相关联的序列决策的经典模型。一个广泛使用的强盗策略是汤普森采样，其中来自数据驱动的关于未知参数的概率信念的样本用于选择控制动作。对于这种计算速度快的算法，性能分析可在全上下文观测下使用。然而，很少有人知道的问题，上下文不完全观察。我们提出了一个汤普森采样算法的部分可观察的上下文多武装土匪，并建立理论性能保证。从技术上讲，我们表明，所提出的政策尺度的遗憾与时间和武器的数量，线性的维度。此外，我们建立学习未知参数的速率，并提供说明性的数值分析。
2021-11-29 cs.LG stat.ML
Near-Optimal Partially Observable Reinforcement Learning with Partial Online State Information
Department of Electrical Engineering, The State University of New York at Buffalo（电气工程系，纽约州立大学布法罗分校）；Department of Electrical and Computer Engineering, The Ohio State University（电气与计算机工程系，俄亥俄州立大学）；Department of Electrical and Computer Engineering and the Department of Computer Science and Engineering, The Ohio State University（电气与计算机工程系和计算机科学与工程系，俄亥俄州立大学）
本文研究了在部分在线状态信息下，如何通过高效算法实现近优的强化学习，揭示了POSI在不同POMDP子类中的学习可行性及性能保证。
2026-01-24 cs.AI cs.LG
Meta reinforcement learning as task inference
DeepMind（深度思维）
人类通过依赖关于自然发生的任务结构的先验知识来实现有效的学习。设计具有类似性质的强化学习（RL）算法引起了人们极大的兴趣。这包括学习学习算法本身的建议，这一想法也被称为元学习。这个想法的一个正式解释是作为一个部分可观察的多任务RL问题，其中任务信息是隐藏的代理。这种未知的任务问题可以减少到马尔可夫决策过程（MDP）的基础上，通过增加一个代理的意见与过去的经验，对任务的信念估计。然而，估计的信念状态是棘手的，在大多数部分观察的MDP。我们提出了一种方法，分别学习的政策和任务信念，利用各种特权信息。我们的方法可以非常有效地解决标准元强化学习环境，以及奖励稀疏且需要长期记忆的复杂连续控制环境。
2019-10-22 cs.AI cs.LG stat.ML
The configurable tree graph (CT-graph): measurable problems in partially observable and distal reward environments for lifelong reinforcement learning
Loughborough University（拉夫堡大学）；UNIST（蔚山科学技术院）；HRL Laboratories（HRL实验室）；Vanderbilt University（范德堡大学）
针对强化学习算法提出了一组形式化定义的透明问题，这些问题具有以下特征：（1）可变的可观测度（非Markov观测），（2）远端稀疏奖励，（3）可变的分层奖励结构，（4）多任务生成，（5）可变的问题复杂度.环境提供1D或2D分类观测，并将操作作为输入。CT图的核心结构是一个多分支树图，具有任意的分支因子，深度和观察集，可以通过可控和可测量的方式来增加问题的维度。两个主要类别的状态，决策状态和等待状态，旨在创建一个层次的重要性之间的意见，典型的现实世界的问题。一个大的观察集可以产生一个庞大的历史集，损害记忆增强代理。可变奖励函数允许轻松创建多个任务，并允许代理在呈现具有可控相似度的任务的动态场景中有效适应的能力。由于图的指数增长，可以很容易地实现复杂性级别。问题公式和附带的代码提供了一组快速，透明和数学定义的可配置测试，以比较强化学习算法的性能，特别是在终身学习环境中。
2023-01-21 cs.AI cs.LG
Reinforcement Learning In Partially Verifiable Environments for Colon Cancer Treatment Planning
University of California, San Francisco（加利福尼亚大学旧金山分校）；Weill Cancer Hub（威尔癌症中心）；West Vokram Inc.（West Vokram公司）；OpenEvidence
本研究将结肠癌治疗规划建模为部分可观测下的交互式强化学习问题，用GRPO、GDPO优化Llama-3.1-8B-Instruct，使策略的临床奖励显著提升，为交互式临床RL提供了有效学习信号。
2026-10-14 cs.AI cs.LG
Data-Assimilated Model-Based Reinforcement Learning for Partially Observed Chaotic Flows
Imperial College London（帝国理工学院伦敦校区）；The Alan Turing Institute（阿兰·图灵研究所）；Politecnico di Torino（托里尼Politecnico）
针对部分观测和噪声测量下的混沌流动控制，提出数据同化的基于模型的强化学习框架，结合控制感知储备池网络与集合卡尔曼滤波，在Kuramoto-Sivashinsky方程上验证了稳定时空混沌的有效性。
2025-04-23 cs.LG cs.SY eess.SY
Partially Equivariant Reinforcement Learning in Symmetry-Breaking Environments
School of Mechanical Engineering, Yonsei University, Seoul, South Korea（延世大学机械工程学院，首尔，韩国）；Department of Artificial Intelligence, Yonsei University, Seoul, South Korea（延世大学人工智能系，首尔，韩国）；Department of Mechanical Engineering, University of California, Berkeley, United States（加州大学伯克利分校机械工程系，美国）
本文提出部分等价强化学习框架，通过选择性应用群不变或标准贝尔曼备份，提升样本效率和泛化能力，适用于对称破坏环境的离散和连续控制任务。
2026-03-11 cs.LG cs.RO
Approximate information state for approximate planning and reinforcement learning in partially observed systems
Adobe Systems India Private Limited（Adobe Systems印度私人有限公司）；McGill University（麦吉尔大学）
我们提出了一个理论框架的近似规划和学习部分观测系统。我们的框架是基于信息状态的基本概念。我们提供了信息状态的两个等价定义-- i）足以计算预期回报并预测其下一个值的历史函数; ii）等价地，可以递归更新并足以计算预期回报并预测下一个观察的历史函数。信息状态总是导致动态规划分解。我们的主要结果是表明，如果一个函数的历史（称为近似信息状态（AIS））近似满足的信息状态的性质，那么有一个相应的近似动态规划。我们表明，使用此计算的政策是近似最优的有界损失的最优性。我们表明，在文献中的状态，观察和动作空间的几个近似可以被视为AIS的实例。在某些情况下，我们得到更严格的界限。AIS的一个显著特点是它可以从数据中学习。提出了基于AIS的多时间尺度策略梯度算法。详细的数值实验与低，中，高维环境。
2021-09-03 cs.LG cs.SY eess.SY
Reinforcement Learning under Partial Observability Guided by Learned Environment Models
Silicon Austria Labs（奥地利硅实验室）；Graz University of Technology（格拉茨技术大学）
在实际应用中，我们很少能假设系统环境的完全可观测性，尽管这些知识对于确定反应控制系统与其环境的精确相互作用是重要的。因此，我们提出了一种在部分可观察环境中进行强化学习（RL）的方法。虽然假设环境的行为就像一个部分可观察的马尔可夫决策过程与已知的离散行动，我们假设没有关于其结构或转移概率的知识。我们的方法将Q学习与IoAlergia相结合，IoAlergia是一种学习马尔可夫决策过程（MDP）的方法。通过学习MDP模型的环境，从情节的RL代理，我们使RL在部分可观察的领域没有明确的，额外的内存来跟踪以前的相互作用，处理来自部分可观察性的模糊性。相反，我们通过在学习的环境模型上模拟新的经验来跟踪探索的状态，以抽象环境状态的形式为RL提供额外的观察。在我们的评估中，我们报告了我们的方法的有效性及其与六种最先进的具有递归神经网络和固定记忆的深度RL技术相比的良好性能。
2022-06-23 cs.AI cs.LG
Reinforcement Learning with Delayed, Composite, and Partially Anonymous Reward
Purdue University（普渡大学）
针对具有延迟、复合且部分匿名奖励的无限水平平均回报MDP，提出DUCRL2算法求解近似最优策略，证明其遗憾界在T阶上最优且延迟呈加性影响。
2023-08-28 cs.AI cs.LG
