Data-Assimilated Model-Based Reinforcement Learning for Partially Observed Chaotic Flows
Imperial College London（帝国理工学院伦敦校区）；The Alan Turing Institute（阿兰·图灵研究所）；Politecnico di Torino（托里尼Politecnico）
针对部分观测和噪声测量下的混沌流动控制，提出数据同化的基于模型的强化学习框架，结合控制感知储备池网络与集合卡尔曼滤波，在Kuramoto-Sivashinsky方程上验证了稳定时空混沌的有效性。
2025-04-23 cs.LG cs.SY eess.SY
Stable and Safe Human-aligned Reinforcement Learning through Neural Ordinary Differential Equations
University of Oxford（牛津大学）；University of Southampton（南安普顿大学）
针对人类对齐强化学习的安全稳定挑战，提出结合NODEs运动预测、CBF/CLF与演员-评论家方法的算法，仿真验证其在安全违规和样本效率上更优。
2024-05-19 cs.LG cs.RO cs.SY
When Is Partially Observable Reinforcement Learning Not Scary?
Princeton University（普林斯顿大学）；DeepMind（深度思维）；University of Alberta（阿尔伯塔大学）
强化学习（RL）的应用是普遍存在的，在这种应用中，智能体学习做出一系列决策，尽管缺乏关于受控系统潜在状态的完整信息，也就是说，它们在状态的部分可观测性下行事。众所周知，部分可观察的RL可能非常困难-众所周知的信息理论结果表明，学习部分可观察的马尔可夫决策过程（POMDPs）在最坏情况下需要指数数量的样本。然而，这并不排除存在POMDPs的大型子类，在这些子类上学习是容易处理的。在本文中，我们确定这样一个子类，我们称之为弱揭示POMDPs。这个家族排除了POMDP的病理情况，在这种情况下，观察结果在一定程度上是没有信息的，这使得学习困难。我们证明，弱揭示POMDPs，一个简单的算法相结合的乐观和最大似然估计（MLE）是足以保证多项式样本的复杂性。据我们所知，这是第一个可证明的样本有效的结果，用于从过完备POMDPs中的相互作用中学习，其中潜在状态的数量可以大于观察的数量。
2022-05-24 cs.AI cs.LG cs.SY
Deep Reinforcement Learning for Online Control of Stochastic Partial Differential Equations
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
在许多领域，如物理科学，生命科学和金融，控制方法被用来实现由微分方程控制的复杂动力系统的预期目标。在这项工作中，我们制定了控制随机偏微分方程（SPDE）的问题作为一个强化学习问题。提出了一种基于学习的分布式控制方法，利用深度确定性策略梯度方法对具有高维状态-动作空间的SPDE系统进行在线控制。我们测试了我们的方法控制随机Burgers方程的问题上的性能，描述了一个湍流流体流动在一个无限大的域。
2021-12-08 cs.LG math.DS
Belief States for Cooperative Multi-Agent Reinforcement Learning under Partial Observability
Imperial College London（帝国理工学院）
本文提出利用自监督预训练的概率信念模型生成信念状态，并将其与基于状态的强化学习算法结合，以简化策略和价值函数学习，从而提升部分可观测条件下协作多智能体强化学习的收敛速度与最终性能。
2025-04-11 cs.AI cs.LG
Zero-Sum Positional Differential Games as a Framework for Robust Reinforcement Learning: Deep Q-Learning Approach
Yandex（Yandex（俄罗斯互联网公司））；IMM UB RAS（俄罗斯科学院乌拉尔分院数学力学研究所）
本文首次将零和位置微分博弈理论引入鲁棒强化学习，证明在Isaacs条件下同一Q函数可同时近似极小极大与极大极小Bellman方程，并据此提出Isaacs深度Q网络算法，在多种环境中优于现有RRL和多智能体RL基线方法。
2024-05-03 cs.AI cs.GT cs.LG
Provable Representation with Efficient Planning for Partial Observable Reinforcement Learning
University of Alberta（阿尔伯塔大学）；UT Austin（德克萨斯大学奥斯汀分校）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Google DeepMind（谷歌DeepMind）；Georgia Tech（佐治亚理工学院）
针对部分可观测强化学习，本文提出基于表示的统一框架与可处理算法，给出统计效率理论保证，并在多个基准上超越现有最先进方法。
2024-06-11 cs.AI cs.LG stat.ML
Deep Transformer Q-Networks for Partially Observable Reinforcement Learning
Khoury College of Computer Sciences（Khoury计算机科学学院）；Northeastern University（东北大学）
现实世界的强化学习任务通常涉及某种形式的部分可观察性，其中观察仅给出世界真实状态的部分或噪声视图。这些任务通常需要某种形式的记忆，其中代理可以访问多个过去的观察，以便执行良好。一种流行的合并记忆的方法是使用递归神经网络来访问代理的历史。然而，强化学习中的递归神经网络通常是脆弱的，难以训练，易受灾难性遗忘的影响，有时会完全失败。在这项工作中，我们提出了深度Transformer Q-网络（DTQN），一种新的架构，利用Transformers和自我注意编码代理的历史。DTQN是模块化设计的，我们对我们的基础模型的几个修改的结果进行比较。我们的实验表明，Transformer可以解决部分可观察的任务比以前的递归方法更快，更稳定。
2022-11-10 cs.AI cs.LG
Reinforcement Learning using Guided Observability
TU Darmstadt（达姆施塔特工业大学）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；Aalto University（阿尔托大学）
由于最近的突破，强化学习（RL）在具有挑战性的顺序决策问题中表现出令人印象深刻的性能。然而，一个悬而未决的问题是如何使强化学习处理部分可观测性，这是在许多现实世界中的问题。与当代RL方法相反，主要集中在改进的记忆表示或关于部分可观测性类型的强假设上，我们提出了一种简单但有效的方法，可以与各种RL方法一起应用。我们的主要观点是，在训练过程中从完全可观测性平滑过渡到部分可观测性会产生高性能的策略。该方法被称为部分可观察引导强化学习（PO-GRL），允许在策略优化期间利用全部状态信息，而不会损害最终策略的最优性。在离散部分可观测马尔可夫决策过程（POMDP）基准问题和连续部分可观测MuJoCo和OpenAI gym任务中的综合评估表明，PO-GRL提高了性能。最后，我们证明了PO-GRL在一个真正的巴雷特WAM机器人的部分可观测性下的球在杯子中的任务。
2021-04-22 cs.LG
A Differential and Pointwise Control Approach to Reinforcement Learning
University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出微分强化学习框架，通过微分对偶形式和dfPO算法提升样本效率和动态对齐，理论证明收敛性并实验证明在科学计算任务中的有效性。
2026-02-05 cs.AI cs.LG math.OC
Offline Reinforcement Learning with Differential Privacy
UC Santa Barbara（加州大学圣巴巴拉分校）
离线强化学习（RL）问题通常是由金融、法律和医疗保健应用中学习数据驱动的决策策略的需求所驱动的。然而，所学习的策略可以在训练数据中保留个体的敏感信息（例如，患者的治疗和结果），因此容易受到各种隐私风险的影响。我们设计离线RL算法与差分隐私保证，可证明防止这种风险。这些算法在表格和线性马尔可夫决策过程（MDP）设置下也具有很强的实例相关学习边界。我们的理论和模拟表明，与中等规模数据集的非私有对应物相比，隐私保证的效用（几乎）没有下降。
2023-01-03 cs.AI cs.CR cs.LG
Market-Based Reinforcement Learning in Partially Observable Worlds
与传统的强化学习（RL）不同，基于市场的强化学习原则上适用于部分可观察马尔可夫决策过程（POMDPs）描述的世界，其中智能体需要学习相关先前事件的短期记忆，以便执行最佳行动。然而，大多数以前的工作都集中在反应式设置（MDP），而不是POMDP。在这里，我们重新实现了最近的基于市场的RL方法，并首次在玩具POMDP设置中对其进行评估。
2001-05-15 cs.AI cs.LG cs.MA
Transformer-Based Reinforcement Learning for Autonomous Orbital Collision Avoidance in Partially Observable Environments
Université Paris-Saclay, CentraleSupélec Engineering School, Department of Industrial Engineering（巴黎萨克雷大学，中央超导工程学院，工业工程系）
本文提出一种基于Transformer的强化学习框架，用于解决部分可观测环境下自主轨道避碰问题，通过结合可配置相遇模拟器、距离依赖观测模型和序列状态估计器，利用Transformer架构有效处理噪声和间歇性观测。
2026-02-05 cs.AI cs.LG
Learning What to Memorize: Using Intrinsic Motivation to Form Useful Memory in Partially Observable Reinforcement Learning
Izmir University of Economics（伊兹密尔经济大学）
强化学习在具有长期依赖性的部分可观察环境中面临着重要的挑战。为了在模糊的环境中学习，智能体必须将先前的感知保存在记忆中。早期的基于内存的方法使用固定的方法来确定在内存中保存什么，这将它们限制在某些问题上。在这项研究中，我们遵循的想法，让记忆的控制代理，允许它有记忆改变的行动。这种学习机制是由一种内在的动机来支持的，这种动机是为了记住罕见的观察结果，这可以帮助智能体消除其在环境中的状态。我们的方法进行了实验和分析的几个部分可观察的任务与长期的依赖关系，并与其他记忆为基础的方法进行了比较。
2022-02-04 cs.AI cs.LG
Zero-Shot Reinforcement Learning Under Partial Observability
本研究探讨部分可观测条件下零样本强化学习的性能退化，并提出基于记忆的架构作为有效补救，实验证明其优于无记忆基线。
2025-06-18 cs.AI cs.LG
POPGym: Benchmarking Partially Observable Reinforcement Learning
强化学习（RL）的现实应用通常是部分可观察的，因此需要记忆。尽管如此，部分可观察性仍然在很大程度上被当代RL基准和库所忽视。我们介绍了部分可观察过程Gym（POPGym），这是一个由两部分组成的库，包含（1）15个部分可观察环境的不同集合，每个环境都有多个困难，以及（2）13个内存模型基线的实现-在单个RL库中最多。现有的部分可观察基准往往专注于3D视觉导航，这是计算昂贵，只有一种类型的POMDP。相比之下，POPGym环境是多样化的，产生更小的观察结果，使用更少的内存，并且通常在消费级GPU上训练两小时内收敛。我们在流行的RLlib框架之上实现了高级内存API和内存基线，为各种训练算法、探索策略和分布式训练范式提供了即插即用的兼容性。使用POPGym，我们执行了迄今为止最大的RL内存模型比较。POPGym可在https://github.com/proroklab/popgym上获得。
2023-03-03 cs.AI cs.LG cs.RO
Causally Correct Partial Models for Reinforcement Learning
DeepMind；University College London（伦敦大学学院）；Mila, Université de Montréal（蒙特利尔大学Mila研究所）
在强化学习中，我们可以学习未来观察和奖励的模型，并使用它来计划智能体的下一步行动。然而，如果观测是高维的（例如图像），联合建模未来的观测可能在计算上是昂贵的，甚至是棘手的。由于这个原因，以前的作品已经考虑了部分模型，其中模型的观察只有一部分。在本文中，我们证明了部分模型可能是因果不正确的：它们被它们不建模的观测结果所混淆，因此可能导致不正确的规划。为了解决这个问题，我们引入了一系列可证明因果关系正确的部分模型，但仍然保持快速，因为它们不需要完全模拟未来的观察结果。
2020-02-07 cs.AI cs.LG stat.ML
Differentially Private Reinforcement Learning with Linear Function Approximation
Wayne State University（韦恩州立大学）
基于强化学习（RL）在个性化服务中的广泛应用，研究了差分隐私（DP）约束下有限时域马尔可夫决策过程（MDP）的后悔最小化问题.与现有的仅在表格有限状态，有限动作MDP上工作的私有RL算法相比，我们在具有大状态和动作空间的MDP中迈出了隐私保护学习的第一步。具体而言，我们认为MDP与线性函数近似（特别是线性混合MDP）的概念下的联合差分隐私（JDP），其中RL代理负责保护用户的敏感数据。我们设计了两种分别基于值迭代和策略优化的私有强化学习算法，并证明了它们在保证隐私保护的同时具有次线性后悔性能.此外，遗憾界与状态数无关，且最大程度上与行为数成比例，适用于大规模个性化服务中的隐私保护.我们的研究结果是通过一个一般的过程中学习线性混合MDP下不断变化的正则化，这不仅推广了以前的结果，非私人学习，但也作为一般的私人强化学习的积木。
2022-03-21 cs.LG
A Convolution and Attention Based Encoder for Reinforcement Learning under Partial Observability
School of Engineering, The University of Newcastle（工程学院，新castle大学）
针对部分可观测强化学习问题，提出基于深度可分离卷积和自注意力的轻量级时序编码器，集成于actor-critic框架，在连续控制基准上取得优越性能并提升系统可扩展性。
2025-09-13 cs.AI cs.LG
Partially Observable Reinforcement Learning with Memory Traces
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Tübingen（图宾根大学）
本文提出记忆痕迹方法，用指数移动平均紧凑表示部分可观测环境中的长观测历史，并从理论和实验上证明其相比有限窗口方法具有更高的样本效率。
2025-06-03 cs.LG
Reinforcement Learning with Partially Known World Dynamics
Stanford University（斯坦福大学）
如果建模者能够将领域知识传授给算法，强化学习将在现实世界的问题上取得更好的成功。大多数问题都有隐藏的状态和未知的动态。部分可观测马尔可夫决策过程（POMDPs）允许两者的建模。不幸的是，他们没有提供一个自然的框架，在其中指定的域动态知识。设计者必须要么承认对动态一无所知，要么完全指定动态（从而将其转化为规划问题）。我们提出了一个新的框架称为部分已知马尔可夫决策过程（PKMDP），它允许设计者指定已知的动态，而仍然留下部分的环境的动态未知。该模型不仅表示环境的动态，但也代理的动态知识。我们针对该模型提出了一种基于重要性采样的强化学习算法。该算法结合规划的基础上已知的动态和学习的未知动态。我们的研究结果清楚地表明了添加领域知识的能力以及由此产生的学习益处。
2012-12-12 cs.LG stat.ML
Discriminative Particle Filter Reinforcement Learning for Complex Partial Observations
National Unviersity of Singapore（新加坡国立大学）；The University of Queesland（昆士兰大学）
深度强化学习在诸如Atari、Go等复杂游戏的决策中是成功的，然而，现实世界的决策通常需要从复杂的视觉观察中提取部分信息进行推理。提出了一种新的用于复杂部分观测的强化学习框架--判别粒子滤波强化学习（DPFRL）。DPFRL在神经网络策略中编码可微粒子滤波器，用于随时间推移进行部分观测的显式推理。粒子滤波器使用学习的判别更新来保持信念，该信念是端到端训练的，用于决策。我们表明，使用判别更新而不是标准的生成模型，可以显着提高性能，特别是对于具有复杂视觉观察的任务，因为它们规避了对与决策无关的复杂观察进行建模的困难。此外，为了从粒子信念中提取特征，我们提出了一种基于矩生成函数的信念特征。DPFRL在现有的POMDP RL基准Flickering Atari Games和本文介绍的新的更具挑战性的POMDP RL基准Natural Flickering Atari Games中的表现优于最先进的POMDP RL模型。此外，DPFRL表现良好的视觉导航与现实世界的数据在人居环境中。
2020-02-23 cs.AI cs.LG stat.ML
Blockwise Sequential Model Learning for Partially Observable Reinforcement Learning
School of Electrical Engineering, KAIST（韩国科学技术院电气工程学院）
本文提出了一种新的序列模型学习结构来解决部分可观测马尔可夫决策问题。与传统的基于递归神经网络的方法在每个时间步压缩顺序信息不同，所提出的架构在每个数据块中生成具有多个时间步长度的潜在变量，并将最相关的信息传递到下一个块进行策略优化。所提出的分块顺序模型是基于自注意实现的，使得该模型能够在部分可观察设置下进行详细的顺序学习。该模型利用自归一化重要性采样建立了一个额外的学习网络，有效地实现了梯度估计，在模型学习中不需要复杂的分块输入数据重构。数值结果表明，所提出的方法显着优于以往的方法在各种部分可观测的环境。
2021-12-10 cs.AI cs.LG
Towards Differentially Private Reinforcement Learning with General Function Approximation
Wayne State University（韦恩州立大学）
本文提出首个针对差分隐私在线强化学习与通用函数逼近的理论保证，结合批量策略更新与指数机制，证明在通用函数逼近下，模型自由设置的后悔与线性情况一致，达到O~(K^{3/5})，并揭示线性函数逼近隐私RL结果中的根本差距。
2026-05-07 cs.AI cs.LG
Unbiased Asymmetric Reinforcement Learning under Partial Observability
Northeastern University（东北大学）
在部分可观察的强化学习中，离线训练可以访问在线训练和/或执行期间不可用的潜在信息，例如系统状态。非对称的行动者-批评者方法通过基于状态的批评者训练基于历史的策略来利用这些信息。然而，许多非对称方法缺乏理论基础，并且仅在有限的域上进行评估。我们研究了使用基于状态的批评的非对称演员-批评方法的理论，并揭示了破坏常见变体有效性的基本问题，并限制了其解决部分可观察性的能力。我们提出了一个无偏的非对称演员批评的变体，它能够利用状态信息，同时保持理论上的声音，保持策略梯度定理的有效性，并引入到训练过程中没有偏见和相对较低的方差。表现出显着的部分可观测性域进行的实证评估证实了我们的分析，表明无偏不对称的演员-评论家收敛到更好的政策和/或更快的对称和有偏不对称基线。
2022-01-30 cs.AI cs.LG
A Differential Perspective on Distributional Reinforcement Learning
本文从微分视角扩展分布强化学习至平均奖励设置，提出首个能有效学习长期每步奖励分布和微分回报分布的算法，并展示其在性能和信息捕捉方面的优势。
2026-01-13 cs.AI cs.LG
Reinforcement Learning under Partial Observability Guided by Learned Environment Models
Silicon Austria Labs（奥地利硅实验室）；Graz University of Technology（格拉茨技术大学）
在实际应用中，我们很少能假设系统环境的完全可观测性，尽管这些知识对于确定反应控制系统与其环境的精确相互作用是重要的。因此，我们提出了一种在部分可观察环境中进行强化学习（RL）的方法。虽然假设环境的行为就像一个部分可观察的马尔可夫决策过程与已知的离散行动，我们假设没有关于其结构或转移概率的知识。我们的方法将Q学习与IoAlergia相结合，IoAlergia是一种学习马尔可夫决策过程（MDP）的方法。通过学习MDP模型的环境，从情节的RL代理，我们使RL在部分可观察的领域没有明确的，额外的内存来跟踪以前的相互作用，处理来自部分可观察性的模糊性。相反，我们通过在学习的环境模型上模拟新的经验来跟踪探索的状态，以抽象环境状态的形式为RL提供额外的观察。在我们的评估中，我们报告了我们的方法的有效性及其与六种最先进的具有递归神经网络和固定记忆的深度RL技术相比的良好性能。
2022-06-23 cs.AI cs.LG
POPCORN: Partially Observed Prediction COnstrained ReiNforcement Learning
Harvard SEAS（哈佛大学哈佛约翰·A·保尔森工程与应用科学学院）；Tufts University（塔夫茨大学）
许多医疗决策任务可以被框架为部分可观察马尔可夫决策过程（POMDP）。然而，流行的两阶段方法（首先学习POMDP，然后解决它）通常会失败，因为最适合数据的模型可能不太适合规划。我们引入了一个新的优化目标，该目标（a）产生高性能的策略和高质量的生成模型，即使某些观察结果与规划无关，以及（b）在医疗保健中典型的批量非策略设置中这样做，当只有回顾性数据可用时。我们展示了我们的方法合成的例子和一个具有挑战性的医疗决策问题。
2020-03-31 cs.LG stat.ML
Optimal Decision-Making in Mixed-Agent Partially Observable Stochastic Environments via Reinforcement Learning
在多智能体相互作用的随机环境中，有限信息或无信息的最优决策是人工智能领域中一个具有挑战性的课题。强化学习（RL）是一种通过预测刺激（如遵循策略的奖励）来获得最佳策略的流行方法。强化学习在单智能体环境中得到了大量的探索，但在多智能体问题中还是一个新生的概念。为此，我提出了几个原则性的无模型和部分基于基于模型的强化学习方法的多智能体设置。在规范的强化学习领域，我介绍了可扩展的扩展蒙特卡洛探索开始部分可观察马尔可夫决策过程（POMDP），被称为MCES-P，在那里我扩展的理论和算法的多智能体设置。我首先检查MCES-P与可能近似正确（PAC）的范围内的多智能体设置，显示MCESP+PAC持有在其他代理的存在。然后，我提出了一个更具样本效率的方法，对抗设置，MCESIP+PAC。对于协作设置，我将MCES-P扩展到Multiagent POMDP，称为MCESMP+PAC。然后，我将探索使用强化学习作为在现实和潜在模型环境中搜索最优值的方法。首先，我探讨了一个参数化的Q学习方法在建模人类学习的原因在一个不确定的，多智能体的环境。接下来，我提出了一个MCES-P的实现，以及图像分割，以创建一个自适应的团队为基础的强化学习技术，积极识别表型表达的水和病原体胁迫在农田中的存在。
2019-01-04 cs.AI cs.LG
Local Differential Privacy for Regret Minimization in Reinforcement Learning
Facebook AI Research（Facebook人工智能研究院）；CREST, ENSAE（法国国家统计与经济管理局统计研究中心, 法国国立统计与经济管理学院）；Criteo AI Lab（Criteo人工智能实验室）；Imperial College London（帝国理工学院）
强化学习算法被广泛用于期望提供个性化服务的领域。在这些领域中，用户数据通常包含需要防止第三方访问的敏感信息。出于这一动机，我们研究隐私的背景下，有限时域马尔可夫决策过程（MDP），要求信息被混淆的用户端。我们制定这个概念的隐私RL利用本地差分隐私（LDP）框架。我们建立了一个有限时域的LDP保证的MDP的遗憾最小化的下界，这表明，保证隐私的遗憾有一个倍增的效果。这个结果表明，虽然LDP是一个有吸引力的隐私概念，但它使学习问题变得更加复杂。最后，我们提出了一个乐观的算法，同时满足$\varepsilon$的要求，并实现$\sqrt{K}/\varepsilon$遗憾在任何有限的地平线MDP后，$K$事件，匹配的下界依赖于事件的数量$K$。
2021-10-27 cs.LG
Adversarial Reinforcement Learning under Partial Observability in Autonomous Computer Network Defence
The University of Melbourne（墨尔本大学）；Defence Science and Technology Group, Australian Department of Defence（澳大利亚国防部国防科技集团）
最近的研究表明，强化学习（RL）代理容易受到对抗性操纵的影响，类似于以前在监督学习环境中证明的漏洞。虽然大多数现有的工作在计算机视觉或控制台游戏的背景下研究这个问题，本文的重点是在部分可观察性下的自主网络防御中的强化学习。我们证明了在黑盒设置下，攻击者无法直接访问目标RL模型，即使攻击者只有部分环境的可观察性，因果攻击-针对训练过程的攻击-也可以毒害RL代理。此外，我们提出了一种反转防御方法，旨在将相反的扰动应用于攻击者可能用来生成其对抗样本的扰动。实验结果表明，该对策可以有效地减少因果攻击的影响，而不会显着影响非攻击场景下的训练过程。
2020-08-17 cs.CR cs.LG stat.ML
Provably Efficient Partially Observable Risk-Sensitive Reinforcement Learning with Hindsight Observation
Tsinghua University（清华大学）；Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）
本文研究带事后观测的部分可观测风险敏感强化学习，将其纳入POMDP与熵风险度量框架，提出首个可证明高效算法，并利用测度变换和beta向量给出多项式遗憾保证。
2024-02-28 cs.LG stat.ML
Information State Embedding in Partially Observable Cooperative Multi-Agent Reinforcement Learning
Coordinated Science Laboratory, University of Illinois（伊利诺伊大学厄巴纳-香槟分校协调科学实验室）
部分可观测性下的多智能体强化学习（MARL）长期以来一直被认为是具有挑战性的，这主要是由于要求每个智能体在所有其他智能体的本地历史上保持信念-这是一个通常随时间呈指数增长的领域。在这项工作中，我们研究了一个部分可观察的MARL问题，其中代理是合作的。为了使易于处理的算法的发展，我们引入了信息状态嵌入的概念，用于压缩代理的历史。我们量化压缩误差如何影响分散控制的价值函数。此外，我们提出了一个基于递归神经网络（RNNs）的嵌入实例。然后将嵌入用作近似信息状态，并且可以馈送到任何MARL算法中。所提出的嵌入-然后-学习管道打开了现有（部分可观察）MARL算法的黑盒子，使我们能够建立一些理论保证（价值函数的误差界），同时仍然可以通过许多端到端方法实现有竞争力的性能。
2020-08-17 cs.AI cs.LG cs.MA
Differentially Private Deep Model-Based Reinforcement Learning
Huawei Technologies France（华为法国技术公司）
针对离线深度强化学习的轨迹级差分隐私需求，提出基于模型的PriMORL算法，通过隐私环境模型集成优化策略，突破现有方法仅适用简单MDP的局限，还分析了隐私权衡关系。
2024-10-09 cs.AI cs.CR cs.LG
Act-Then-Measure: Reinforcement Learning for Partially Observable Environments with Active Measuring
Radboud University（拉德堡德大学）；Nijmegen Institute for Computing and Information Sciences（奈梅亨计算与信息科学研究所）
我们研究马尔可夫决策过程（MDP），代理人直接控制何时以及如何收集信息，作为正式的行动或有无噪声可观察MDP（ACNO-MPD）。在这些模型中，动作由两个部分组成：影响环境的控制动作和影响代理可以观察到的内容的测量动作。为了解决ACNO-MDP，我们引入了行动然后测量（ATM）启发式算法，该算法假设我们在选择控制动作时可以忽略未来状态的不确定性。我们展示了如何遵循这种启发式可能会导致更短的政策计算时间，并证明了启发式所产生的性能损失的约束。为了决定是否采取度量行动，我们引入了度量值的概念。我们开发了一种基于ATM启发式的强化学习算法，使用适合部分可观察域的Dyna-Q变体，并在一些部分可观察的环境中展示了其优越的性能。
2023-03-14 cs.AI cs.LG
Why Linear Recurrent Memory Works in Partially Observable Reinforcement Learning
EPFL（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（智能系统马克斯·普朗克研究所）
本文通过构造两种线性滤波器，从理论上证明了线性循环神经网络在部分可观测强化学习中作为记忆单元的有效性，并扩展到动作控制的隐马尔可夫模型。
2026-05-29 cs.AI cs.LG stat.ML
Near-Optimal Differentially Private Reinforcement Learning
UC Santa Barbara（加州大学圣巴巴拉分校）
受个性化医疗和其他涉及敏感数据的应用的启发，我们研究了具有差分隐私（DP）约束的强化学习中的在线探索。关于这个问题的现有工作建立了联合差分隐私（JDP）和局部差分隐私（LDP）下的无遗憾学习是可能的，但没有提供最佳遗憾的算法。我们通过设计一个遗憾为$ε$算法来缩小JDP情况下的这一差距，该算法与$ε> S^{1.5}A^{0.5} H^2/\sqrt{T}$的所有选择的非私有学习的信息理论下限相匹配。在上面，$S$、$A$表示状态和动作的数量，$H$表示计划范围，并且$T$是步骤的数量。据我们所知，这是第一个将\emph{privacy for free}渐进地实现为$T\rightarrow \infty$的私有RL算法。我们的技术--可能是独立的--包括私下发布伯恩斯坦式的探索奖金和发布访问统计数据的改进方法。同样的技术也意味着自民党的情况略有改善的遗憾。
2023-02-22 cs.AI cs.CR cs.LG
Differentially Private Exploration in Reinforcement Learning with Linear Representation
Ecole Polytechnique（巴黎综合理工学院）；Facebook AI Research（Facebook人工智能研究院）；CREST, ENSAE（国立统计与经济行政学院经济研究与应用中心）
研究了线性表示的马尔可夫决策过程中的隐私保护探索问题。我们首先考虑线性混合MDP的设置（Ayoub等人，2020年）（又名\基于模型的设置），并提供了一个统一的框架，用于分析联合和局部差异私人（DP）勘探。通过这个框架，我们证明了一个$\widetilde{O}(K^{3/4}/\sqrtε)$遗憾界$(ε,δ)$ -本地DP探索和$\widetilde{O}(\sqrt{K/ε})$遗憾界$(ε,δ)$ -联合DP。我们进一步研究了线性MDP中的隐私保护探索（Jin等人，2020年）（又名\无模型设置），其中我们提供了一个$\widetilde{O}\left(K^{\frac{3}{5}}/ε^{\frac{2}{5}}\right)$遗憾界为$(ε,δ)$ -联合DP，一个新的算法的基础上低开关。最后，我们提供的见解，在这个无模型的设置设计本地DP算法的问题。
2021-12-07 cs.LG
Differential Variable Speed Limits Control for Freeway Recurrent Bottlenecks via Deep Reinforcement learning
Beijing Institute of Technology（北京理工大学）；Southeast University（东南大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
可变车速限制（VSL）控制是一种灵活的方式来改善交通状况，提高安全性和减少排放。利用强化学习技术进行VSL控制是一个新兴的趋势，最近的研究已经显示出有希望的结果。目前，深度学习正在使强化学习能够为以前难以解决的问题开发自主控制代理。提出了一种更有效的深度强化学习（DRL）模型用于差分可变限速（DVSL）控制，该模型可以在车道之间施加动态和不同的限速。建议的DRL模型使用一种新的行动者-评论家架构，可以学习大量的离散速度限制在一个连续的动作空间。采用不同的奖励信号，如总行程时间、瓶颈速度、紧急制动和车辆排放等对DVSL控制器进行训练，并对这些奖励信号进行比较。我们测试建议DRL基于DVSL控制器上模拟高速公路经常性瓶颈。结果表明，该方法可以有效地改善柴油机的效率、安全性和排放。我们还显示了一些有趣的发现，通过可视化的DRL模型产生的控制策略。
2018-10-25 cs.AI cs.LG stat.ML
Minimal Value-Equivalent Partial Models for Scalable and Robust Planning in Lifelong Reinforcement Learning
Mila（米拉研究所）；McGill University（麦吉尔大学）；Google DeepMind（谷歌DeepMind）
针对终身强化学习中全环境模型难以实现可扩展鲁棒规划的问题，提出最小价值等价部分模型，给出形式化定义与理论优势，结合深度学习启发式学习方法，通过实验验证其在可扩展性和抗分布偏移、累积误差方面的有效性。
2023-06-11 cs.AI cs.LG
The act of remembering: a study in partially observable reinforcement learning
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Element AI（元素人工智能公司）
强化学习（RL）代理通常学习无记忆策略--在选择动作时只考虑最后一次观察的策略。学习无记忆策略在完全可观察的环境中是有效和最优的。然而，当RL代理面临部分可观测性时，某种形式的记忆是必要的。在本文中，我们研究了一种轻量级的方法来解决RL中的部分可观性。我们为代理提供了一个外部存储器和额外的操作来控制写入内存的内容（如果有的话）。在每一步中，当前的内存状态都是代理观察的一部分，代理选择一个动作元组：一个动作修改环境，另一个动作修改内存。当外部记忆有足够的表现力时，最优无记忆策略会产生全局最优解。不幸的是，以前以二进制存储器的形式使用外部存储器的尝试在实践中产生了很差的结果。在这里，我们研究了其他形式的记忆，以支持学习有效的无记忆策略。我们的新形式的内存优于二进制和基于LSTM的内存在完善的部分可观察域。
2020-10-05 cs.AI cs.LG
Benchmarking Partial Observability in Reinforcement Learning with a Suite of Memory-Improvable Domains
针对现有部分可观测强化学习基准覆盖形式单一、无法有效衡量记忆能力的问题，提出基准应具备的两个关键属性，发布开源库POBAX，提供多类代表性可记忆提升的环境及配套工具，助力相关研究。
2025-07-31 cs.AI cs.LG
On overfitting and asymptotic bias in batch reinforcement learning with partial observability
McGill University（麦吉尔大学）；University of Liege（列日大学）
本文分析了在具有部分可观测性的强化学习背景下，渐近偏差（无限数据的次优性）和过拟合（由于有限数据而导致的额外次优性）之间的权衡。我们的理论分析正式表征，虽然可能会增加渐近偏差，一个较小的状态表示降低过拟合的风险。该分析依赖于通过绑定相关联的置信状态的L1误差项来表达状态表示的质量。理论结果的经验表明，当状态表示是一个截断的历史观测，无论是在合成POMDP和大规模POMDP的背景下，智能电网，与现实世界的数据。最后，类似于已知的结果在完全可观察的设置，我们还简要讨论和经验说明如何使用函数逼近器和适应折扣因子可以增强渐近偏差和过度拟合之间的权衡在部分可观察的上下文中。
2019-02-06 cs.AI cs.LG stat.ML
PIGDreamer: Privileged Information Guided World Models for Safe Partially Observable Reinforcement Learning
School of Computer Science, University of Beihang, Beijing, China（北京航空航天大学计算机学院）；School of Computer Science, Chinese University of Hong Kong, Hongkong, China（香港中文大学计算机学院）；JD Explore Academy, Beijing, China（京东探索研究院）；North Automatic Control Institute, Taiyuan, China（太原北自动控制研究所）
本文提出PIGDreamer，通过特权表示对齐和非对称actor-critic结构利用特权信息，在部分可观测安全强化学习中显著提升智能体的安全性、性能与效率。
2025-09-23 cs.LG
Finite-Time Guarantees for Constrained Reinforcement Learning under Partial Observability
University of Padova（帕多瓦大学）；EPFL（洛桑联邦理工学院）；SYCAMORE
针对部分可观测带约束强化学习的挑战，提出基于有限历史窗口近似的原-对偶算法，获首个联合约束奖励次优性与约束违反的非渐近保证，实验验证其有效性。
2026-10-16 cs.LG
Deep Decentralized Multi-task Multi-Agent Reinforcement Learning under Partial Observability
MIT（麻省理工学院）；Northeastern University（东北大学）；Boeing Research & Technology（波音研究与技术）
许多现实世界的任务涉及多个代理部分可观察性和有限的通信。学习是具有挑战性的，在这些设置中，由于代理的本地观点，认为世界是非静止的，由于同时探索的队友。为单个任务学习专门策略的方法在应用于现实世界时面临问题：代理不仅必须为每个任务学习和存储不同的策略，而且在实践中任务的身份往往是不可观察的，使得这些方法不适用。本文对部分可观测下的多任务多智能体强化学习问题进行了形式化描述和研究。我们引入了一种分散的单任务学习方法，该方法对队友的并发交互具有鲁棒性，并提出了一种方法，用于将单任务策略提炼为在多个相关任务中表现良好的统一策略，而无需明确提供任务身份。
2017-07-13 cs.AI cs.LG cs.MA
Proximal Reinforcement Learning: Efficient Off-Policy Evaluation in Partially Observed Markov Decision Processes
在将离线强化学习应用于观察数据时，例如在医疗保健或教育中，普遍关注的是观察到的行为可能会受到未观察到的因素的影响，从而导致在完美马尔可夫决策过程（MDP）模型假设下得出的混淆和偏差估计。在这里，我们通过考虑部分观察MDP（POMDP）中的政策外评估来解决这个问题。具体来说，我们考虑估计一个给定的目标政策的值在POMDP给定的轨迹，只有部分状态观测产生的不同的和未知的政策，可能取决于未观察到的状态。我们解决两个问题：什么条件下，让我们从观察到的数据，并确定目标的政策价值，给定的识别，如何最好地估计它。为了回答这些问题，我们扩展的框架，近端因果推理我们的POMDP设置，提供了各种设置，其中识别是可能的存在所谓的桥梁功能。然后，我们将展示如何在这些设置中构建半参数有效估计。我们将由此产生的框架称为近端强化学习（PRL）。我们证明了PRL的好处，在一个广泛的模拟研究和脓毒症管理的问题。
2023-03-22 cs.LG math.OC math.ST
Reinforcement Learning with Function-Valued Action Spaces for Partial Differential Equation Control
University of Alberta（阿尔伯塔大学）；Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））；Vector Institute（向量研究所）
最近的研究表明，强化学习（RL）是一种很有前途的方法来控制动力系统描述的偏微分方程（PDE）。本文展示了如何使用强化学习来解决更一般的PDE控制问题，这些问题具有连续的高维动作空间，动作维度之间具有空间关系。特别是，我们提出了动作描述符的概念，它编码的空间扩展的动作维度之间的冗余，使代理控制高维动作偏微分方程。我们提供的理论证据表明，这种方法可以更有效的样本相比，传统的方法，单独对待每个动作维度，并没有明确利用的动作空间的空间规律性。然后在深度确定性策略梯度算法中使用动作描述符方法。两个PDE控制问题的实验，高达256维的连续行动，所提出的方法比传统的优势。
2018-06-13 cs.AI cs.LG stat.ML
Many Agent Reinforcement Learning Under Partial Observability
University of Georgia（佐治亚大学）；University of Southern Mississippi（南密西西比大学）
最近对多智能体强化学习（MARL）的重新关注产生了一系列令人印象深刻的技术，这些技术利用了深度强化学习，主要是演员-评论家架构，并且可以应用于可观察性和通信方面的有限范围的设置。然而，这项工作的一个持续的限制是维度的灾难，当它涉及到基于联合行动的表示，这与代理的数量呈指数级增长。在本文中，我们直接关注可扩展性的这一挑战。我们将导致联合动作的置换不变性的动作匿名的关键见解应用于最近提出的两种深度MARL算法MADDPG和IA 2C，并将这些实例与另一种利用动作匿名的最近技术进行比较，即，平均场MARL我们表明，我们的实例可以学习更广泛的一类代理网络的最佳行为比平均场方法，使用最近推出的实用域。
2021-06-17 cs.AI cs.LG cs.MA
Pathfinding in Random Partially Observable Environments with Vision-Informed Deep Reinforcement Learning
Clarkson University（克拉克森大学）
深度强化学习是一种用于解决各种环境中问题的技术，从Atari视频游戏到股票交易。该方法利用深度神经网络模型来基于对给定环境的观察做出决策，目标是最大化奖励函数，该奖励函数可以包含实现目标的成本和奖励。为了寻路，奖励条件可以包括到达指定的目标区域以及移动的成本。在这项工作中，多个深度Q网络（DQN）代理被训练在部分可观察的环境中运行，目标是在最短的旅行时间内到达目标区域。代理基于其周围环境的视觉表示进行操作，因此具有有限的观察环境的能力。对DQN、DQN-GRU和DQN-LSTM进行了比较，以检查每个模型在两种不同类型输入下的能力。通过这种评估，它被证明，具有等效的训练和类似的模型架构，DQN模型能够优于其经常性的同行。
2022-09-11 cs.CV cs.LG
Multi-agent Off-policy Actor-Critic Reinforcement Learning for Partially Observable Environments
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
针对部分可观测环境，本文在去中心化多智能体异策略 actor-critic 中引入社会学习估计全局状态，证明误差 ε-有界且无需转移模型，实验优于现有方法。
2024-07-06 cs.LG cs.MA
PriPG-RL: Privileged Planner-Guided Reinforcement Learning for Partially Observable Systems with Anytime-Feasible MPC
Stockholm University（斯德哥尔摩大学）；Washington State University（华盛顿州立大学）
本文提出PriPG-RL方法，通过在训练期间独有的特权规划器代理，解决部分可观测系统的强化学习策略训练问题。方法结合了任何时间可行的MPC算法和P2P-SAC算法，提升样本效率和最终策略性能。
2026-04-09 cs.LG cs.RO
Near-Optimal Partially Observable Reinforcement Learning with Partial Online State Information
Department of Electrical Engineering, The State University of New York at Buffalo（电气工程系，纽约州立大学布法罗分校）；Department of Electrical and Computer Engineering, The Ohio State University（电气与计算机工程系，俄亥俄州立大学）；Department of Electrical and Computer Engineering and the Department of Computer Science and Engineering, The Ohio State University（电气与计算机工程系和计算机科学与工程系，俄亥俄州立大学）
本文研究了在部分在线状态信息下，如何通过高效算法实现近优的强化学习，揭示了POSI在不同POMDP子类中的学习可行性及性能保证。
2026-01-24 cs.AI cs.LG
A Comparative study of Artificial Neural Networks Using Reinforcement learning and Multidimensional Bayesian Classification Using Parzen Density Estimation for Identification of GC-EIMS Spectra of Partially Methylated Alditol Acetates
本研究报告的模式识别搜索引擎的开发，基于万维网的数据库的气相色谱-电子轰击质谱（GC-EIMS）的部分甲基化糖醇乙酸酯（PMAAs）。在这里，我们还报告了本研究所采用的两种模式识别技术的比较结果。第一种技术是使用贝叶斯分类器和Parzen密度估计器的统计技术。第二种技术涉及用强化学习训练的人工神经网络模块。我们在这里证明，这两个系统在识别光谱与少量的噪声表现良好。这两种系统的性能都随着信噪比（SNR）的降低而降低。当处理部分光谱（缺失数据）时，人工神经网络系统表现得更好。所开发的系统是在万维网上实现的，并打算使用提交的光谱记录在任何GC-EIMS仪器上的这些分子来识别PMAAs。因此，该系统对GC-EIMS光谱中的仪器和色谱柱相关变化不敏感。
2020-07-31 cs.LG cs.NE eess.SP
