Active Vision Reinforcement Learning under Limited Visual Observability
Stony Brook University（石溪大学）
针对部分可观测环境下主动视觉强化学习的双策略协调难题，提出SUGARL框架，以可学习的内在感觉运动奖励联合训练运动与感知策略，在多可观测性条件下有效且适配现有RL算法。
2023-11-06 cs.CV cs.LG cs.RO
Belief-State RWKV for Reinforcement Learning under Partial Observability
本文提出基于RWKV式循环序列模型的强化学习新方法，通过将固定大小的循环状态解释为信念状态，提升部分可观测环境下策略的鲁棒性与表现。
2026-04-01 cs.LG
Training Observable Control Policies to Expose Agent State Through Actions
Department of Aerospace and Mechanical Engineering（航空航天与机械工程系）
本文研究在通信受限下，通过强化学习训练智能体策略，使其动作更易用于状态估计，并在飞机跟踪问题中验证了可观测性提升对任务性能影响极小。
2026-06-29 cs.LG cs.SY eess.SY
The act of remembering: a study in partially observable reinforcement learning
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Element AI（元素人工智能公司）
强化学习（RL）代理通常学习无记忆策略--在选择动作时只考虑最后一次观察的策略。学习无记忆策略在完全可观察的环境中是有效和最优的。然而，当RL代理面临部分可观测性时，某种形式的记忆是必要的。在本文中，我们研究了一种轻量级的方法来解决RL中的部分可观性。我们为代理提供了一个外部存储器和额外的操作来控制写入内存的内容（如果有的话）。在每一步中，当前的内存状态都是代理观察的一部分，代理选择一个动作元组：一个动作修改环境，另一个动作修改内存。当外部记忆有足够的表现力时，最优无记忆策略会产生全局最优解。不幸的是，以前以二进制存储器的形式使用外部存储器的尝试在实践中产生了很差的结果。在这里，我们研究了其他形式的记忆，以支持学习有效的无记忆策略。我们的新形式的内存优于二进制和基于LSTM的内存在完善的部分可观察域。
2020-10-05 cs.AI cs.LG
SUB-PLAY: Adversarial Policies against Partially Observed Multi-Agent Reinforcement Learning Systems
Zhejiang University（浙江大学）；Laboratory for Big Data and Decision（大数据与决策实验室）；Chinese Aeronautical Establishment（中国航空研究院）；Institute of Computer Application, China Academy of Engineering Physics（中国工程物理研究院计算机应用研究所）
本研究提出新型黑盒攻击SUB-PLAY，可在多智能体竞争环境中利用部分观测生成对抗策略，经评估其有效性，还为MARL部署提供防御建议。
2026-09-01 cs.AI cs.CR cs.LG
Reinforcement Learning in POMDPs with Memoryless Options and Option-Observation Initiation Sets
Artificial Intelligence Lab, Vrije Universiteit Brussel（布鲁塞尔自由大学人工智能实验室）
许多现实世界的强化学习问题具有层次性，并且通常表现出一定程度的部分可观察性。虽然层次结构和部分可观测性通常是分开解决的（例如通过结合递归神经网络和选项），但我们表明，在许多情况下，同时解决这两个问题更简单，更有效。更具体地说，我们的初始设置的选项条件上的先前执行的选项，并表明，这样的选项观察初始集（OOI）的选项至少是表达有限状态控制器（FSC），一个国家的最先进的POMDPs学习方法。OOI很容易基于任务的直观描述进行设计，导致可解释的策略，并保持顶级和选项策略无记忆。我们的实验表明，OOI允许代理在挑战POMDPs时学习最优策略，同时比递归神经网络在选项上的样本效率更高。
2017-09-12 cs.AI cs.LG
Unbiased Asymmetric Reinforcement Learning under Partial Observability
Northeastern University（东北大学）
在部分可观察的强化学习中，离线训练可以访问在线训练和/或执行期间不可用的潜在信息，例如系统状态。非对称的行动者-批评者方法通过基于状态的批评者训练基于历史的策略来利用这些信息。然而，许多非对称方法缺乏理论基础，并且仅在有限的域上进行评估。我们研究了使用基于状态的批评的非对称演员-批评方法的理论，并揭示了破坏常见变体有效性的基本问题，并限制了其解决部分可观察性的能力。我们提出了一个无偏的非对称演员批评的变体，它能够利用状态信息，同时保持理论上的声音，保持策略梯度定理的有效性，并引入到训练过程中没有偏见和相对较低的方差。表现出显着的部分可观测性域进行的实证评估证实了我们的分析，表明无偏不对称的演员-评论家收敛到更好的政策和/或更快的对称和有偏不对称基线。
2022-01-30 cs.AI cs.LG
HOPE: Human-Centric Off-Policy Evaluation for E-Learning and Healthcare
North Carolina State University（北卡罗来纳州立大学）
强化学习（RL）已被广泛研究，以增强各种以人为中心的任务中的人与环境的交互，包括电子学习和医疗保健。由于在线部署和评估政策在这些任务中具有很高的风险，因此政策外评估（OPE）对于诱导有效的政策至关重要。然而，在以人为中心的环境中，OPE是具有挑战性的，因为底层状态通常是不可观察的，而只能观察到总体奖励（学生的考试成绩或患者最终是否出院）。在这项工作中，我们提出了一个以人为中心的OPE（希望），以处理部分可观察性和聚合奖励在这样的环境中。具体来说，我们重建即时回报的总回报，考虑部分可观察性估计预期的总回报。我们为所提出的方法提供了一个理论界限，并且我们在现实世界中以人为中心的任务中进行了广泛的实验，包括脓毒症治疗和智能辅导系统。我们的方法可靠地预测不同策略的回报，并使用标准验证方法和以人为中心的显著性测试来超越最先进的基准。
2023-02-18 cs.LG cs.MA
Model-Based Learning of Near-Optimal Finite-Window Policies in POMDPs
SYCAMORE group, Institute of Mechanical Engineering, EPFL（SYCAMORE小组，机械工程研究所，瑞士洛桑联邦理工学院）
研究基于模型的学习在POMDPs中有限窗口策略的近最优性，通过分析样本复杂性，提出高效的模型估计方法，结合价值迭代获得近最优策略。
2026-08-26 cs.LG
When Your AIs Deceive You: Challenges of Partial Observability in Reinforcement Learning from Human Feedback
University of Amsterdam（阿姆斯特丹大学）；UC Berkeley（加州大学伯克利分校）
研究部分可观测环境下RLHF的失败模式，定义欺骗性膨胀与过度辩护，证明其必然性条件并分析回报函数信息量，提出缓解方向并实验验证，警告盲目应用风险。
2024-11-17 cs.AI cs.LG stat.ML
Hierarchical Message-Passing Policies for Multi-Agent Reinforcement Learning
IDSIA USI-SUPSI, Università della Svizzera italiana（瑞士意大利语区大学IDSIA USI-SUPSI）；Politecnico di Milano（米兰理工大学）；EPFL（洛桑联邦理工学院）
提出一种结合分层强化学习和消息传递的多智能体策略学习方法，通过分层图结构实现智能体间的协调与规划，并设计基于优势函数的新颖奖励分配方法，在基准测试中取得优于现有技术的性能。
2026-07-01 cs.LG
Mind the Gap: Towards Generalizable Autonomous Penetration Testing via Domain Randomization and Meta-Reinforcement Learning
College of Electronic Engineering, National University of Defense Technology（国防科技大学电子工程学院）；Beijing National Research Center for Information Science and Technology, Tsinghua University（清华大学北京信息科学与技术国家研究中心）；College of Computer Science and Technology, National University of Defense Technology（国防科技大学计算机学院）
针对基于强化学习的自主渗透测试存在的训练环境困境和泛化能力差问题，提出GAP框架，通过Real-to-Sim-to-Real流水线、大语言模型驱动的域随机化及元强化学习，实现现实环境高效训练与跨场景泛化。
2025-02-11 cs.CR cs.LG
Action-Graph Policies: Learning Action Co-dependencies in Multi-Agent Reinforcement Learning
University of Southern California, Los Angeles, CA, USA（美国南加州大学）；DEVCOM Army Research Laboratory, Adelphi, MD, USA（美国陆军研究实验室）；DEVCOM ARL Army Research Office, Los Angeles, CA, USA（美国陆军研究办公室）
本文提出动作图策略，通过建模智能体动作间的依赖关系，提升多智能体强化学习中协调动作的性能和效率。
2026-02-22 cs.LG
SMACv2: An Improved Benchmark for Cooperative Multi-Agent Reinforcement Learning
EPFL（洛桑联邦理工学院）；University of Oxford（牛津大学）；University College London（伦敦大学学院）；Meta AI；University of Manchester（曼彻斯特大学）
本文针对SMAC基准缺乏随机性和部分可观测性、开环策略即可获胜的问题，提出程序化生成场景并引入扩展部分可观测性挑战的SMACv2，以要求闭环策略，为下一代MARL方法提供更具挑战性的基准。
2023-10-17 cs.LG cs.MA
Explainable Representation of Finite-Memory Policies for POMDPs using Decision Trees
Technical University of Munich（慕尼黑技术大学）；Nanyang Technological University（南洋理工大学）；Masaryk University（马萨里克大学）
本文提出通过决策树和Mealy机结合的方法，为POMDPs中的有限内存策略提供可解释且更小的表示，提升策略的可解释性。
2026-04-29 cs.AI cs.LG cs.RO
Modeling the effects of environmental and perceptual uncertainty using deterministic reinforcement learning dynamics with partial observability
University of Leeds（利兹大学）
评估由代理人对世界真实状态的部分观察所产生的不确定性的系统性影响对于理解广泛的情景至关重要。然而，以前的代理学习和决策建模工作要么缺乏系统的方法来描述这种不确定性的来源，要么把重点放在使用复杂的世界模型来获得最优策略上，这将对真实的代理施加不切实际的高认知需求。在这项工作中，我们的目标是有效地描述生物学上合理的和吝啬的学习代理人面对部分可观察的世界的涌现行为。因此，我们推导并提出了确定性强化学习动力学，其中代理只部分观察环境的真实状态。我们展示了广泛的适用性，我们的动态在不同类别的部分可观察的代理环境系统。我们发现，部分可观测性在一些特定的情况下创造了非直观的好处，指出了进一步研究这种影响的一般理解的方式。例如，部分观察型智能体可以更快、更稳定地学习更好的结果，甚至可以克服社会困境。此外，我们的方法允许应用动力系统理论的部分可观察的多智能体学习。在这方面，我们发现了灾难性极限环的出现，奖励制度之间的学习过程的关键放缓和学习动态的快速和缓慢方向的分离，所有这些都是由部分可观测性引起的。因此，所提出的动力学有可能成为生物学，社会科学和机器学习研究人员系统地研究相互作用的部分观察代理的影响的一个正式的，但实用的，轻量级的和强大的工具。
2022-04-14 cs.AI cs.LG cs.MA
Hierarchical Reinforcement Learning of Locomotion Policies in Response to Approaching Objects: A Preliminary Study
Brown University（布朗大学）
兔子和鸟等动物可以立即产生运动行为，以响应动态的、接近的物体，例如人或岩石，尽管可能以前从未见过该物体并且对该物体的属性的感知有限。最近，深度强化学习已经使复杂的运动学系统，如人形机器人，成功地从A点移动到B点。受自然界中动物先天反应行为观察的启发，我们希望将机器人运动的这一进展扩展到外部动态对象的设置，这些对象的属性对机器人来说是部分可观察的。作为实现这一目标的第一步，我们在MuJoCo中构建了一个仿真环境，在这个环境中，有足式机器人必须避免被一个球击中。我们探讨了动物通常拥有的先前运动经验是否有利于在一个拟议的分层强化学习框架下学习反应控制策略。初步结果支持这样的说法，即使用这种分层强化学习方法，即使考虑到部分可观测性（基于半径的对象可见性），学习也变得更有效。
2022-03-20 cs.LG cs.RO
Trajectory-Level Data Augmentation for Offline Reinforcement Learning
University of Applied Sciences Kempten（凯普滕应用科学大学）
本文提出一种离线强化学习的数据增强方法，通过利用任务结构和奖励、价值函数及日志策略的几何关系，提升有限子最优轨迹下的模型训练效果。
2026-05-13 cs.LG cs.RO stat.ML
Robust Recurrent Reinforcement Learning under Evolving Hidden Disturbances with Application to Rover Wheel Slip
The School of Aerospace, Transport and Manufacturing（航空航天、运输与制造学院）
本文提出三种新型算法，通过在LSTM网络中整合动作轨迹信息，提升部分可观测马尔可夫决策过程中的强化学习效率与性能。
2026-09-16 cs.LG
Real-World Reinforcement Learning of Active Perception Behaviors
University of Pennsylvania（宾夕法尼亚大学）；University of Liège（列日大学）；UC Berkeley（伯克利大学）
本文提出AAWR方法，通过特权传感器训练高效主动感知策略，提升机器人在部分可观测环境下的任务性能。
2025-12-01 cs.AI cs.LG cs.RO
Investigating Memory in Model-Free RL with POPGym Arcade
Faculty of Science and Technology, University of Macau（澳门大学科技学院）；Centre for AI, University College London（伦敦大学学院人工智能中心）
本文通过引入分析工具和POPGym Arcade环境套件，研究深度强化学习中的记忆机制，发现价值函数会将信用分配到无关历史，并展示分布外场景如何污染记忆。
2026-08-27 cs.AI cs.LG cs.RO
End-to-end RL Improves Dexterous Grasping Policies
NVIDIA；University of California, Berkeley（加州大学伯克利分校）
本文针对灵巧抓取中视觉端到端强化学习批大小受限的问题，提出将仿真器与PPO训练拆分到不同GPU的方法，使环境数量翻倍，并通过深度策略蒸馏到双目RGB网络，在仿真和真实世界中均超越此前最先进的视觉抓取结果。
2025-09-19 cs.LG cs.RO
Agent-Agnostic Centralized Training for Decentralized Multi-Agent Cooperative Driving
University of Freiburg（弗莱堡大学）；Ruhr University Bochum（波鸿鲁尔大学）；University of Technology Nuremberg（纽伦堡工业大学）
本文提出一种智能体无关的集中训练方法，利用带掩码注意力神经网络的非对称演员-评论家模型和单智能体强化学习，学习去中心化协同驾驶策略，以改善瓶颈路段交通流并缓解保守驾驶导致的减速。
2024-09-03 cs.LG cs.RO
Residual Policy Learning
MIT（麻省理工学院）
我们提出了残差策略学习（RPL）：一种使用无模型深度强化学习改进不可微策略的简单方法。RPL在复杂的机器人操作任务中蓬勃发展，其中良好但不完美的控制器可用。在这些任务中，从头开始的强化学习仍然是数据效率低下或难以处理的，但在初始控制器之上学习残差可以产生实质性的改进。我们研究RPL在六个具有挑战性的MuJoCo任务，涉及部分可观测性，传感器噪声，模型误设定，控制器误校准。对于初始控制器，我们考虑手工设计的政策和模型预测控制器与已知或学习的过渡模型。通过将学习与控制算法相结合，RPL可以执行长期的、稀疏奖励的任务，而强化学习单独无法完成这些任务。此外，我们发现，RPL一致，并大大提高了初始控制器。我们认为，RPL是一种很有前途的方法，可以结合深度强化学习和机器人控制的互补优势，推动两者独立实现的界限。视频和代码在https://k-r-allen.github.io/residual-policy-learning/。
2019-01-03 cs.LG cs.RO
Learning Suffers More Than the Policy Class Under Partial Observability: A Closed-Form Analysis
University College London（伦敦大学学院）
该研究通过闭式分析发现，部分可观测强化学习中学习偏差是性能差的主因，调整演员-评论家的前瞻步数可解决问题，提供了理论依据且经实验验证。
2026-08-10 cs.LG math.OC
Asymmetric Actor Critic for Image-Based Robot Learning
OpenAI；Carnegie Mellon University（卡内基梅隆大学）
深度强化学习（RL）已被证明是许多顺序决策领域的强大技术。然而，机器人技术对RL提出了许多挑战，最值得注意的是在物理系统上进行训练可能是昂贵和危险的，这引发了人们对使用物理模拟器学习控制策略的极大兴趣。虽然最近的几项工作在将模拟训练的政策转移到现实世界方面取得了可喜的成果，但它们往往没有充分利用模拟器的优势。在这项工作中，我们充分利用在模拟器中的状态可观性训练更好的政策，作为输入只有部分意见（RGBD图像）。我们通过采用Actor-Critic训练算法来做到这一点，其中评论家在完整状态上进行训练，而Actor（或策略）将渲染图像作为输入。我们的实验表明，使用这些不对称的输入显着提高性能的一系列模拟任务。最后，我们将这种方法与域随机化相结合，并展示了几个任务的真实机器人实验，如拾取，推动和移动块。我们实现了这种模拟到现实世界的转移，而无需对任何现实世界的数据进行训练。
2017-10-18 cs.AI cs.LG cs.RO
Provable Reinforcement Learning with a Short-Term Memory
Microsoft Research（微软研究院）；Princeton University（普林斯顿大学）
现实世界中的序列决策问题通常涉及部分可观测性，这要求智能体保持历史记忆，以便推断潜在状态，计划和做出好的决策。一般来说，处理部分可观测性是非常具有挑战性的，因为在学习部分可观测马尔可夫决策过程（POMDPs）时存在许多最坏情况的统计和计算障碍。出于在几个物理应用中的问题结构，以及一个常用的技术称为“帧堆叠”，本文提出了研究一个新的子类POMDPs，其潜在的状态可以解码的最新历史的一个短的长度$m$。我们建立了一组样本复杂性的上限和下限，用于在表格和丰富的观察设置（观察的数量是巨大的）中学习这类问题的接近最优的政策。特别是，在丰富的观测设置，我们开发了新的算法，使用一种新的“矩匹配”的方法与样本的复杂性，指数尺度与短长度$m$，而不是问题的地平线，是独立的观测数量。我们的研究结果表明，短期记忆足以在这些环境中进行强化学习。
2022-02-08 cs.AI cs.LG
Hierarchical Multi-agent Reinforcement Learning for Cyber Network Defense
Northeastern University（东北大学）；Dartmouth College（达特茅斯学院）
针对网络防御中策略空间大、部分可观测等挑战，提出融合领域知识的分层PPO架构，将防御任务分解为子任务训练子策略并由主策略协调，在CybORG Cage 4环境中多项指标优于基线。
2025-09-05 cs.CR cs.LG cs.MA
School of hard knocks: Curriculum analysis for Pommerman with a fixed computational budget
TCS Research（塔塔咨询服务研究部）；IIT Bombay（印度理工学院孟买分校）
Pommerman是一个混合合作/对抗多智能体环境，具有部分可观察性，有限或无通信，稀疏和延迟奖励以及限制性计算时间限制方面的挑战性特征。这使得强化学习（RL）方法的环境具有挑战性。在本文中，我们专注于开发一个课程，学习一个强大的和有前途的政策，在一个有限的计算预算的10万场比赛，从一个固定的基础政策（这本身是训练模仿嘈杂的专家政策）。从基本策略开始的所有RL算法都使用具有相同奖励函数的普通近端策略优化（PPO），它们之间的唯一区别是对手策略的混合和顺序。人们预计，从更简单的对手开始训练，然后逐渐增加对手的难度将有助于更快的学习，从而与从一开始就引入所有可用对手策略的基线相比，产生更强大的策略。我们测试了这一假设，并表明在有限的计算预算内，实际上更好的是“在艰难的学校学习”，即，几乎从一开始就反对所有可用的对手政策。我们还包括烧蚀研究，在那里我们研究修改弹药和炸弹爆炸强度的代理性能的基本环境属性的影响。
2021-02-24 cs.AI cs.LG cs.MA
Belief-State Engine: Augmenting LLMs for Principled Planning Under Partial Observability
针对大语言模型智能体在部分可观测环境下易过早承诺、策略漂移的问题，提出信念状态引擎（BSE），通过外部维护贝叶斯后验并仅暴露给模型，实现原则性规划，在Tiger和攻击图任务上提升回报与决策一致性。
2026-09-10 cs.AI cs.LG cs.RO
Adaptive Chemotherapy Control under Tumor Heterogeneity via Reinforcement Learning
University of Texas at Arlington（德克萨斯大学阿灵顿分校）
针对肿瘤异质性和耐药性，本研究比较了基于强化学习（TD3与DQN）的闭环化疗给药策略与开环最优控制基准，在100名虚拟患者队列中验证了其有效性，并揭示了疗效与给药一致性之间的权衡。
2026-09-14 cs.LG cs.SY eess.SY
Safe Reinforcement Learning From Pixels Using a Stochastic Latent Representation
我们解决了从像素观察安全的强化学习的问题。在这样的设置中的固有挑战是（1）在奖励优化和遵守安全约束之间的权衡，（2）部分可观测性，以及（3）高维观测。我们正式的问题，在一个受约束的，部分可观察的马尔可夫决策过程框架，代理获得不同的奖励和安全信号。为了解决维数灾难，我们采用了一种新的安全评论家使用随机潜在的演员批评（SLAC）的方法。潜变量模型预测奖励和安全违规，我们使用安全批评训练安全策略。使用著名的基准环境，我们证明了竞争力的性能超过现有的方法方面的计算要求，最终的回报，并满足安全约束。
2022-10-02 cs.AI cs.LG
Adaptive Honeypot Engagement through Reinforcement Learning of Semi-Markov Decision Processes
New York University（纽约大学）
蜜网是一种很有前途的主动网络防御机制。它通过引诱攻击者在受控和受监控的环境中进行对抗行为来揭示基本的妥协指标（IoC）。蜜网中的主动交互带来了高回报，但也引入了高实现成本和对抗性蜜网利用的风险。在这项工作中，我们采用无限时域半马尔可夫决策过程（SMDP）来描述一个随机的过渡和逗留时间的攻击者在蜜网和量化的回报风险权衡。特别是，我们设计的自适应长期参与政策是规避风险，具有成本效益和时间效率。数值结果表明，我们的自适应参与策略可以快速吸引攻击者到目标蜜罐，并与他们进行足够长的时间，以获得有价值的威胁信息。同时，穿透概率保持在较低水平。结果表明，期望效用对大范围的持久性和智能的攻击者是鲁棒的。最后，我们将强化学习应用到SMDP中，以解决建模的诅咒。在谨慎选择学习率和探索策略的情况下，实现了最优策略和最优值的快速鲁棒收敛。
2019-11-07 cs.AI cs.CR cs.GT
Enhancing Cooperative Multi-Agent Reinforcement Learning with State Modelling and Adversarial Exploration
School of Electrical；Archimedes, Athena Research Center, Greece；Department of Mathematics, ETH Zurich；Dept. of Mechanical Engineering \& Materials Science, Duke University；Dept. of Digital Systems, University of Piraeus, Greece
针对无通信分布式部分可观测环境下多智能体协作学习难题，提出含状态建模的MARL SMPE算法，通过置信表示融入策略与对抗式探索提升性能，在三类基准协作任务中超越现有最优算法。
2025-06-12 cs.AI cs.LG cs.MA
Scalable Multi-Agent Offline Reinforcement Learning and the Role of Information
Politecnico di Milano（米兰理工学院）
本文提出SCAM-FQI算法，通过信息共享网络实现可扩展的多智能体离线强化学习，理论证明其能高概率收敛到近最优策略，并在实验中验证了可扩展性与性能的平衡。
2025-06-05 cs.LG
Deep Reinforcement Learning Algorithm for Dynamic Pricing of Express Lanes with Multiple Access Locations
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文开发了一个深度强化学习（Deep-RL）框架，用于管理车道上的动态定价，该车道具有多址接入位置和旅行者的时间，起源和目的地价值的异质性。该框架放宽了文献中的假设，考虑多个起点和目的地，多址接入位置的管理车道，途中改道的旅客，部分可观测的传感器读数，随机需求和观察。该问题被制定为一个部分可观察的马尔可夫决策过程（POMDP）和政策梯度的方法来确定作为实时观测的函数的通行费。通行费被建模为连续和随机变量，并使用前馈神经网络确定。该方法进行了比较，对用于动态定价的反馈控制方法。我们表明，当在现实世界的交通网络上进行测试时，Deep-RL在学习最大化收入、最小化总系统旅行时间和其他联合加权目标的收费政策方面是有效的。Deep-RL收费策略通过生成比启发式算法高9.5%的收入来实现收入最大化目标，并且通过生成比启发式算法低10.4%的TSTT来实现最小化总系统行驶时间（TSTT）的目标，从而优于反馈控制启发式算法。我们还提出了POMDP的奖励塑造方法，以克服不希望的行为收费政策，如收入最大化政策的果酱和收获行为。此外，我们测试了在一组输入上训练的算法对于新输入分布的可移植性，并提供了关于Deep-RL算法实时实现的建议。我们实验的源代码可以在https://github.com/venktesh22/ExpressLanes_Deep-RL上获得
2019-09-10 cs.AI cs.LG cs.SY
Belief-Grounded Networks for Accelerated Robot Learning under Partial Observability
Northeastern University（东北大学）
许多重要的机器人问题是部分可观察的，因为单个视觉或力反馈测量不足以重建状态。标准的方法包括学习一个关于信念或观察-行动历史的政策。然而，这两种方法都有缺点;在线跟踪信念的成本很高，而且很难直接通过历史来学习策略。我们提出了一种在部分可观测性下进行策略学习的方法，称为基于信念的网络（BGN），其中辅助信念重建损失激励神经网络简明地总结其输入历史。由于所产生的策略是历史而不是信念的函数，因此它可以在运行时轻松执行。我们比较BGN与几个基线的经典基准任务，以及三个新的机器人触摸感应任务。BGN优于所有其他测试方法，其学习策略在转移到物理机器人上时工作良好。
2021-10-21 cs.AI cs.LG cs.RO
Attention-based Deep Reinforcement Learning for Multi-view Environments
Wayne State University（韦恩州立大学）
在强化学习算法中，通常只考虑环境的单个视图来做出所需的决策;然而，利用环境的多个视图可以帮助促进复杂策略的学习。由于视图可能经常遭受部分可观察性，因此它们提供的观察可以具有不同的重要性级别。在本文中，我们提出了一种新的基于注意力的深度强化学习方法在多视图环境中，其中每个视图可以提供各种代表性的信息的环境。具体来说，我们的方法学习一个政策，动态地参加的意见，环境的基础上，他们在决策过程中的重要性。我们评估我们的方法的性能TORCS赛车模拟器和其他三个复杂的3D环境中的障碍。
2019-05-10 cs.AI cs.LG stat.ML
Posterior Sampling for Competitive RL: Function Approximation and Partial Observation
Hong Kong University of Science and Technology（香港科技大学）；New York University（纽约大学）；Peking University（北京大学）；Northwestern University（西北大学）；Yale University（耶鲁大学）
本文针对零和马尔可夫博弈提出基于自博弈与对抗广义eluder系数的模型化后验采样算法，首次在完全及部分可观测场景下实现竞争性强化学习的通用低遗憾学习。
2023-10-30 cs.GT cs.LG stat.ML
Learning in Observable POMDPs, without Computationally Intractable Oracles
MIT（麻省理工学院）
大部分强化学习理论都是建立在计算上难以实现的预言之上的。特别是在部分可观测马尔可夫决策过程（POMDPs）中学习接近最优的策略，现有的算法要么需要对模型动态（例如确定性转换）做出强有力的假设，要么假设访问用于解决硬乐观规划或估计问题的Oracle作为子例程。在这项工作中，我们开发了第一个甲骨文免费的学习算法POMDPs在合理的假设。具体来说，我们给出了一个准多项式时间的端到端算法学习“可观测”POMDPs，其中可观测性是假设，以及分离分布状态诱导良好分离分布的意见。我们的技术规避了更传统的方法，使用不确定性下的乐观原则，以促进探索，而是给了一个新的应用重心spectrometry构建政策覆盖。
2022-06-07 cs.AI cs.DS cs.LG
Mitigating Partial Observability in Adaptive Traffic Signal Control with Transformers
University of Toronto（多伦多大学）；Ben-Gurion University of the Negev（本-古里安大学）
针对自适应交通信号控制中部分可观测性导致的控制效果受限问题，提出集成基于Transformer的控制器并优化训练策略，可捕捉历史观测信息以优化控制策略、改善交通流，为城市交通管理提供新方案。
2024-09-16 cs.LG cs.SY eess.SY
Sequential Monte Carlo for Policy Optimization in Continuous POMDPs
University of Amsterdam（阿姆斯特丹大学）；Aalto University（阿尔托大学）
本文提出了一种基于序列蒙特卡洛的策略优化方法，用于解决连续部分可观测马尔可夫决策过程中的探索与利用平衡问题。
2025-12-04 cs.AI cs.LG stat.ML
R2PS: Worst-Case Robust Real-Time Pursuit Strategies under Partial Observability
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所多模态人工智能系统国家重点实验室）
本文提出R2PS方法，通过动态规划和强化学习框架，在部分可观测环境下实现鲁棒的实时追捕策略，能泛化到未见图结构并优于现有方法。
2026-05-14 cs.LG
Alignment Verifiability in Large Language Models: Normative Indistinguishability under Behavioral Evaluation
Igor Santos-Grueiro（独立研究者）
本文研究了大语言模型对齐的可验证性，指出行为评估无法唯一确定潜在对齐，提出了规范不可区分性概念，并通过实验验证了在评估意识下行为基准的局限性。
2026-02-06 cs.AI cs.LG
Pessimistic Iterative Planning with RNNs for Robust POMDPs
Radboud University Nijmegen（奈杰姆大学拉德博德）
针对鲁棒POMDPs需记忆性且鲁棒性策略的问题，提出悲观迭代规划（PIP）框架及rFSCNet算法，交替选悲观POMDPs并优化循环神经网络计算有限状态控制器，实证性能优于基线及现有求解器。
2025-08-26 cs.AI cs.LG
Efficient and Optimal No-Regret Caching under Partial Observation
Avignon University（阿维尼翁大学）；ENS Lyon（里昂高等师范学院）；Inria（法国国家信息与自动化研究所）
针对部分观测下的缓存问题，基于 FPL 算法提出一种随机化缓存策略，首次实现渐近最优遗憾界限与常数摊销时间复杂度，并在合成与真实轨迹上验证了有效性。
2025-03-04 cs.LG cs.NI
Deceptive Path Planning via Reinforcement Learning with Graph Neural Networks
University of Virginia（弗吉尼亚大学）；U.S. Army Research Laboratory（美国陆军研究实验室）
本文提出基于强化学习与图神经网络的欺骗性路径规划方法，通过局部感知模型和新奖励机制，实现跨图泛化、可扩展及实时自适应。
2024-02-09 cs.LG
When Sensors Fail: Temporal Sequence Models for Robust PPO under Sensor Drift
MIT Lincoln Laboratory（MIT林肯实验室）；Harvard（哈佛大学）；MIT（麻省理工学院）
本文研究了在传感器漂移下PPO的鲁棒性，通过引入时序序列模型提升政策在部分可观测性和表示偏移下的性能。
2026-03-23 cs.AI cs.LG
What Capable Agents Must Know: Selection Theorems for Robust Decision-Making under Uncertainty
Machine Learning Department and Neuroscience & Robotics Institutes, Carnegie Mellon University（机器学习系和神经科学与机器人研究院，卡内基梅隆大学）
本文探讨了在不确定性下智能体必需的内部结构，证明了强任务表现迫使世界模型、信念记忆及持久变量的必要性，提出了选取定理以解决部分可观测性和任务分布下的决策问题。
2026-06-28 cs.AI cs.LG cs.RO
SCDP: Learning Humanoid Locomotion from Partial Observations via Mixed-Observation Distillation
SCDP通过混合观测蒸馏从部分观测中学习人形机器人运动，利用机载传感器实现高效可靠的真实机器人运动控制。
2026-03-10 cs.LG cs.RO
