Safe Reinforcement Learning via Shielding under Partial Observability
The University of Texas at Austin(得克萨斯大学奥斯汀分校);Radboud University(拉德堡德大学)
安全探索是强化学习(RL)中的一个常见问题,旨在防止智能体在探索其环境时做出灾难性的决策。这个问题的一系列方法假设领域知识的形式(部分)模型的环境,以决定安全的行动。所谓的屏蔽迫使RL代理只选择安全操作。然而,为了在各种应用中采用,人们必须超越安全性,并确保RL的适用性和良好的性能。我们通过与最先进的深度RL紧密集成来扩展屏蔽的适用性,并在部分可观测性下的具有挑战性的稀疏奖励环境中提供广泛的实证研究。我们表明,一个精心集成的盾牌,确保安全,可以提高RL代理的收敛速度和最终性能。我们还证明了屏蔽可以用来引导最先进的RL代理:它们在屏蔽设置中进行初始学习后仍然是安全的,这使得我们最终可以禁用可能过于保守的屏蔽。
2022-08-23 cs.AI
Benchmarking Partial Observability in Reinforcement Learning with a Suite of Memory-Improvable Domains
针对现有部分可观测强化学习基准覆盖形式单一、无法有效衡量记忆能力的问题,提出基准应具备的两个关键属性,发布开源库POBAX,提供多类代表性可记忆提升的环境及配套工具,助力相关研究。
2025-07-31 cs.AI cs.LG
Norm Monitoring under Partial Action Observability
Liverpool John Moores University(利物浦约翰摩尔斯大学);Lancaster University(兰卡斯特大学)
在使用规范控制多智能体系统的背景下,一个至关重要的问题,尚未在文献中得到解决的是部分行动可观测性下的规范遵守监测机制的发展。本文提出了重建未观察到的行动,以解决这个问题。特别是,我们正式重建未观察到的行动的问题,并提出了一个信息模型和算法,用于监测规范下的部分行动可观察性使用两个不同的过程重建未观察到的行动。我们的评估表明,重建未被观察到的行动显着增加了违反规范和履行检测的数量。
2016-04-21 cs.AI cs.MA
Planning for Proactive Assistance in Environments with Partial Observability
Arizona State University(亚利桑那州立大学)
本文讨论的问题,合成的行为的人工智能智能体,提供积极主动的任务协助人类在工厂车间,他们可能共存于一个共同的环境中的设置。与请求援助的情况不同,人类可能不期望主动援助,因此,对于代理人来说,确保人类意识到援助如何影响她的任务至关重要。当人类可能既不完全了解人工智能智能体的能力,也不完全了解其活动时,这就变得更加困难。因此,我们的\textit{proactive assistant}由以下三个原则指导:\textbf{(1)},其活动降低了人类实现其目标的成本; \textbf{(2)},人类能够认识到其成本的潜在降低; \textbf{(3)},其活动优化了人类实现其目标的总成本(时间/资源)。通过实证评估和用户研究,我们证明了我们的方法的实用性。
2021-09-04 cs.AI
NeSyFS: A Neuro-symbolic Fast-Slow Thinking Framework for LLM Agent under Partial Observability
该研究针对部分可观测场景下LLM智能体的决策挑战,提出NeSyFS神经符号快慢思考框架,结合知识图谱、TSMC算法与反思模块,在三个基准测试中表现优于现有方法。
2026-09-29 cs.AI
General Agents Contain World Models, even under Partial Observability and Stochasticity
Dovetail Research(Dovetail研究)
本研究证明了即使在部分可观测性和随机性下,通用智能体仍需学习环境模型。
2026-02-03 cs.AI
MASBench: Benchmarking LLM-based Multi-Agent Collaboration under Partial Observability
Beijing University of Posts and Telecommunications(北京邮电大学);Shanghai Jiao Tong University(上海交通大学);Tsinghua University(清华大学)
针对现有多智能体基准忽略部分可观测性的问题,提出MASBench基准,包含推理、调度、博弈三类任务,评估协议、记忆、路由三种协作机制,并提供性能、通信成本等确定性指标,指导MAS设计。
2026-11-05 cs.AI
GlobeDiff: State Diffusion Process for Partial Observability in Multi-Agent Systems
The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences(认知与决策智能复杂系统重点实验室,自动化研究所,中国科学院);Tsinghua University(清华大学);Moonshot AI;Nankai University(南开大学);Faculty of Computing, Harbin Institute of Technology(哈尔滨工业大学计算机学院)
GlobeDiff通过多模态扩散过程解决多智能体系统中部分可观测性问题,实现高保真度的全局状态推断。
2026-02-17 cs.AI
Unbiased Asymmetric Reinforcement Learning under Partial Observability
Northeastern University(东北大学)
在部分可观察的强化学习中,离线训练可以访问在线训练和/或执行期间不可用的潜在信息,例如系统状态。非对称的行动者-批评者方法通过基于状态的批评者训练基于历史的策略来利用这些信息。然而,许多非对称方法缺乏理论基础,并且仅在有限的域上进行评估。我们研究了使用基于状态的批评的非对称演员-批评方法的理论,并揭示了破坏常见变体有效性的基本问题,并限制了其解决部分可观察性的能力。我们提出了一个无偏的非对称演员批评的变体,它能够利用状态信息,同时保持理论上的声音,保持策略梯度定理的有效性,并引入到训练过程中没有偏见和相对较低的方差。表现出显着的部分可观测性域进行的实证评估证实了我们的分析,表明无偏不对称的演员-评论家收敛到更好的政策和/或更快的对称和有偏不对称基线。
2022-01-30 cs.AI cs.LG
Reinforcement Learning under Partial Observability Guided by Learned Environment Models
Silicon Austria Labs(奥地利硅实验室);Graz University of Technology(格拉茨技术大学)
在实际应用中,我们很少能假设系统环境的完全可观测性,尽管这些知识对于确定反应控制系统与其环境的精确相互作用是重要的。因此,我们提出了一种在部分可观察环境中进行强化学习(RL)的方法。虽然假设环境的行为就像一个部分可观察的马尔可夫决策过程与已知的离散行动,我们假设没有关于其结构或转移概率的知识。我们的方法将Q学习与IoAlergia相结合,IoAlergia是一种学习马尔可夫决策过程(MDP)的方法。通过学习MDP模型的环境,从情节的RL代理,我们使RL在部分可观察的领域没有明确的,额外的内存来跟踪以前的相互作用,处理来自部分可观察性的模糊性。相反,我们通过在学习的环境模型上模拟新的经验来跟踪探索的状态,以抽象环境状态的形式为RL提供额外的观察。在我们的评估中,我们报告了我们的方法的有效性及其与六种最先进的具有递归神经网络和固定记忆的深度RL技术相比的良好性能。
2022-06-23 cs.AI cs.LG
Assisting Unknown Teammates in Unknown Tasks: Ad Hoc Teamwork under Partial Observability
INESC-ID(INESC-ID 研究所);Instituto Superior Técnico(里斯本高等理工学院)
在本文中,我们提出了一种新的贝叶斯在线预测算法的问题设置的特设团队合作下的部分可观测性(ATPO),这使得在飞行中的合作与未知的队友执行未知的任务,而不需要一个预协调协议。与之前假设环境完全可观察状态的工作不同,ATPO适应部分可观察性,使用代理的观察来识别队友正在执行的任务。我们的方法既不假设队友的行为是可见的,也不假设环境奖励信号。我们评估ATPO在三个领域-两个修改后的版本的追求域与部分可观测性和煮过头域。我们的研究结果表明,ATPO是有效的和强大的识别队友的任务,从一个大的图书馆可能的任务,有效地解决它在接近最佳的时间,并可扩展的适应越来越大的问题大小。
2022-01-10 cs.AI cs.LG cs.MA
Zero-Shot Reinforcement Learning Under Partial Observability
本研究探讨部分可观测条件下零样本强化学习的性能退化,并提出基于记忆的架构作为有效补救,实验证明其优于无记忆基线。
2025-06-18 cs.AI cs.LG
A Convolution and Attention Based Encoder for Reinforcement Learning under Partial Observability
School of Engineering, The University of Newcastle(工程学院,新castle大学)
针对部分可观测强化学习问题,提出基于深度可分离卷积和自注意力的轻量级时序编码器,集成于actor-critic框架,在连续控制基准上取得优越性能并提升系统可扩展性。
2025-09-13 cs.AI cs.LG
Belief States for Cooperative Multi-Agent Reinforcement Learning under Partial Observability
Imperial College London(帝国理工学院)
本文提出利用自监督预训练的概率信念模型生成信念状态,并将其与基于状态的强化学习算法结合,以简化策略和价值函数学习,从而提升部分可观测条件下协作多智能体强化学习的收敛速度与最终性能。
2025-04-11 cs.AI cs.LG
Recurrent Deep Reinforcement Learning for Chemotherapy Control under Partial Observability
University of Padova(帕多瓦大学);University of Biskra(比斯克拉大学)
该研究针对部分可观测的临床场景,提出基于循环TD3与LSTM演员-评论家的强化学习方法,在AhnChemoEnv基准上验证其相比前馈算法能更稳定地优化化疗剂量,提升肿瘤抑制与正常细胞保护效果。
2026-05-04 cs.AI cs.LG
Reasoning with Scene Graphs for Robot Planning under Partial Observability
部分可观测域中的机器人规划是困难的,因为机器人需要同时估计当前状态和规划动作。当域包括许多对象时,关于对象及其关系的推理使得机器人规划更加困难。在本文中,我们开发了一种算法,称为景物分析的机器人规划(SARP),使机器人的原因与视觉上下文信息实现长期目标的不确定性。SARP使用从不同位置捕获的图像构建场景图,这是对象及其关系的因子表示,并使用它们进行推理,以实现部分可观察性下的上下文感知机器人规划。实验已经进行了使用多个3D环境中的模拟,和一个真实的机器人收集的数据集。与标准机器人规划和景物分析方法相比,在目标搜索域中,SARP提高了任务完成的效率和准确性。补充材料可在https://tinyurl.com/sarp22上找到
2022-02-21 cs.AI cs.RO
Forager: a lightweight testbed for continual learning with partial observability in RL
本文提出Forager,一个轻量级部分可观察连续学习环境,用于测试当前CRL代理的挑战与性能,展示状态构造对连续学习的重要性。
2026-10-20 cs.AI cs.LG
Assessing the Impact of Context Inference Error and Partial Observability on RL Methods for Just-In-Time Adaptive Interventions
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);University of Michigan(密歇根大学);Harvard University(哈佛大学)
本研究探索强化学习在即时自适应干预选项选择策略中的应用,发现上下文推断的不确定性传播对提升干预效果至关重要,且策略梯度算法对部分可观测行为状态具有显著鲁棒性。
2023-05-17 cs.AI cs.LG
Uncertainty Representations in State-Space Layers for Deep Reinforcement Learning under Partial Observability
Bosch Corporate Research(博世企业研究院);Technical University Darmstadt(达姆施塔特工业大学);German Research Center for AI (DFKI)(德国人工智能研究中心);Centre for Cognitive Science(认知科学中心)
针对部分可观测强化学习中序列模型缺乏显式不确定性表示的问题,提出可端到端训练、并行扫描且可替换循环层的 Kalman filter 层,并在不确定性关键任务中优于有状态基线。
2025-02-18 cs.AI cs.LG
Versatile Navigation under Partial Observability via Value-guided Diffusion Policy
Illinois Institute of Technology(伊利诺伊理工学院);Carnegie Mellon University(卡内基梅隆大学)
针对部分可观测导航中自回归短视及扩散方法依赖专家、难泛化的问题,提出价值引导扩散策略与点云鸟瞰投影,实现二维到三维零样本迁移并超越基线。
2024-04-01 cs.AI cs.RO
Neuro-Symbolic Meta-Policies for Temporal Knowledge-Graph Memory under Partial Observability
HumemAI(胡梅人工智能公司);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);ELLIS Institute Finland & Abo Akademi University(芬兰埃利斯研究所和图尔库大学)
研究部分可观测性下的强化学习,提出神经符号元策略,结合知识图谱编码与值头,通过RDF表示等实现语义网基础,在特定设置下限定符感知的StarE - GNN配置性能最佳且有可追溯性。
2026-11-02 cs.AI
Making Friends in the Dark: Ad Hoc Teamwork Under Partial Observability
INESC-ID(INESC-ID(高等工程系统与计算机研究所));Instituto Superior Técnico, University of Lisbon(里斯本大学高等技术学院);Pontifícia Universidade Católica do Rio de Janeiro(里约热内卢天主教大学)
该研究定义了部分可观测下的ad hoc团队协作场景,提出仅靠先验知识和部分观测的模型驱动方法,在70个POMDP上验证了其协助未知队友的有效性与扩展性。
2023-09-30 cs.AI cs.MA
Why Generalization in RL is Difficult: Epistemic POMDPs and Implicit Partial Observability
UC Berkeley(加州大学伯克利分校);Princeton University(普林斯顿大学);Facebook AI Research(脸书人工智能研究院)
泛化是强化学习(RL)系统在现实世界中部署的核心挑战。在本文中,我们证明了RL问题的顺序结构需要新的方法来推广,超越了监督学习中使用的研究充分的技术。虽然监督学习方法可以有效地推广,而不明确占认知的不确定性,我们表明,也许令人惊讶的是,这是不是在RL的情况。我们发现,从有限数量的训练条件推广到看不见的测试条件会导致隐式部分可观察性,甚至有效地将完全观察到的MDP转化为POMDP。根据这一观察,我们将强化学习中的泛化问题重新定义为解决诱导的部分可观察马尔可夫决策过程,我们称之为认知POMDP。我们证明了故障模式的算法,不适当地处理这部分的可观测性,并提出了一个简单的集成为基础的技术,近似解决部分观察到的问题。从经验上讲,我们证明了我们的简单算法来自认知POMDP实现了显着的收益,在推广目前的方法上的Procgen基准套件。
2021-07-13 cs.AI cs.LG stat.ML
Deep Decentralized Multi-task Multi-Agent Reinforcement Learning under Partial Observability
MIT(麻省理工学院);Northeastern University(东北大学);Boeing Research & Technology(波音研究与技术)
许多现实世界的任务涉及多个代理部分可观察性和有限的通信。学习是具有挑战性的,在这些设置中,由于代理的本地观点,认为世界是非静止的,由于同时探索的队友。为单个任务学习专门策略的方法在应用于现实世界时面临问题:代理不仅必须为每个任务学习和存储不同的策略,而且在实践中任务的身份往往是不可观察的,使得这些方法不适用。本文对部分可观测下的多任务多智能体强化学习问题进行了形式化描述和研究。我们引入了一种分散的单任务学习方法,该方法对队友的并发交互具有鲁棒性,并提出了一种方法,用于将单任务策略提炼为在多个相关任务中表现良好的统一策略,而无需明确提供任务身份。
2017-07-13 cs.AI cs.LG cs.MA
Efficient Planning under Partial Observability with Unnormalized Q Functions and Spectral Learning
McGill University(麦吉尔大学);Quebec AI Institute (MILA)(魁北克人工智能研究所(MILA));Université de Montréal(蒙特利尔大学);Deepmind(深度思维(Deepmind))
部分可观测域的学习和规划是强化学习的难点之一。传统的方法认为这两个问题是独立的,导致经典的两阶段范式:首先学习环境动态,然后相应地计划。然而,这种方法将这两个问题分开,因此可能导致样本效率低下且耗时的算法。在本文中,我们提出了一种新的算法,结合学习和规划在一起。我们的算法是密切相关的谱学习算法的预测状态表示,并提供了有吸引力的理论保证和时间复杂度。我们经验表明,我们的方法是更样本和时间效率相比,经典的方法在两个领域。
2019-11-22 cs.AI cs.LG
Learning Spatiotemporal Decision Priors for Efficient Path Planning under Partial Observability
College of Intelligent Robotics and Advanced Manufacturing, Fudan University(智能机器人与先进制造学院,复旦大学);School of Information Science and Technology, Fudan University(信息科学与技术学院,复旦大学);Department of Information Technology, Old Dominion University(信息技术系,老 Dominion 大学)
研究部分可观测性下的路径规划问题,提出ImiPath框架,从示范轨迹提炼时空决策先验,经局部时空观测表示和时空注意力策略网络转换为决策先验并纳入异构规划器,提升路径质量与搜索效率,验证了框架的适应性和实际部署潜力。
2026-07-27 cs.AI cs.RO
Guided Policy Optimization under Partial Observability
School of Advanced Manufacturing and Robotics, Peking University(北京大学先进制造与机器人学院);School of Computer Science, Peking University(北京大学计算机科学学院)
本文提出GPO框架,通过联合训练指导器和学习器,在部分可观察环境中实现与直接RL相当的最优性能,有效解决现有方法的局限性。
2026-03-13 cs.AI cs.LG cs.RO
Belief-Grounded Networks for Accelerated Robot Learning under Partial Observability
Northeastern University(东北大学)
许多重要的机器人问题是部分可观察的,因为单个视觉或力反馈测量不足以重建状态。标准的方法包括学习一个关于信念或观察-行动历史的政策。然而,这两种方法都有缺点;在线跟踪信念的成本很高,而且很难直接通过历史来学习策略。我们提出了一种在部分可观测性下进行策略学习的方法,称为基于信念的网络(BGN),其中辅助信念重建损失激励神经网络简明地总结其输入历史。由于所产生的策略是历史而不是信念的函数,因此它可以在运行时轻松执行。我们比较BGN与几个基线的经典基准任务,以及三个新的机器人触摸感应任务。BGN优于所有其他测试方法,其学习策略在转移到物理机器人上时工作良好。
2021-10-21 cs.AI cs.LG cs.RO
Multi-Step First: A Lightweight Deep Reinforcement Learning Strategy for Robust Continuous Control with Partial Observability
Electrical and Computer Engineering, University of Waterloo(滑铁卢大学电气与计算机工程系);Electrical and Computer Systems Engineering, Monash University(墨尔本大学电气与计算机系统工程系);Knowledge Integration, University of Waterloo(滑铁卢大学知识整合中心);Data61, CSIRO(CSIRO数据61研究中心)
本文通过比较PPO、TD3和SAC在连续控制基准的POMDP变体上的表现,发现PPO在部分可观测性下更鲁棒,归因于多步bootstrap的稳定作用,并提出改进TD3和SAC的多步目标方法。
2026-03-21 cs.AI cs.RO
Equivariant Reinforcement Learning under Partial Observability
Khoury College of Computer Sciences, Northeastern University(东北大学科里计算机学院)
本文研究部分可观测机器人学习领域,通过将特定群对称性等变性编码到神经网络中,使actor-critic强化学习智能体能够复用相关场景的解决方案,从而在样本效率和最终性能上显著超越非等变方法。
2024-08-26 cs.AI cs.CV cs.RO
On overfitting and asymptotic bias in batch reinforcement learning with partial observability
McGill University(麦吉尔大学);University of Liege(列日大学)
本文分析了在具有部分可观测性的强化学习背景下,渐近偏差(无限数据的次优性)和过拟合(由于有限数据而导致的额外次优性)之间的权衡。我们的理论分析正式表征,虽然可能会增加渐近偏差,一个较小的状态表示降低过拟合的风险。该分析依赖于通过绑定相关联的置信状态的L1误差项来表达状态表示的质量。理论结果的经验表明,当状态表示是一个截断的历史观测,无论是在合成POMDP和大规模POMDP的背景下,智能电网,与现实世界的数据。最后,类似于已知的结果在完全可观察的设置,我们还简要讨论和经验说明如何使用函数逼近器和适应折扣因子可以增强渐近偏差和过度拟合之间的权衡在部分可观察的上下文中。
2019-02-06 cs.AI cs.LG stat.ML
Short-Term-to-Long-Term Memory Transfer for Knowledge Graphs under Partial Observability
本文研究了在部分可观测性下知识图谱中的短期到长期记忆转移问题,提出了一种基于神经符号价值决策的方法,通过在长期插入前决定保留或丢弃观察到的三元组,从而提升记忆效率,并在RoomKG基准测试中优于符号和神经基线方法。
2026-07-29 cs.AI cs.LG
Many Agent Reinforcement Learning Under Partial Observability
University of Georgia(佐治亚大学);University of Southern Mississippi(南密西西比大学)
最近对多智能体强化学习(MARL)的重新关注产生了一系列令人印象深刻的技术,这些技术利用了深度强化学习,主要是演员-评论家架构,并且可以应用于可观察性和通信方面的有限范围的设置。然而,这项工作的一个持续的限制是维度的灾难,当它涉及到基于联合行动的表示,这与代理的数量呈指数级增长。在本文中,我们直接关注可扩展性的这一挑战。我们将导致联合动作的置换不变性的动作匿名的关键见解应用于最近提出的两种深度MARL算法MADDPG和IA 2C,并将这些实例与另一种利用动作匿名的最近技术进行比较,即,平均场MARL我们表明,我们的实例可以学习更广泛的一类代理网络的最佳行为比平均场方法,使用最近推出的实用域。
2021-06-17 cs.AI cs.LG cs.MA
Imprecise Probabilities Meet Partial Observability: Game Semantics for Robust POMDPs
Radboud University(拉德堡德大学);Ruhr-University Bochum(波鸿鲁尔大学)
本文扩展了鲁棒POMDPs的理论理解,证明不确定性集的不同假设会影响最优策略和值,并提出其具有部分可观测随机博弈(POSG)语义,进而证明纳什均衡的存在性,同时对现有文献进行了分类。
2024-07-29 cs.AI cs.GT
QMDP-Net: Deep Learning for Planning under Partial Observability
NUS Graduate School for Integrative Sciences and Engineering(新加坡国立大学综合科学与工程研究生院)
本文介绍了QMDP网,一种用于部分可观测规划的神经网络结构。QMDP-net结合了无模型学习和基于模型的规划的优势。它是一个循环策略网络,但它通过将模型与求解模型的规划算法相连接来表示一组参数化任务的策略,从而将规划的解决方案结构嵌入到网络学习架构中。QMDP-net是完全可区分的,并允许端到端的培训。我们训练不同任务的QMDP-net,使其可以推广到参数化任务集中的新任务,并“转移”到其他类似的任务。在初步的实验中,QMDP-net在模拟中的几个机器人任务上表现出强大的性能。有趣的是,虽然QMDP-net对QMDP算法进行了编码,但由于端到端的学习,它在实验中有时会优于QMDP算法。
2017-11-03 cs.AI cs.LG cs.NE
Multi-Environment POMDPs: Discrete Model Uncertainty Under Partial Observability
Radboud University(拉德堡德大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Antwerp(安特卫普大学);Ruhr-University Bochum(波鸿鲁尔大学);Radboud University Bochum(波鸿鲁尔大学)
针对部分可观测场景下的离散模型不确定性问题,研究提出多环境POMDP的推广形式对抗信念POMDP,证明其可约简性并设计精确与近似鲁棒策略算法,可应用于扩展的标准POMDP基准。
2025-10-27 cs.AI
When Your AIs Deceive You: Challenges of Partial Observability in Reinforcement Learning from Human Feedback
University of Amsterdam(阿姆斯特丹大学);UC Berkeley(加州大学伯克利分校)
研究部分可观测环境下RLHF的失败模式,定义欺骗性膨胀与过度辩护,证明其必然性条件并分析回报函数信息量,提出缓解方向并实验验证,警告盲目应用风险。
2024-11-17 cs.AI cs.LG stat.ML
Multi-View Causal Representation Learning with Partial Observability
Institute of Science and Technology Austria(奥地利科学技术研究所);Max Planck Institute for Intelligent Systems, Tübingen(图宾根马克斯·普朗克智能系统研究所);University of Amsterdam(阿姆斯特丹大学);Samsung - SAIT AI Lab(三星SAIT AI实验室);Mila, Université de Montréal(蒙特利尔大学Mila研究所);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);ServiceNow Research(ServiceNow研究院);University of Tübingen(图宾根大学);University of Cambridge(剑桥大学)
该研究提出部分可观测下的多视图因果表示学习统一框架,证明对比学习可辨识视图共享信息,给出可辨识性代数图判据,统一拓展相关领域研究,实验验证了多部分视图可学习更细粒度表示。
2024-03-08 cs.AI cs.LG
LLMs for Text-Based Exploration and Navigation Under Partial Observability
AKIS -- Interdisciplinary Institute for Applied AI and Data Science Ruhr(AKIS——鲁尔跨学科应用人工智能与数据科学研究所);Bochum University of Applied Sciences(波鸿应用科学大学)
本文研究了大型语言模型在部分可观测环境下作为纯文本控制器的可行性,评估了九种不同LLM在探索和导航任务中的表现,发现推理调优模型在导航任务中表现更可靠,但效率仍低于理想路径。
2026-03-10 cs.AI cs.LG
Modeling the effects of environmental and perceptual uncertainty using deterministic reinforcement learning dynamics with partial observability
University of Leeds(利兹大学)
评估由代理人对世界真实状态的部分观察所产生的不确定性的系统性影响对于理解广泛的情景至关重要。然而,以前的代理学习和决策建模工作要么缺乏系统的方法来描述这种不确定性的来源,要么把重点放在使用复杂的世界模型来获得最优策略上,这将对真实的代理施加不切实际的高认知需求。在这项工作中,我们的目标是有效地描述生物学上合理的和吝啬的学习代理人面对部分可观察的世界的涌现行为。因此,我们推导并提出了确定性强化学习动力学,其中代理只部分观察环境的真实状态。我们展示了广泛的适用性,我们的动态在不同类别的部分可观察的代理环境系统。我们发现,部分可观测性在一些特定的情况下创造了非直观的好处,指出了进一步研究这种影响的一般理解的方式。例如,部分观察型智能体可以更快、更稳定地学习更好的结果,甚至可以克服社会困境。此外,我们的方法允许应用动力系统理论的部分可观察的多智能体学习。在这方面,我们发现了灾难性极限环的出现,奖励制度之间的学习过程的关键放缓和学习动态的快速和缓慢方向的分离,所有这些都是由部分可观测性引起的。因此,所提出的动力学有可能成为生物学,社会科学和机器学习研究人员系统地研究相互作用的部分观察代理的影响的一个正式的,但实用的,轻量级的和强大的工具。
2022-04-14 cs.AI cs.LG cs.MA
Optimal sensor deception in stochastic environments with partial observability to mislead a robot to a decoy goal
Missouri State University(密苏里州立大学)
本文研究在部分可观测随机环境中,如何在有限预算下篡改传感器事件以误导机器人到达诱饵目标,通过归约0/1背包问题证明问题难度,并提出MILP方法求解最优欺骗策略。
2025-03-07 cs.AI cs.RO
Learning Models of Adversarial Agent Behavior under Partial Observability
Institute of Robotics and Intelligent Machines(机器人与智能机器研究所);Georgia Institute of Technology(佐治亚理工学院)
本文提出GrAMMI,一种基于图神经网络和互信息最大化的方法,用于在部分可观测条件下建模对抗智能体行为,并在两个大规模追逃领域中以平均31.68%的对数似然提升优于所有基线。
2023-07-05 cs.AI cs.LG cs.MA
Predictive Coding Enhances Meta-RL To Achieve Interpretable Bayes-Optimal Belief Representation Under Partial Observability
University of Washington(华盛顿大学);Allen Institute for Neural Dynamics(神经动态研究院);Google DeepMind(谷歌DeepMind)
本研究受神经科学预测编码启发,将自监督预测模块引入元强化学习,以促进部分可观测环境下可解释的贝叶斯最优信念表示学习,实验证明该方法在表示质量、策略学习和泛化上均优于传统元强化学习。
2025-10-24 cs.AI q-bio.NC
Networked Agents in the Dark: Team Value Learning under Partial Observability
INESC-ID/Instituto Superior Técnico(INESC-ID/高等技术学院);PUC-Rio(里约天主教大学)
针对网络化智能体在部分可观测下的协作问题,提出基于共识机制与梯度下降的分布式MARL方法DNA-MARL,在基准场景中性能优于现有方法,拓展了现实应用范围。
2025-01-15 cs.AI cs.LG cs.MA
A Projective Simulation Scheme for Partially-Observable Multi-Agent Systems
Isfahan University of Technology(伊斯法罕理工大学)
该研究将部分可观测性引入投射仿真(PS)学习方法,通过添加信念投影算子与可观测性参数实现,并给出理论公式、网络表示及入侵玩具问题衍生场景,为多智能体PS模型提供研究起点。
2019-05-22 cs.AI quant-ph
Knowledge-based Reasoning and Learning under Partial Observability in Ad Hoc Teamwork
University of Birmingham(伯明翰大学)
本文扩展基于非单调逻辑推理与有限样本行为模型的临时团队协作架构,支持模型在线学习适配及部分可观测、受限通信下协作,并在 Fort Attack 和 Half Field Offense 中验证其性能优于或持平数据驱动基线。
2023-06-01 cs.AI cs.LO cs.MA
Planning Commitment of LLM under Partial Observability
Drexel University(德雷塞尔大学);Northeastern University(东北大学);University of California Irvine(加州大学欧文分校);University of Pennsylvania(宾夕法尼亚大学)
该研究针对部分可观测环境下LLM规划的安全与效率权衡,提出并验证了激进、保守及混合策略,揭示了LLM对先验信息的依赖特性,为可控规划提供了可调平衡方案。
2026-10-20 cs.AI cs.CL
Belief Memory: Agent Memory Under Partial Observability
MBZUAI;RIKEN AIP;UT Austin;Wuhan University(武汉大学)
本文提出BeliefMem,通过保留多个候选结论及其概率,解决智能体在部分可观测环境中记忆的不确定性问题,实验证明其在LoCoMo和ALFWorld基准上表现优异。
2026-05-08 cs.AI cs.CL
LLM Agents for Deliberative Collaboration: A Study on Joint Decision Making Under Partial Observability
Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系);Fuzhou University(福州大学)
研究部分可观测联合决策任务下的协商LLM智能体,通过形式化问题、引入基准、实例化框架和协议并评估LLMs,发现复杂任务仍挑战语言模型,协商过程有反思纠错机会,为评估改进LLM智能体奠定基础。
2026-07-08 cs.AI cs.CL
ASK in the Dark: Uncertainty-Gated LLM Assistance under Partial Observability
Kunumi Institute(库努米研究所);King’s College London(伦敦国王学院)
研究部分可观测性下强化学习智能体,指出普通不确定性门控方法失败原因是上下文问题。提出ASK+,为语言模型提供轨迹感知上下文和结构化推理,证明预测熵信号可行,在多环境中取得更好效果,强调提示设计重要性。
2026-07-07 cs.AI cs.LG
When Does Adaptive Guidance Help? Belief-Aware Privileged Distillation for Autonomous Driving Under Partial Observability
TUBITAK BILGEM Artificial Intelligence Institute(土耳其TUBITAK BILGEM人工智能研究所)
本文提出信念感知GSAC(BA-GSAC),通过集成分歧动态调节蒸馏系数,系统研究自适应引导在部分可观测自动驾驶中的有效性,发现严重遮挡下系数过早崩溃,并揭示可观测性盲区问题。
2026-05-24 cs.AI cs.LG cs.RO
Symmetry-aware Reinforcement Learning for Robotic Assembly under Partial Observability with a Soft Wrist
Northeastern University(东北大学);OMRON SINIC X Corporation(欧姆龙SINIC X公司)
该研究针对软手腕机器人孔轴装配任务,提出利用领域对称性进行数据增强和辅助损失约束的部分可观测深度强化学习方法,在仿真和真实机器人上均实现了高效学习。
2024-04-29 cs.AI cs.LG cs.RO
Macro-Action-Based Multi-Agent/Robot Deep Reinforcement Learning under Partial Observability
Khoury College of Computer Sciences(库里计算机学院)
最先进的多智能体强化学习(MARL)方法为各种复杂问题提供了有前途的解决方案。然而,这些方法都假设代理执行同步的连续动作执行,使得它们不能真正扩展到长期现实世界的多代理/机器人任务,这些任务本质上要求代理/机器人在不同的持续时间异步推理高级别的动作选择。MacDec-POMDP(Mac-Action Decentralized Partially Observable Markov Decision Process)是一种用于完全协作多智能体任务中不确定异步决策的通用形式化描述。在这篇论文中,我们首先提出了一组基于价值的强化学习方法的MacDec-POMDPs,其中代理被允许执行异步学习和决策与宏动作价值函数在三个范式:分散学习和控制,集中学习和控制,和集中训练分散执行(CTDE)。在上述工作的基础上,我们制定了一套基于宏动作的策略梯度算法的三种训练范式下,代理被允许直接优化其参数化的政策在一个异步的方式。我们评估我们的方法在模拟和真实的机器人在各种现实的域。实证结果表明,我们的方法在大型多智能体问题的优越性,并验证了我们的算法的有效性,学习高质量和异步的解决方案与宏观行动。
2022-10-11 cs.AI cs.MA cs.RO
Action-Conditioned Risk Gating for Safety-Critical Control under Partial Observability
University of Virginia(弗吉尼亚大学);Google(谷歌);University of Maryland, College Park(马里兰大学 College Park 分校);Stanford University(斯坦福大学);Louisiana State University(路易斯安那州立大学);College of William and Mary(威廉与玛丽学院)
本文提出一种轻量级风险门控强化学习方法,用于部分可观测环境下风险敏感控制。通过构建紧凑的有限历史代理状态并学习动作条件化的短期安全违规预测,实现风险惩罚与决策时的保守评估,提升安全关键任务的性能与效率。
2026-05-14 cs.AI cs.LG cs.SY