POPGym: Benchmarking Partially Observable Reinforcement Learning
强化学习(RL)的现实应用通常是部分可观察的,因此需要记忆。尽管如此,部分可观察性仍然在很大程度上被当代RL基准和库所忽视。我们介绍了部分可观察过程Gym(POPGym),这是一个由两部分组成的库,包含(1)15个部分可观察环境的不同集合,每个环境都有多个困难,以及(2)13个内存模型基线的实现-在单个RL库中最多。现有的部分可观察基准往往专注于3D视觉导航,这是计算昂贵,只有一种类型的POMDP。相比之下,POPGym环境是多样化的,产生更小的观察结果,使用更少的内存,并且通常在消费级GPU上训练两小时内收敛。我们在流行的RLlib框架之上实现了高级内存API和内存基线,为各种训练算法、探索策略和分布式训练范式提供了即插即用的兼容性。使用POPGym,我们执行了迄今为止最大的RL内存模型比较。POPGym可在https://github.com/proroklab/popgym上获得。
2023-03-03 cs.AI cs.LG cs.RO
Combined Model for Partially-Observable and Non-Observable Task Switching: Solving Hierarchical Reinforcement Learning Problems Statically and Dynamically with Transfer Learning
Middle Tennessee State University(中田纳西州立大学)
完全自主机器人和人类的一个不可或缺的功能是能够将注意力集中在一些相关的感知上以达到某个目标,同时忽略不相关的感知。人类和动物依靠前额叶皮层(PFC)和基底神经节(BG)之间的相互作用来实现这种称为工作记忆(WM)的焦点。工作记忆工具包(WMtk)是基于这种现象的计算神经科学模型与自治系统的时间差异(TD)学习开发的。工具包的最新调整要么利用抽象任务表示(ATR)来解决不可观察(NO)任务,要么存储过去的输入特征来解决部分可观察(PO)任务,但不能两者兼而有之。我们提出了一个新的模型,PONOWMtk,它结合了这两种方法,ATR和输入存储,与一个静态或动态的ATR数量。我们的实验结果表明,PONOWMtk执行有效的任务,表现出PO,NO,或两者兼而有之。
2020-04-17 cs.AI cs.LG
Regret Minimization in Partially Observable Linear Quadratic Control
California Institute of Technology(加州理工学院)
研究了部分可观测线性二次型控制系统在模型动态先验未知时的后悔最小化问题。我们提出了ExpCommit,一个探索然后提交算法,学习模型马尔可夫参数,然后遵循乐观的原则,面对不确定性设计控制器。我们提出了一种新的方法来分解遗憾,并提供了一个端到端的次线性遗憾上界的部分可观测线性二次控制。最后,我们提供了稳定性保证,并建立了ExpCommit的遗憾上限$\tilde{\mathcal{O}}(T^{2/3})$,其中$T$是问题的时间范围。
2020-03-08 cs.LG math.OC stat.ML
Bandits with Partially Observable Confounded Data
Technion, Israel Institute of Technology(以色列理工学院);Nvidia Research(英伟达研究院)
我们研究线性上下文强盗访问一个大的,混淆的,离线的数据集,从一些固定的政策采样。我们发现,这个问题是密切相关的一个变种的强盗问题的边信息。我们构造了一个线性强盗算法,利用投影信息,并证明了遗憾界。我们的研究结果表明,利用混淆的离线数据的能力。特别是,我们证明了遗憾的界限,提高当前的界限相关的数据中的上下文的可见维度的一个因素。我们的研究结果表明,混淆离线数据可以显着提高在线学习算法。最后,我们通过合成模拟展示了我们的方法的各种特性。
2021-08-10 cs.AI cs.LG stat.ML
Off-Policy Evaluation in Partially Observable Environments
Technion Institute of Technology(以色列理工学院)
本文研究了部分可观测环境下强化学习的批量离策评估问题。在部分可观测性下的非政策评估本质上倾向于偏差,具有任意大误差的风险。我们定义了部分可观测马尔可夫决策过程(POMDPs)的离政策评估问题,并建立了我们认为是POMDPs的第一个离政策评估结果。此外,我们制定了一个模型,其中观察到的和未观察到的变量被解耦成两个动态过程,称为解耦POMDP。我们展示了如何在这个新模型下进行政策评估,减轻一般POMDPs固有的估计误差。我们证明了POMDP的政策外评估的陷阱,使用一个著名的政策外的方法,重要性采样,并将其与我们的结果进行比较合成的医疗数据。
2019-11-24 cs.AI cs.LG cs.SY
Act-Then-Measure: Reinforcement Learning for Partially Observable Environments with Active Measuring
Radboud University(拉德堡德大学);Nijmegen Institute for Computing and Information Sciences(奈梅亨计算与信息科学研究所)
我们研究马尔可夫决策过程(MDP),代理人直接控制何时以及如何收集信息,作为正式的行动或有无噪声可观察MDP(ACNO-MPD)。在这些模型中,动作由两个部分组成:影响环境的控制动作和影响代理可以观察到的内容的测量动作。为了解决ACNO-MDP,我们引入了行动然后测量(ATM)启发式算法,该算法假设我们在选择控制动作时可以忽略未来状态的不确定性。我们展示了如何遵循这种启发式可能会导致更短的政策计算时间,并证明了启发式所产生的性能损失的约束。为了决定是否采取度量行动,我们引入了度量值的概念。我们开发了一种基于ATM启发式的强化学习算法,使用适合部分可观察域的Dyna-Q变体,并在一些部分可观察的环境中展示了其优越的性能。
2023-03-14 cs.AI cs.LG
Context Discovery for Model Learning in Partially Observable Environments
SoftBank Robotics Europe (Aldebaran)(软银机器人欧洲(Aldebaran))
学习模型的能力对于自主智能体的成功至关重要。不幸的是,在部分可观察的环境中学习模型是困难的,其中潜在的环境因素影响代理观察到的内容。在缺乏监督训练信号的情况下,自主智能体因此需要一种机制来自主地发现这些环境因素或感觉运动背景。本文提出了一种在部分可观察环境中发现感觉运动上下文的方法,通过构建一个层次转换模型。该方法在模拟实验中进行评估,在该实验中,机器人学习到不同的房间的特点是在其中发现不同的对象。
2016-08-02 cs.AI cs.LG cs.RO
POGEMA: Partially Observable Grid Environment for Multiple Agents
AIRI(AIRI研究所)
我们引入POGEMA(https://github.com/AIRI-Institute/pogema)一个挑战部分可观察多智能体寻路(PO-MAPF)问题的沙箱。这是一个基于网格的环境,专门设计成一个灵活、可调和可扩展的基准。它可以针对各种PO-MAPF进行定制,PO-MAPF可以作为规划和学习方法的绝佳测试场,以及它们的组合,这将使我们能够填补AI规划和学习之间的空白。
2022-06-22 cs.AI cs.LG cs.MA
Deep Active Inference for Partially Observable MDPs
Radboud University(拉德堡德大学)
深度主动推理已被提出作为处理大型策略和状态空间的感知和动作的可扩展方法。然而,目前的模型仅限于完全可观察的领域。在本文中,我们描述了一个深度主动推理模型,可以直接从高维感官输入中学习成功的策略。深度学习架构优化预期自由能的变体,并通过变分自编码器对连续状态表示进行编码。我们在OpenAI基准测试中表明,我们的方法具有与深度Q学习(一种最先进的深度强化学习算法)相当或更好的性能。
2020-09-08 cs.AI cs.LG cs.NE
Minimax-Optimal Policy Regret in Partially Observable Markov Games
Raman Arora
针对部分可观测马尔可夫博弈,提出基于epoch的乐观最大似然算法,实现了与聚合Eluder维数相关的$ ilde{O}(\sqrt{T})$策略遗憾,并证明了匹配的下界。
2026-08-11 cs.LG stat.ML
Analysis of Thompson Sampling for Partially Observable Contextual Multi-Armed Bandits
情境多臂强盗是强化学习中与个体信息相关联的序列决策的经典模型。一个广泛使用的强盗策略是汤普森采样,其中来自数据驱动的关于未知参数的概率信念的样本用于选择控制动作。对于这种计算速度快的算法,性能分析可在全上下文观测下使用。然而,很少有人知道的问题,上下文不完全观察。我们提出了一个汤普森采样算法的部分可观察的上下文多武装土匪,并建立理论性能保证。从技术上讲,我们表明,所提出的政策尺度的遗憾与时间和武器的数量,线性的维度。此外,我们建立学习未知参数的速率,并提供说明性的数值分析。
2021-11-29 cs.LG stat.ML
Regret Minimization for Partially Observable Deep Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校)
估计状态和状态-动作价值函数的深度强化学习算法已被证明在各种具有挑战性的领域中是有效的,包括从原始图像像素学习控制策略。然而,估计状态和状态-动作价值函数的算法通常假设完全观测的状态,并且必须通过使用有限长度的观测历史或递归网络来补偿部分观测。在这项工作中,我们提出了一个新的深度强化学习算法的基础上反事实遗憾最小化迭代更新近似的一个类似的函数,并部分观察状态是鲁棒的。我们证明了这种新算法在几个部分观察到的强化学习任务上的表现可以大大优于强基线方法:在Doom和Minecraft中学习第一人称3D导航,以及在Doom和Pong中存在部分观察到的对象时采取行动。
2018-10-25 cs.AI cs.LG
Unsupervised Representation Learning in Partially Observable Atari Games
University of Oslo(奥斯陆大学);University of Agder(阿格德大学);Oslo Metropolitan University(奥斯陆城市大学)
状态表示学习旨在捕捉环境中潜在的因素。在以前的状态表示学习研究中,对比方法比生成模型表现得更好。尽管一些研究者已经意识到了掩码图像建模和对比表示学习之间的联系,但他们的努力主要集中在使用掩模作为增强技术来更好地表示潜在的生成因素。强化学习中的部分可观察环境尚未使用无监督状态表示学习方法进行仔细研究。在这篇文章中,我们创建了一个无监督的状态表示学习计划的部分可观察的状态。我们在以前的Atari 2600框架上进行了实验,该框架旨在评估表示学习模型。一种名为Spatiotemporal DeepInfomax(ST-DIM)的对比方法在这个基准测试中表现出了最先进的性能,但仍然不如其监督的对应方法。我们的方法在环境不完全可观察时改进了ST-DIM,并获得了比监督学习更高的F1分数和准确性分数。我们的方法在类别上的平均准确率得分为~ 66%,而监督学习为~38%。平均F1评分为~64%至~ 33%。
2023-03-13 cs.AI cs.LG
Learning a Machine for the Decision in a Partially Observable Markov Universe
在本文中,我们感兴趣的是在部分可观测马尔可夫宇宙中的最优决策。我们的观点从动态规划的观点出发:我们直接近似的最佳战略树取决于观察。这种近似是通过一个参数化的概率定律。在本文中,一个特殊的家庭隐马尔可夫模型,输入和输出,被认为是一个学习框架。提出了一种优化这些阻尼器的参数的方法,并应用。这种最优化方法是基于交叉熵原理的。
2004-08-11 cs.AI cs.LG math.GM
Deep Recurrent Q-Learning vs Deep Q-Learning on a simple Partially Observable Markov Decision Process with Minecraft
Ynov Informatique(Ynov信息技术学院)
在过去的几年里,深度Q学习已经成功地应用于各种各样的任务。然而,香草Deep Q-Network的架构不适合处理部分可观察的环境,如3D视频游戏。为此,Deep Q-Network中添加了递归层,以允许它处理过去的依赖关系。我们在这里使用Minecraft的定制优势,并设计了两个非常简单的任务,可以作为部分可观测马尔可夫决策过程的框架。我们在这些任务中比较了深度Q网络和深度递归Q网络,以了解后者是否总是最好的架构,当代理必须处理部分可观测性时,后者更棘手,训练时间更长。
2019-04-11 cs.AI cs.LG cs.NE
Provably Efficient Partially Observable Risk-Sensitive Reinforcement Learning with Hindsight Observation
Tsinghua University(清华大学);Institute for Interdisciplinary Information Sciences, Tsinghua University(清华大学交叉信息研究院)
本文研究带事后观测的部分可观测风险敏感强化学习,将其纳入POMDP与熵风险度量框架,提出首个可证明高效算法,并利用测度变换和beta向量给出多项式遗憾保证。
2024-02-28 cs.LG stat.ML
Transformer-Based Reinforcement Learning for Autonomous Orbital Collision Avoidance in Partially Observable Environments
Université Paris-Saclay, CentraleSupélec Engineering School, Department of Industrial Engineering(巴黎萨克雷大学,中央超导工程学院,工业工程系)
本文提出一种基于Transformer的强化学习框架,用于解决部分可观测环境下自主轨道避碰问题,通过结合可配置相遇模拟器、距离依赖观测模型和序列状态估计器,利用Transformer架构有效处理噪声和间歇性观测。
2026-02-05 cs.AI cs.LG
Provably Efficient Reinforcement Learning in Partially Observable Dynamical Systems
Cornell University(康奈尔大学);Princeton University(普林斯顿大学)
我们研究了部分可观测动力系统的函数逼近强化学习。我们提出了一个新的\textit{Partially Observable Bilinear Actor-Critic framework},这是一般性的,足以包括模型,如可观察的表格部分可观察马尔可夫决策过程(POMDPs),可观察的线性二次高斯(LQG),预测状态表示(PSR),以及一个新引入的模型希尔伯特空间嵌入的POMDPs和可观察的POMDPs与潜在的低秩转换。在这个框架下,我们提出了一个演员-评论家风格的算法,能够执行不可知的策略学习。给定一个由基于内存的策略(查看最近观察的固定长度窗口)组成的策略类,以及一个由将内存和未来观察作为输入的函数组成的价值函数类,我们的算法学习与给定策略类中最好的基于内存的策略竞争。对于某些例子,如不完全可观测的表格POMDPs,可观测的LQG和可观测的POMDPs与潜在的低秩转换,通过隐含地利用其特殊属性,我们的算法甚至能够竞争的全局最优策略,而无需支付指数依赖于地平线上的样本复杂度。
2022-06-24 cs.LG math.ST stat.ME
Sparsely Changing Latent States for Prediction and Planning in Partially Observable Domains
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Tübingen(蒂宾根大学)
在部分可观察领域进行预测和规划的一种常见方法是使用递归神经网络(RNN),它理想地开发和维护关于隐藏的任务相关因素的潜在记忆。我们假设,物理世界中的许多隐藏因素都是恒定的,只会发生稀疏的变化。为了研究这一假设,我们提出了门控$L_0$正则化动态(GateL0RD),一种新的经常性的架构,结合了感性的偏见,以保持稳定,稀疏变化的潜在状态。通过一种新的内部门控函数和对潜在状态变化的$L_0$范数的惩罚来实现偏置。我们证明了GateL0RD可以在各种部分可观察的预测和控制任务中与最先进的RNN竞争或优于RNN。GateL0RD倾向于对环境的潜在生成因素进行编码,忽略虚假的时间依赖性,并且更好地泛化,从而提高了基于模型的规划和强化学习任务中的采样效率和整体性能。此外,我们表明,发展中的潜在状态可以很容易地解释,这是RNN更好地解释的一步。
2022-01-13 cs.AI cs.LG
An Empirical Comparison of Neural Architectures for Reinforcement Learning in Partially Observable Environments
Vrije Universiteit Brussel(布鲁塞尔自由大学)
本文探讨了拟合神经Q迭代强化学习在几个部分可观察的环境中的性能,使用三个递归神经网络架构:长短期记忆,门控递归单元和MUT 1,一个递归神经架构从一个池的几千个候选架构演变。一个变种的拟合Q迭代,优势值的基础上,而不是Q值,也探讨了。结果表明,GRU在大多数问题上的表现明显优于LSTM和MUT 1,在学习一个非常好的策略之前,需要更少的训练集和更少的CPU时间。优势学习也往往产生更好的结果。
2015-12-17 cs.AI cs.LG cs.NE
Learning What to Memorize: Using Intrinsic Motivation to Form Useful Memory in Partially Observable Reinforcement Learning
Izmir University of Economics(伊兹密尔经济大学)
强化学习在具有长期依赖性的部分可观察环境中面临着重要的挑战。为了在模糊的环境中学习,智能体必须将先前的感知保存在记忆中。早期的基于内存的方法使用固定的方法来确定在内存中保存什么,这将它们限制在某些问题上。在这项研究中,我们遵循的想法,让记忆的控制代理,允许它有记忆改变的行动。这种学习机制是由一种内在的动机来支持的,这种动机是为了记住罕见的观察结果,这可以帮助智能体消除其在环境中的状态。我们的方法进行了实验和分析的几个部分可观察的任务与长期的依赖关系,并与其他记忆为基础的方法进行了比较。
2022-02-04 cs.AI cs.LG
Integrating Algorithmic Planning and Deep Learning for Partially Observable Navigation
NUS Graduate School for Integrative Sciences and Engineering(新加坡国立大学综合科学与工程研究生院)
我们建议采取一种新的方法来设计机器人系统,其中一个更大的系统的每个构建块表示为一个可微的程序,即一个深神经网络。这种表示允许以原则性的方式集成算法规划和深度学习,从而结合了无模型和基于模型的方法的优点。我们将所提出的方法应用于具有挑战性的部分可观察机器人导航任务。机器人必须在以前看不见的3D环境中导航到目标,而不知道其初始位置,而是依赖于2D楼层地图和机载摄像头的视觉观察。我们介绍了导航网络(NavNets),它在一个端到端的可训练递归神经网络中编码状态估计、规划和行动。在初步的模拟实验中,我们成功地训练了导航网络,以解决具有挑战性的部分可观测导航任务。
2018-07-17 cs.AI cs.LG cs.RO
Structural Estimation of Partially Observable Markov Decision Processes
在许多实际环境中,控制决策必须在有关相关状态变量演变的部分/不完全信息下做出。部分可观测马尔可夫决策过程(POMDPs)是一个相对成熟的框架建模和分析这类问题。在本文中,我们考虑POMDP模型的基元的结构估计的基础上观察到的历史的过程。我们分析了具有随机报酬的POMDP模型的结构性质,并给出了在不知道状态动力学的情况下该模型可辨识的条件。我们考虑一个软策略梯度算法来计算一个最大似然估计,并提供了一个有限时间的特征收敛到一个平稳点。我们说明的估计方法与应用程序的最佳设备更换。在这种情况下,必须在关于真实状况(即设备状况)的部分/不完全信息的情况下作出更换决定。我们使用合成和真实的数据来突出所提出的方法的鲁棒性,并描述了部分状态可观测性被忽略时可能出现的错误。
2021-12-28 cs.LG stat.ML
Partially Observable Contextual Bandits with Linear Payoffs
JPMorgan AI Research(摩根大通人工智能研究院)
针对金融等场景中上下文部分可观测、具相关性且收益线性的问题,提出整合系统辨识、滤波与经典老虎机算法的EMKF-Bandit流程,证明其次线性遗憾并通过模拟验证其优势与适用性。
2024-09-17 cs.LG stat.ML
Market-Based Reinforcement Learning in Partially Observable Worlds
与传统的强化学习(RL)不同,基于市场的强化学习原则上适用于部分可观察马尔可夫决策过程(POMDPs)描述的世界,其中智能体需要学习相关先前事件的短期记忆,以便执行最佳行动。然而,大多数以前的工作都集中在反应式设置(MDP),而不是POMDP。在这里,我们重新实现了最近的基于市场的RL方法,并首次在玩具POMDP设置中对其进行评估。
2001-05-15 cs.AI cs.LG cs.MA
Learning Causal State Representations of Partially Observable Environments
McGill University(麦吉尔大学);Facebook AI Research(Facebook人工智能研究院);Carnegie Mellon University(卡内基梅隆大学);Purdue University(普渡大学);California Institute of Technology(加州理工学院);University of Southern California(南加州大学);HK3 Lab(HK3实验室)
智能代理可以通过学习任务不可知的状态抽象来应对感官丰富的环境。在本文中,我们提出了一个算法来近似因果状态,这是粗划分的联合历史的行动和观察部分可观测马尔可夫决策过程(POMDP)。我们的方法从经过训练的RNN中学习近似的因果状态表示,以预测给定历史的后续观测。我们证明了这些学习的状态表示是有用的学习策略,有效地在强化学习问题与丰富的观察空间。我们连接因果状态与因果推理文献中的因果特征集,并通过证明互模拟的等价性(行为等价系统之间的关系),在Lipschitz假设下,对因果状态表示的连续版本的最优性提供理论保证。这允许学习表示的最优价值函数的下限,在给定某些假设的情况下,该下限是紧的。最后,我们经验评估因果状态表示使用多个部分可观察的任务,并与以前的方法进行比较。
2021-02-08 cs.LG stat.ML
When Is Partially Observable Reinforcement Learning Not Scary?
Princeton University(普林斯顿大学);DeepMind(深度思维);University of Alberta(阿尔伯塔大学)
强化学习(RL)的应用是普遍存在的,在这种应用中,智能体学习做出一系列决策,尽管缺乏关于受控系统潜在状态的完整信息,也就是说,它们在状态的部分可观测性下行事。众所周知,部分可观察的RL可能非常困难-众所周知的信息理论结果表明,学习部分可观察的马尔可夫决策过程(POMDPs)在最坏情况下需要指数数量的样本。然而,这并不排除存在POMDPs的大型子类,在这些子类上学习是容易处理的。在本文中,我们确定这样一个子类,我们称之为弱揭示POMDPs。这个家族排除了POMDP的病理情况,在这种情况下,观察结果在一定程度上是没有信息的,这使得学习困难。我们证明,弱揭示POMDPs,一个简单的算法相结合的乐观和最大似然估计(MLE)是足以保证多项式样本的复杂性。据我们所知,这是第一个可证明的样本有效的结果,用于从过完备POMDPs中的相互作用中学习,其中潜在状态的数量可以大于观察的数量。
2022-05-24 cs.AI cs.LG cs.SY
A Minimax Learning Approach to Off-Policy Evaluation in Confounded Partially Observable Markov Decision Processes
London School of Economics and Political Science(伦敦政治经济学院);Cornell University(康奈尔大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们考虑部分可观测马尔可夫决策过程(POMDPs)中的离政策评估(OPE),其中评估策略仅取决于可观测变量,而行为策略取决于不可观测的潜变量。现有的作品要么假设没有不可测量的混杂因素,或专注于设置的观察和状态空间是表格。在这项工作中,我们首先提出了新的识别方法OPE POMDPs与潜在的混淆,通过引入桥梁功能,连接目标政策的价值和观察到的数据分布。接下来,我们提出了极小极大估计方法学习这些桥函数,并构造三个估计器的基础上,这些估计的桥函数,相应的价值函数为基础的估计,边缘化重要性采样估计,和双重鲁棒估计。我们的建议允许一般函数近似,因此适用于连续或大的观测/状态空间的设置。详细研究了估计量的非渐近性和渐近性。
2022-06-15 cs.LG stat.ML
Cross-Entropic Learning of a Machine for the Decision in a Partially Observable Universe
对先前题为“在部分可观测的马尔可夫宇宙中学习机器决策”的论文的修订在本文中,我们对部分可观测宇宙中的最优决策感兴趣。我们的方法是直接近似的最佳战略树取决于观察。这种近似是通过一个参数化的概率定律。一个特定的家庭隐马尔可夫模型,输入\emph{and}输出,被认为是一个模型的政策。提出了一种优化这些阻尼器的参数的方法,并应用。这种优化是基于交叉熵原理的稀有事件模拟鲁宾斯坦开发的。
2006-05-18 cs.AI cs.LG cs.NE
Deep Transformer Q-Networks for Partially Observable Reinforcement Learning
Khoury College of Computer Sciences(Khoury计算机科学学院);Northeastern University(东北大学)
现实世界的强化学习任务通常涉及某种形式的部分可观察性,其中观察仅给出世界真实状态的部分或噪声视图。这些任务通常需要某种形式的记忆,其中代理可以访问多个过去的观察,以便执行良好。一种流行的合并记忆的方法是使用递归神经网络来访问代理的历史。然而,强化学习中的递归神经网络通常是脆弱的,难以训练,易受灾难性遗忘的影响,有时会完全失败。在这项工作中,我们提出了深度Transformer Q-网络(DTQN),一种新的架构,利用Transformers和自我注意编码代理的历史。DTQN是模块化设计的,我们对我们的基础模型的几个修改的结果进行比较。我们的实验表明,Transformer可以解决部分可观察的任务比以前的递归方法更快,更稳定。
2022-11-10 cs.AI cs.LG
Q-Mixing Network for Multi-Agent Pathfinding in Partially Observable Grid Environments
Moscow Institute of Physics and Technology(莫斯科物理技术学院);Moscow Aviation Institute(莫斯科航空学院);Artificial Intelligence Research Institute FRC CSC RAS(俄罗斯科学院联邦科学研究中心计算机科学与控制研究所人工智能研究院)
在本文中,我们考虑在部分可观测网格环境中的多智能体导航问题。这个问题对于集中式规划方法来说是具有挑战性的,因为它们通常依赖于对环境的全面了解。我们建议利用强化学习的方法时,代理,首先,学习的政策,映射观察到的行动,然后遵循这些政策,以达到他们的目标。为了解决与学习合作行为相关的挑战,即在许多情况下,代理需要相互让步以完成任务,我们使用混合Q网络来补充学习个体策略。在实验评估中,我们表明,这种方法导致合理的结果和规模以及大量的代理。
2021-08-13 cs.AI cs.LG
Learning Reward Machines: A Study in Partially Observable Reinforcement Learning
Pontificia Universidad Católica de Chile(智利天主教大学);Vector Institute(向量研究院);University of Toronto(多伦多大学);Ryerson University(瑞尔森大学)
强化学习是人工智能的核心问题。这个问题包括定义人工代理,可以通过与环境交互来学习最佳行为-其中最佳行为是相对于代理寻求最大化的奖励信号定义的。奖励机(RM)提供奖励函数的结构化的、基于自动机的表示,其使得RL代理能够将RL问题分解成可以经由离策略学习有效地学习的结构化子问题。在这里,我们表明,RM可以从经验中学习,而不是由用户指定,并且由此产生的问题分解可以用于有效地解决部分可观察的RL问题。我们提出的任务学习RM作为一个离散的优化问题,其目标是找到一个RM,分解成一组子问题的问题,使其最佳的无记忆的政策的组合是一个最佳的政策,为原始问题。我们展示了这种方法在三个部分可观察的领域的有效性,在这些领域中,它的性能显着优于A3 C,PPO和ACER,并讨论了它的优点,局限性和更广泛的潜力。
2021-12-17 cs.AI cs.LG
SIDE: State Inference for Partially Observable Cooperative Multi-Agent Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
值分解方法作为求解分散部分可观测马尔可夫决策过程(Dec-POMDP)问题的方法之一,近年来取得了重要的成果。然而,大多数值分解方法需要在训练期间完全可观察的环境状态,但这在某些只能获得不完整和噪声观测的场景中是不可行的。因此,我们提出了一种新的价值分解框架,称为状态推理价值分解(SIDE),它通过同时寻求最优控制和状态推理两个问题的解决方案,消除了了解全局状态的需要。SIDE可以扩展到任何值分解方法,以解决部分可观察的问题。通过比较不同算法在星际争霸II微管理任务中的性能,我们验证了SIDE可以在没有可访问状态的情况下,根据过去的局部观察推断出有助于强化学习过程的当前状态,甚至在一些复杂场景中获得优于许多基线的结果。
2021-12-20 cs.AI cs.LG cs.MA
Partially Observable Markov Decision Process Modelling for Assessing Hierarchies
Insight Centre for Data Analytics(洞察数据分析中心);School of Computer Science, University College Dublin(都柏林大学学院计算机科学学院);Data Science Institute, National University of Ireland, Galway(爱尔兰国立大学戈尔韦数据科学研究所)
层次聚类已被证明是有价值的,在许多情况下。尽管它在许多情况下是有用的,但对于如何正确评估不同技术产生的层次结构,特别是在无法获得地面实况标签的情况下,没有商定的方法。这促使我们提出了一个框架,用于评估质量的分层聚类分配,其中包括没有地面实况信息的情况下。该测量是有用的,例如,评估在线零售商网站用于显示其产品目录的层次结构。我们的框架是为数不多的尝试从决策理论的角度进行层次评价。我们建模的过程中,作为一个机器人搜索stochkings的层次结构中的项目,并建立一个衡量标准,表示层次结构支持这种搜索的程度。我们采用部分可观察马尔可夫决策过程(POMDP)模型的不确定性,决策,和认知回报的搜索在这样的情况下。
2020-12-08 cs.AI cs.LG stat.AP
Information State Embedding in Partially Observable Cooperative Multi-Agent Reinforcement Learning
Coordinated Science Laboratory, University of Illinois(伊利诺伊大学厄巴纳-香槟分校协调科学实验室)
部分可观测性下的多智能体强化学习(MARL)长期以来一直被认为是具有挑战性的,这主要是由于要求每个智能体在所有其他智能体的本地历史上保持信念-这是一个通常随时间呈指数增长的领域。在这项工作中,我们研究了一个部分可观察的MARL问题,其中代理是合作的。为了使易于处理的算法的发展,我们引入了信息状态嵌入的概念,用于压缩代理的历史。我们量化压缩误差如何影响分散控制的价值函数。此外,我们提出了一个基于递归神经网络(RNNs)的嵌入实例。然后将嵌入用作近似信息状态,并且可以馈送到任何MARL算法中。所提出的嵌入-然后-学习管道打开了现有(部分可观察)MARL算法的黑盒子,使我们能够建立一些理论保证(价值函数的误差界),同时仍然可以通过许多端到端方法实现有竞争力的性能。
2020-08-17 cs.AI cs.LG cs.MA
Inferring Reward Machines and Transition Machines from Partially Observable Markov Decision Processes
针对部分可观测环境中的非马尔可夫性,提出转移机器与双重行为米利机统一表示,并开发DB-RPNI算法高效推断最小正确自动机,速度提升达三个数量级。
2025-08-03 cs.AI cs.LG
Ontology-Enhanced Decision-Making for Autonomous Agents in Dynamic and Partially Observable Environments
University College Dublin(都柏林大学学院)
本文提出本体增强决策模型OntoDeM,利用本体知识改善智能体在动态部分可观测环境中的观测与决策,通过演化或生成新目标应对不可预见事件,并在四个实际应用中验证其优于传统及先进学习算法。
2024-05-27 cs.AI cs.LG
Sample-Efficient Reinforcement Learning of Partially Observable Markov Games
Princeton University(普林斯顿大学);DeepMind(深度思维);University of Alberta(阿尔伯塔大学)
针对部分可观测条件下的多智能体强化学习(MARL)问题,提出了一种基于部分可观测性的多智能体强化学习方法.本文在多人一般和部分可观察马尔可夫博弈(POMG)的一般模型下研究了这些任务,POMG模型明显大于不完全信息可拓形式博弈(IIEFG)的标准模型。我们确定了一个丰富的子类POMG-弱揭示POMG-其中样本有效的学习是易于处理的。在自我发挥的设置,我们证明了一个简单的算法相结合的乐观和最大似然估计(MLE)是足够的找到近似纳什均衡,相关的均衡,以及粗糙的相关均衡弱揭示POMG,在多项式数量的样本时,代理的数量很小。在对抗对手的设置中,我们表明,我们的乐观MLE算法的一个变体是能够实现次线性遗憾时,与最佳的最大最小化政策进行比较。据我们所知,这项工作提供了学习POMG的第一行样本有效的结果。
2022-10-17 cs.AI cs.GT cs.LG
The act of remembering: a study in partially observable reinforcement learning
University of Toronto(多伦多大学);Vector Institute(向量研究所);Element AI(元素人工智能公司)
强化学习(RL)代理通常学习无记忆策略--在选择动作时只考虑最后一次观察的策略。学习无记忆策略在完全可观察的环境中是有效和最优的。然而,当RL代理面临部分可观测性时,某种形式的记忆是必要的。在本文中,我们研究了一种轻量级的方法来解决RL中的部分可观性。我们为代理提供了一个外部存储器和额外的操作来控制写入内存的内容(如果有的话)。在每一步中,当前的内存状态都是代理观察的一部分,代理选择一个动作元组:一个动作修改环境,另一个动作修改内存。当外部记忆有足够的表现力时,最优无记忆策略会产生全局最优解。不幸的是,以前以二进制存储器的形式使用外部存储器的尝试在实践中产生了很差的结果。在这里,我们研究了其他形式的记忆,以支持学习有效的无记忆策略。我们的新形式的内存优于二进制和基于LSTM的内存在完善的部分可观察域。
2020-10-05 cs.AI cs.LG
Actor-Critic Policy Optimization in Partially Observable Multiagent Environments
DeepMind(深度思考公司)
强化学习中参数化策略的优化是人工智能中一个重要而又具有挑战性的问题。其中最常见的方法是基于表示贴现收益的得分函数的梯度上升的算法。在本文中,我们研究的作用,这些策略梯度和演员批评的算法在部分可观察的多智能体环境。我们展示了几个候选的政策更新规则,并将它们与后悔最小化和多智能体学习技术的基础,一杆和表格的情况下,导致以前未知的收敛保证。我们将我们的方法应用于无模型多智能体强化学习在对抗顺序决策问题(零和不完美信息游戏),使用RL风格的函数逼近。我们评估常用的基准扑克域,显示性能对固定的政策和经验收敛到近似纳什均衡在自我发挥率类似或优于基线无模型算法的零和游戏,没有任何特定领域的状态空间减少。
2020-06-12 cs.AI cs.GT cs.LG
Learning Interpretable Policies in Hindsight-Observable POMDPs through Partially Supervised Reinforcement Learning
Washington University in St. Louis(圣路易斯华盛顿大学)
提出部分监督强化学习(PSRL)框架,通过融合监督语义状态和无监督潜在表示作为策略网络输入,在部分可观测环境中提升模型可解释性,同时在奖励和收敛速度上保持或显著超越传统方法。
2024-02-14 cs.AI cs.LG
Learning Navigation Costs from Demonstration in Partially Observable Environments
University of California, San Diego(加利福尼亚大学圣地亚哥分校)
本文主要研究逆强化学习(IRL)在未知部分可观测环境中实现安全高效的自主导航。我们的目标是推断一个成本函数,解释专家演示的导航行为,同时只依赖于观察和状态控制轨迹使用的专家。我们开发了一个成本函数表示由两部分组成:一个概率占用编码器,经常依赖于观察序列,和一个成本编码器,定义在占用功能。通过区分所演示的控制和从成本编码器计算的控制策略之间的误差来优化表示参数。这种微分通常通过整个状态空间上的价值函数由动态规划计算。我们观察到,这是低效的大部分可观察的环境,因为大多数国家是未探索的。相反,我们依赖于一个封闭形式的子梯度的成本去获得只有一个子集的有希望的状态通过一个有效的运动规划算法,如A* 或RRT。我们的实验表明,我们的模型在机器人导航任务中超过了基线IRL算法的准确性,同时大大提高了训练和测试时推理的效率。
2020-02-26 cs.LG cs.RO stat.ML
Partially Observable Gaussian Process Network and Doubly Stochastic Variational Inference
Fraunhofer IOSB(弗劳恩霍夫IOSB);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
针对现实过程网络中间接、含噪且不完整的观测,提出POGPN并结合观测透镜与两种训练方法进行全网络推断,显著提升预测性能。
2025-02-19 cs.AI cs.LG
Partially-Observable Sequential Change-Point Detection for Autocorrelated Data via Upper Confidence Region
Tsinghua University(清华大学);University of Florida(佛罗里达大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
针对资源受限下部分可观测的多元自相关数据序贯变点检测问题,本文提出AUCRSS方案,结合状态空间模型、部分可观测卡尔曼滤波、广义似然比检验与基于上置信区域的自适应采样策略,并通过理论分析和数值实验验证其有效性。
2024-03-30 cs.LG stat.ML
Logarithmic Regret Bound in Partially Observable Linear Dynamical Systems
California Institute of Technology(加州理工学院)
研究部分可观测线性动力系统的系统辨识与自适应控制问题。自适应和闭环系统辨识是一个具有挑战性的问题,由于相关性引入数据汇集。在本文中,我们提出了第一个模型估计方法与有限时间保证的开放和闭环系统辨识。部署这种估计方法,我们提出了自适应控制在线学习(AdaptOn),一个有效的强化学习算法,自适应学习系统动态,并不断更新其控制器通过在线学习步骤。AdaptOn通过与环境的交互偶尔解决线性回归问题来估计模型动态。使用策略重新参数化和估计模型,AdaptOn构造反事实损失函数,用于通过在线梯度下降更新控制器。随着时间的推移,AdaptOn会改进其模型估计,并获得更准确的梯度更新,以改进控制器。我们发现,AdaptOn实现了$\text{polylog}\left(T\right)$的遗憾上限,代理-环境交互的$T$时间步长后。据我们所知,AdaptOn是第一个算法,实现$\text{polylog}\left(T\right)$遗憾的未知部分可观测线性动态系统的自适应控制,其中包括线性二次高斯(LQG)控制。
2020-06-24 cs.LG math.OC stat.ML
Partial Counterfactual Identification for Infinite Horizon Partially Observable Markov Decision Process
Columbia University(哥伦比亚大学)
本文研究了给定一组观测数据的反事实查询的可能输出的边界问题。虽然各种文献的作品已经描述了方法来生成有效的算法,提供了一个最佳的边界的反事实查询,所有这些都假设一个有限的地平线因果图。本文旨在通过修改Q-学习算法来扩展以前的工作,以提供无限时域因果图的因果查询的信息边界。通过仿真,我们的算法被证明是更好地执行相比,现有的算法。
2022-08-31 cs.LG
Partially Observable RL with B-Stability: Unified Structural Condition and Sharp Sample-Efficient Algorithms
Peking University(北京大学);Salesforce Research(赛富时研究院);UC Berkeley(加州大学伯克利分校)
部分可观察性--代理只能观察到关于系统真实底层状态的部分信息--在强化学习(RL)的现实应用中无处不在。从理论上讲,学习一个接近最优的政策下的部分可观性是已知的困难,在最坏的情况下,由于指数样本的复杂性下界。最近的工作已经确定了几个易于处理的子类,可以用多项式样本学习,例如具有某些揭示或可解码条件的部分可观察马尔可夫决策过程(POMDPs)。然而,这方面的研究仍处于起步阶段,其中(1)缺乏实现样本有效学习的统一结构条件;(2)已知易处理子类的现有样本复杂性远未达到尖锐程度;(3)与完全可观察的RL相比,可用的样本有效算法较少。本文在预测状态表示(PSR)的一般设置下,对部分可观察强化学习提出了上述三个方面。首先,我们提出了一个自然和统一的结构条件称为\emph{B-stability}的PSR。B-稳定的PSR包括绝大多数已知的易处理的子类,例如弱揭示POMDPs,低秩未来足够的POMDPs,可解码的POMDPs和常规PSR。接下来,我们证明了任何B-稳定PSR都可以通过相关问题参数的多项式样本来学习。当在上述子类中实例化时,我们的样本复杂度比当前最好的样本复杂度有了很大的提高。最后,我们的结果是同时实现三个算法:乐观最大似然估计,估计决策,基于模型的乐观后验抽样。后两种算法是新的样本有效的学习POMDP/PSR。
2022-12-16 cs.AI cs.LG math.ST
A transformer-based deep reinforcement learning approach to spatial navigation in a partially observable Morris Water Maze
Norwegian University of Science and Technology(挪威科技大学)
针对部分可观测Morris水迷宫的导航问题,提出基于仅含解码器的Transformer深度Q网络架构,使智能体在视野受限下高效学习空间导航策略,为类生物行为的人工智能体研究提供新方向。
2024-10-01 cs.AI cs.LG cs.RO
Soft Hierarchical Graph Recurrent Networks for Many-Agent Partially Observable Environments
Zhejiang University(浙江大学)
多智能体深度强化学习(MADRL)的最新进展使其在现实世界的任务中更加实用,但其相对较差的可扩展性和部分可观察的约束对其性能和部署提出了挑战。基于我们的直观观察,人类社会可以被看作是一个大规模的部分可观察的环境中,每个人都有与邻居的通信和记住自己的经验的功能,我们提出了一种新的网络结构称为分层图递归网络(HGRN)的多智能体合作的部分可观察性。具体来说,我们构建的多智能体系统作为一个图,使用层次图注意力网络(HGAT)来实现相邻的代理之间的通信,并利用GRU,使代理记录历史信息。为了鼓励探索和提高鲁棒性,我们设计了一种最大熵学习方法来学习可配置目标动作熵的随机策略。在此基础上,提出了一种基于值的MADRL算法Soft-HGRN和它的actor-critic变体SAC-HRGN。基于三个同构任务和一个异构环境的实验结果不仅表明,我们的方法实现了明显的改善相比,四个基线,但也证明了所提出的模型的可解释性,可扩展性和可移植性。消融研究证明了每个组件的功能和必要性。
2021-09-05 cs.AI cs.LG cs.MA
Safer Autonomous Driving in a Stochastic, Partially-Observable Environment by Hierarchical Contingency Planning
Renault Software Labs(雷诺软件实验室);EURECOM(欧洲通信学院)
当学习在随机的、部分可观察的环境中行动时,智能代理应该准备好预测其对环境状态的信念的变化,并且能够在飞行中调整其行动以适应不断变化的条件。作为人类,我们在学习一项任务时能够形成应急计划,其明确目标是能够纠正初始控制中的错误,因此,如果我们对环境的感知发生突然变化,需要立即采取纠正措施,这证明是有用的。对于在安全至关重要的现实世界中导航的自动驾驶汽车(AV)来说尤其如此,并且真正需要对环境变化的信念做出反应的强大能力。在本文中,我们探索了一个端到端的方法,从训练到执行,学习强大的应急计划,并将它们与层次规划器相结合,以获得一个强大的代理政策,在自主导航任务中,其他车辆的行为是未知的,代理人对这些行为的信念是受到突然的,最后一秒的变化。我们表明,我们的方法在部分可观察的随机环境中产生了鲁棒,安全的行为,在训练过程中没有看到环境动态。
2022-04-13 cs.AI cs.LG cs.RO
Variational Recurrent Models for Solving Partially Observable Control Tasks
Okinawa Institute of Science and Technology(冲绳科学技术大学院大学)
在部分可观测(PO)环境中,深度强化学习(RL)代理通常会表现不佳,因为需要同时解决两个问题:如何从原始观测中提取信息来解决任务,以及如何改进策略。在这项研究中,我们提出了一个RL算法解决PO任务。我们的方法包括两个部分:一个变分递归模型(VRM)的环境建模,和RL控制器,可以访问的环境和VRM。所提出的算法进行了测试,在两种类型的PO机器人控制任务,那些在坐标或速度是不可观察的,那些需要长期记忆。我们的实验表明,该算法实现了更好的数据效率和/或学习更优化的政策比其他替代方法在任务中,未观察到的状态不能推断出原始观测在一个简单的方式。
2019-12-24 cs.LG cs.NE cs.SY
A neurally plausible model learns successor representations in partially observable environments
Gatsby Computational Neuroscience Unit(盖茨比计算神经科学研究组);University College London(伦敦大学学院)
动物需要设计策略,以最大限度地提高回报,同时根据传入的嘈杂感官观察与环境互动。任务相关的状态,如代理人在环境中的位置或捕食者的存在,通常不能直接观察到,但必须使用可用的感官信息进行推断。后继表示(SR)已被提出作为基于模型和无模型强化学习策略之间的中间地带,允许快速值计算和快速适应奖励函数或目标位置的变化。事实上,最近的研究表明,神经反应的特征与SR框架是一致的。然而,目前尚不清楚如何在部分观察到的嘈杂环境中学习和计算这些表示。在这里,我们引入了一个神经合理的模型,使用分布式后继功能,它建立在分布式代码的表示和计算的不确定性,并允许有效的值函数计算在部分观察环境中通过后继表示。我们发现,分布后继功能可以支持强化学习在嘈杂的环境中,直接学习成功的政策是不可行的。
2019-06-22 cs.LG cs.NE q-bio.NC
Online Learning for Unknown Partially Observable MDPs
University of Southern California(南加州大学)
求解部分可观测马尔可夫决策过程(POMDP)是一个困难的问题。当模型未知时,学习POMDPs的最优控制器是困难的。未知POMDP的最优控制器的在线学习,这需要使用有效权衡探索和利用的遗憾最小化算法的有效学习,甚至更难,并且目前不存在解决方案。本文研究了转移模型未知但观测模型已知的无限时间平均费用POMDP问题。我们提出了一种基于自然后验采样的强化学习算法(PSRL-POMDP),并证明了当参数集有限时,它达到了$O(\log T)$的遗憾界,其中$T$是时间范围。在一般情况下(连续参数集),我们表明,该算法实现了$O (T^{2/3})$遗憾的两个技术假设。据我们所知,这是POMDPs的第一个在线RL算法,具有次线性遗憾。
2021-06-14 cs.LG
Learning Optimal Admission Control in Partially Observable Queueing Networks
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立理工学院)
本文针对仅能观测到达和离开时间的部分可观测排队网络,提出一种基于 Norton 等价定理和生灭过程结构 MDP 的高效强化学习算法,实现最优准入控制,并证明其遗憾仅亚线性依赖于最大作业数 S,且不依赖 MDP 直径。
2023-08-04 cs.LG math.OC