A genetic algorithm for autonomous navigation in partially observable domain
Moscow Institute of Physics and Technology(莫斯科物理技术学院)
自主导航问题是机器人学的基本问题之一。虽然,一般来说,当自主车辆被放置到部分可观察的域中时,这可能是具有挑战性的。本文考虑简单的环境模型,提出了一种基于学习分类器系统的导航算法。
2015-07-27 cs.AI cs.LG cs.NE
Improving Training Result of Partially Observable Markov Decision Process by Filtering Beliefs
在这项研究中,我提出了一个过滤信念的方法来提高性能的部分可观察马尔可夫决策过程(POMDPs),这是一种广泛使用的方法在自主机器人和许多其他领域的控制策略。我的方法搜索和比较每一个相似的信念对。由于相似信念对控制策略的影响不大,为了减少训练时间,过滤掉了相似信念。实验结果表明,该方法优于基于点的近似POMDPs的训练结果的质量以及该方法的效率。
2021-01-05 cs.AI
Uncertainty Maximization in Partially Observable Domains: A Cognitive Perspective
Czech Technical University in Prague(捷克布拉格技术大学);Politecnico di Milano(米兰理工大学)
面对其应用领域的日益复杂性,人工学习代理现在能够扩大其处理来自其与环境交互的大量信息的能力。然而,这种缩放过程确实伴随着编码和处理越来越多的冗余信息的成本,这对学习过程本身并不一定有益。这项工作利用了部分可观察域上定义的学习系统的属性,通过选择性地关注更有可能表达环境过渡状态之间因果相互作用的特定类型的信息。基于时间差位移准则的观测空间的自适应掩蔽使得定义在部分可观测马尔可夫过程上的时间差算法的收敛性得到显著改善。
2022-04-02 cs.AI
Speeding Up the Convergence of Value Iteration in Partially Observable Markov Decision Processes
Hong Kong University of Science & Technology(香港科技大学)
部分可观测马尔可夫决策过程(POMDPs)最近在许多人工智能研究人员中很受欢迎,因为它们可以作为不确定性下规划的自然模型。值迭代是一个著名的算法,为POMDPs寻找最优策略。它通常需要大量的迭代来收敛。本文提出了一种加速数值迭代收敛的方法。该方法已在一系列基准问题上进行了评估,发现非常有效:它使值迭代在所有测试问题上仅经过几次迭代后就收敛。
2011-06-01 cs.AI
An intelligent tutor for planning in large partially observable environments
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Department of Psychology, UCLA(大学心理学系)
本文提出首个面向大型部分可观测环境的智能规划导师,结合新元推理算法与渐进式操作选择脚手架,经330人实验验证能显著提升人类决策能力。
2025-06-21 cs.AI
POPGym: Benchmarking Partially Observable Reinforcement Learning
强化学习(RL)的现实应用通常是部分可观察的,因此需要记忆。尽管如此,部分可观察性仍然在很大程度上被当代RL基准和库所忽视。我们介绍了部分可观察过程Gym(POPGym),这是一个由两部分组成的库,包含(1)15个部分可观察环境的不同集合,每个环境都有多个困难,以及(2)13个内存模型基线的实现-在单个RL库中最多。现有的部分可观察基准往往专注于3D视觉导航,这是计算昂贵,只有一种类型的POMDP。相比之下,POPGym环境是多样化的,产生更小的观察结果,使用更少的内存,并且通常在消费级GPU上训练两小时内收敛。我们在流行的RLlib框架之上实现了高级内存API和内存基线,为各种训练算法、探索策略和分布式训练范式提供了即插即用的兼容性。使用POPGym,我们执行了迄今为止最大的RL内存模型比较。POPGym可在https://github.com/proroklab/popgym上获得。
2023-03-03 cs.AI cs.LG cs.RO
Blockwise Sequential Model Learning for Partially Observable Reinforcement Learning
School of Electrical Engineering, KAIST(韩国科学技术院电气工程学院)
本文提出了一种新的序列模型学习结构来解决部分可观测马尔可夫决策问题。与传统的基于递归神经网络的方法在每个时间步压缩顺序信息不同,所提出的架构在每个数据块中生成具有多个时间步长度的潜在变量,并将最相关的信息传递到下一个块进行策略优化。所提出的分块顺序模型是基于自注意实现的,使得该模型能够在部分可观察设置下进行详细的顺序学习。该模型利用自归一化重要性采样建立了一个额外的学习网络,有效地实现了梯度估计,在模型学习中不需要复杂的分块输入数据重构。数值结果表明,所提出的方法显着优于以往的方法在各种部分可观测的环境。
2021-12-10 cs.AI cs.LG
Combined Model for Partially-Observable and Non-Observable Task Switching: Solving Hierarchical Reinforcement Learning Problems Statically and Dynamically with Transfer Learning
完全自主机器人和人类的一个不可或缺的功能是能够将注意力集中在一些相关的感知上以达到某个目标,同时忽略不相关的感知。人类和动物依靠前额叶皮层(PFC)和基底神经节(BG)之间的相互作用来实现这种称为工作记忆(WM)的焦点。工作记忆工具包(WMtk)是基于这种现象的计算神经科学模型与自治系统的时间差异(TD)学习开发的。工具包的最新调整要么利用抽象任务表示(ATR)来解决不可观察(NO)任务,要么存储过去的输入特征来解决部分可观察(PO)任务,但不能两者兼而有之。我们提出了一个新的模型,PONOWMtk,它结合了这两种方法,ATR和输入存储,与一个静态或动态的ATR数量。我们的实验结果表明,PONOWMtk执行有效的任务,表现出PO,NO,或两者兼而有之。
2020-04-22 cs.AI
A Possibilistic Model for Qualitative Sequential Decision Problems under Uncertainty in Partially Observable Environments
IRIT - Universite Paul Sabatier(IRIT - 保罗·萨巴捷大学)
在这篇文章中,我们提出了一个定性(有序)部分可观察马尔可夫决策过程模型(POMDP),其中的不确定性,以及代理的偏好,建模的可能性分布。POMDP模型的这种定性对应依赖于最近开发的不确定性决策的可能性理论。这样的定性框架的一个优点是它能够摆脱随机POMDP的经典障碍,即使在有限的状态空间中,所获得的POMDP的信念状态空间是无限的。相反,在可能性框架中,即使指数地大于状态空间,信念状态空间仍然是有限的。
2013-01-23 cs.AI
Value-Function Approximations for Partially Observable Markov Decision Processes
Brown University(布朗大学)
部分可观测马尔可夫决策过程(POMDPs)提供了一个优雅的数学框架,用于建模复杂的决策和规划问题的随机域中,系统的状态只能间接观察,通过一组不完美的或嘈杂的意见。然而,POMDPs的建模优势是有代价的--求解它们的精确方法在计算上非常昂贵,因此在实践中只适用于非常简单的问题。我们专注于有效的近似(启发式)的方法,试图减轻计算问题和权衡速度的准确性。我们有两个目标。首先,我们综述了各种近似方法,分析了它们的性质和关系,并对它们的差异提供了一些新的见解。其次,我们提出了一些新的近似方法和现有技术的新改进。从代理导航域的问题上的实验支持的理论结果。
2011-06-01 cs.AI
The Partially Observable History Process
University of Alberta(阿尔伯塔大学);Amii(Amii(阿尔伯塔机器智能研究所));Brown University(布朗大学)
我们介绍了部分可观察的历史过程(POHP)形式主义的强化学习。POHP以单个代理的行为和观察为中心,并抽象出其他参与者的存在,而不将其简化为随机过程。我们的形式主义提供了一个简化的接口,设计算法,无视分类为唯一的单一或多代理,并开发理论,适用于这些领域。我们展示了POHP形式主义如何统一传统模型,包括马尔可夫决策过程,马尔可夫博弈,扩展形式博弈及其部分可观察扩展,而不引入繁琐的技术机器或违反强化学习的哲学基础。我们说明了我们的形式主义的实用性,通过简洁地探索可观察到的顺序合理性,检查一般立即后悔最小化的一些理论性质,并推广的广泛形式的后悔最小化(EFR)算法。
2022-02-24 cs.AI cs.GT
Context Discovery for Model Learning in Partially Observable Environments
SoftBank Robotics Europe (Aldebaran)(软银机器人欧洲(Aldebaran))
学习模型的能力对于自主智能体的成功至关重要。不幸的是,在部分可观察的环境中学习模型是困难的,其中潜在的环境因素影响代理观察到的内容。在缺乏监督训练信号的情况下,自主智能体因此需要一种机制来自主地发现这些环境因素或感觉运动背景。本文提出了一种在部分可观察环境中发现感觉运动上下文的方法,通过构建一个层次转换模型。该方法在模拟实验中进行评估,在该实验中,机器人学习到不同的房间的特点是在其中发现不同的对象。
2016-08-02 cs.AI cs.LG cs.RO
POGEMA: Partially Observable Grid Environment for Multiple Agents
AIRI(AIRI研究所)
我们引入POGEMA(https://github.com/AIRI-Institute/pogema)一个挑战部分可观察多智能体寻路(PO-MAPF)问题的沙箱。这是一个基于网格的环境,专门设计成一个灵活、可调和可扩展的基准。它可以针对各种PO-MAPF进行定制,PO-MAPF可以作为规划和学习方法的绝佳测试场,以及它们的组合,这将使我们能够填补AI规划和学习之间的空白。
2022-06-22 cs.AI cs.LG cs.MA
Combined Model for Partially-Observable and Non-Observable Task Switching: Solving Hierarchical Reinforcement Learning Problems Statically and Dynamically with Transfer Learning
Middle Tennessee State University(中田纳西州立大学)
完全自主机器人和人类的一个不可或缺的功能是能够将注意力集中在一些相关的感知上以达到某个目标,同时忽略不相关的感知。人类和动物依靠前额叶皮层(PFC)和基底神经节(BG)之间的相互作用来实现这种称为工作记忆(WM)的焦点。工作记忆工具包(WMtk)是基于这种现象的计算神经科学模型与自治系统的时间差异(TD)学习开发的。工具包的最新调整要么利用抽象任务表示(ATR)来解决不可观察(NO)任务,要么存储过去的输入特征来解决部分可观察(PO)任务,但不能两者兼而有之。我们提出了一个新的模型,PONOWMtk,它结合了这两种方法,ATR和输入存储,与一个静态或动态的ATR数量。我们的实验结果表明,PONOWMtk执行有效的任务,表现出PO,NO,或两者兼而有之。
2020-04-17 cs.AI cs.LG
Cross-Entropic Learning of a Machine for the Decision in a Partially Observable Universe
对先前题为“在部分可观测的马尔可夫宇宙中学习机器决策”的论文的修订在本文中,我们对部分可观测宇宙中的最优决策感兴趣。我们的方法是直接近似的最佳战略树取决于观察。这种近似是通过一个参数化的概率定律。一个特定的家庭隐马尔可夫模型,输入\emph{and}输出,被认为是一个模型的政策。提出了一种优化这些阻尼器的参数的方法,并应用。这种优化是基于交叉熵原理的稀有事件模拟鲁宾斯坦开发的。
2006-05-18 cs.AI cs.LG cs.NE
Learning a Machine for the Decision in a Partially Observable Markov Universe
在本文中,我们感兴趣的是在部分可观测马尔可夫宇宙中的最优决策。我们的观点从动态规划的观点出发:我们直接近似的最佳战略树取决于观察。这种近似是通过一个参数化的概率定律。在本文中,一个特殊的家庭隐马尔可夫模型,输入和输出,被认为是一个学习框架。提出了一种优化这些阻尼器的参数的方法,并应用。这种最优化方法是基于交叉熵原理的。
2004-08-11 cs.AI cs.LG math.GM
Deep Recurrent Q-Learning vs Deep Q-Learning on a simple Partially Observable Markov Decision Process with Minecraft
Ynov Informatique(Ynov信息技术学院)
在过去的几年里,深度Q学习已经成功地应用于各种各样的任务。然而,香草Deep Q-Network的架构不适合处理部分可观察的环境,如3D视频游戏。为此,Deep Q-Network中添加了递归层,以允许它处理过去的依赖关系。我们在这里使用Minecraft的定制优势,并设计了两个非常简单的任务,可以作为部分可观测马尔可夫决策过程的框架。我们在这些任务中比较了深度Q网络和深度递归Q网络,以了解后者是否总是最好的架构,当代理必须处理部分可观测性时,后者更棘手,训练时间更长。
2019-04-11 cs.AI cs.LG cs.NE
Act-Then-Measure: Reinforcement Learning for Partially Observable Environments with Active Measuring
Radboud University(拉德堡德大学);Nijmegen Institute for Computing and Information Sciences(奈梅亨计算与信息科学研究所)
我们研究马尔可夫决策过程(MDP),代理人直接控制何时以及如何收集信息,作为正式的行动或有无噪声可观察MDP(ACNO-MPD)。在这些模型中,动作由两个部分组成:影响环境的控制动作和影响代理可以观察到的内容的测量动作。为了解决ACNO-MDP,我们引入了行动然后测量(ATM)启发式算法,该算法假设我们在选择控制动作时可以忽略未来状态的不确定性。我们展示了如何遵循这种启发式可能会导致更短的政策计算时间,并证明了启发式所产生的性能损失的约束。为了决定是否采取度量行动,我们引入了度量值的概念。我们开发了一种基于ATM启发式的强化学习算法,使用适合部分可观察域的Dyna-Q变体,并在一些部分可观察的环境中展示了其优越的性能。
2023-03-14 cs.AI cs.LG
Partially Observable Reference Policy Programming: Solving POMDPs Sans Numerical Optimisation
Australian National University(澳大利亚国立大学)
本文提出部分可观测参考策略规划求解器,通过深度采样未来历史并渐进更新策略,将性能损失界从采样误差最大值改进为平均值,并在大规模动态环境问题中显著超越现有在线基准。
2025-07-16 cs.AI
Iterative Formalization and Planning in Partially Observable Environments
Drexel University(德雷塞尔大学);University of Southern California(南加州大学)
本文提出PDDLego框架,通过将环境和目标分解为完全可观测的片段,实现迭代形式化、规划、扩展和优化,提升在部分可观测环境中的规划成功率和鲁棒性。
2026-04-08 cs.AI cs.CL
Market-Based Reinforcement Learning in Partially Observable Worlds
与传统的强化学习(RL)不同,基于市场的强化学习原则上适用于部分可观察马尔可夫决策过程(POMDPs)描述的世界,其中智能体需要学习相关先前事件的短期记忆,以便执行最佳行动。然而,大多数以前的工作都集中在反应式设置(MDP),而不是POMDP。在这里,我们重新实现了最近的基于市场的RL方法,并首次在玩具POMDP设置中对其进行评估。
2001-05-15 cs.AI cs.LG cs.MA
HSVI can solve zero-sum Partially Observable Stochastic Games
CITI;INSA Lyon(里昂国立应用科学学院);INRIA - CNRS(法国国家信息与自动化研究所 - 法国国家科学研究中心);Université de Lorraine(洛林大学);University of New South Wales(新南威尔士大学)
解决2人零和不完美信息博弈的最新方法依赖于线性规划或遗憾最小化,尽管不是动态规划(DP)或启发式搜索(HS),而后者通常是其他顺序决策问题的最新解决方案的核心。在部分可观察或协作设置中(例如,POMDP和DEC-POMDP),DP和HS需要引入适当的统计量,该统计量引起完全可观察的问题以及最优价值函数的边界(凸)逼近器。这种方法在2人零和部分可观察随机博弈(zs-POSGs)的一些子类中也取得了成功,但如何将其应用于一般情况仍然是一个悬而未决的问题。我们回答它(i)严格定义一个等价的游戏工作,(ii)证明数学性质的最优价值函数,允许导出边界的解决方案的战略,(iii)首次提出了一个HSVI类求解器,可证明收敛到一个$ε$ -最优解在有限时间,和(iv)经验分析它。这打开了一个新的家庭的有前途的方法,补充那些依赖于线性规划或迭代法的大门。
2022-10-26 cs.AI
Regret Minimization for Partially Observable Deep Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校)
估计状态和状态-动作价值函数的深度强化学习算法已被证明在各种具有挑战性的领域中是有效的,包括从原始图像像素学习控制策略。然而,估计状态和状态-动作价值函数的算法通常假设完全观测的状态,并且必须通过使用有限长度的观测历史或递归网络来补偿部分观测。在这项工作中,我们提出了一个新的深度强化学习算法的基础上反事实遗憾最小化迭代更新近似的一个类似的函数,并部分观察状态是鲁棒的。我们证明了这种新算法在几个部分观察到的强化学习任务上的表现可以大大优于强基线方法:在Doom和Minecraft中学习第一人称3D导航,以及在Doom和Pong中存在部分观察到的对象时采取行动。
2018-10-25 cs.AI cs.LG
Unsupervised Representation Learning in Partially Observable Atari Games
University of Oslo(奥斯陆大学);University of Agder(阿格德大学);Oslo Metropolitan University(奥斯陆城市大学)
状态表示学习旨在捕捉环境中潜在的因素。在以前的状态表示学习研究中,对比方法比生成模型表现得更好。尽管一些研究者已经意识到了掩码图像建模和对比表示学习之间的联系,但他们的努力主要集中在使用掩模作为增强技术来更好地表示潜在的生成因素。强化学习中的部分可观察环境尚未使用无监督状态表示学习方法进行仔细研究。在这篇文章中,我们创建了一个无监督的状态表示学习计划的部分可观察的状态。我们在以前的Atari 2600框架上进行了实验,该框架旨在评估表示学习模型。一种名为Spatiotemporal DeepInfomax(ST-DIM)的对比方法在这个基准测试中表现出了最先进的性能,但仍然不如其监督的对应方法。我们的方法在环境不完全可观察时改进了ST-DIM,并获得了比监督学习更高的F1分数和准确性分数。我们的方法在类别上的平均准确率得分为~ 66%,而监督学习为~38%。平均F1评分为~64%至~ 33%。
2023-03-13 cs.AI cs.LG
Partially Observable Markov Decision Process for Recommender Systems
Hong Kong University of Science and Technology(香港科技大学)
我们报告的“经常性恶化”(RD)现象观察到在线推荐系统。当推荐模型总是基于用户对先前推荐的反馈进行训练时,RD现象表现为性能下降的趋势。有几个原因的推荐系统遇到RD现象,包括缺乏负训练数据和用户的兴趣的演变,等等。出于解决问题,导致RD现象,我们提出了POMDP-Rec框架,这是一个神经优化的部分可观察马尔可夫决策过程算法的推荐系统。我们证明了POMDP-Rec框架有效地使用了来自真实世界推荐系统的累积历史数据,并自动实现了与那些通过公共数据集上的域导出进行彻底微调的模型相当的结果。
2016-09-01 cs.AI cs.IR
A Projective Simulation Scheme for Partially-Observable Multi-Agent Systems
Isfahan University of Technology(伊斯法罕理工大学)
该研究将部分可观测性引入投射仿真(PS)学习方法,通过添加信念投影算子与可观测性参数实现,并给出理论公式、网络表示及入侵玩具问题衍生场景,为多智能体PS模型提供研究起点。
2019-05-22 cs.AI quant-ph
An Empirical Comparison of Neural Architectures for Reinforcement Learning in Partially Observable Environments
Vrije Universiteit Brussel(布鲁塞尔自由大学)
本文探讨了拟合神经Q迭代强化学习在几个部分可观察的环境中的性能,使用三个递归神经网络架构:长短期记忆,门控递归单元和MUT 1,一个递归神经架构从一个池的几千个候选架构演变。一个变种的拟合Q迭代,优势值的基础上,而不是Q值,也探讨了。结果表明,GRU在大多数问题上的表现明显优于LSTM和MUT 1,在学习一个非常好的策略之前,需要更少的训练集和更少的CPU时间。优势学习也往往产生更好的结果。
2015-12-17 cs.AI cs.LG cs.NE
Deep Hierarchical Reinforcement Learning Algorithm in Partially Observable Markov Decision Processes
Kyung Hee University(庆熙大学);Queen’s University Belfast(贝尔法斯特女王大学)
针对分层结构任务中平面强化学习效果差、效率低,且现实任务多为部分可观测的问题,提出可同时适用于MDP和POMDP的深度分层强化学习算法,并在多种挑战性分层POMDP任务上开展评估。
2018-05-11 cs.AI
Integrating Algorithmic Planning and Deep Learning for Partially Observable Navigation
NUS Graduate School for Integrative Sciences and Engineering(新加坡国立大学综合科学与工程研究生院)
我们建议采取一种新的方法来设计机器人系统,其中一个更大的系统的每个构建块表示为一个可微的程序,即一个深神经网络。这种表示允许以原则性的方式集成算法规划和深度学习,从而结合了无模型和基于模型的方法的优点。我们将所提出的方法应用于具有挑战性的部分可观察机器人导航任务。机器人必须在以前看不见的3D环境中导航到目标,而不知道其初始位置,而是依赖于2D楼层地图和机载摄像头的视觉观察。我们介绍了导航网络(NavNets),它在一个端到端的可训练递归神经网络中编码状态估计、规划和行动。在初步的模拟实验中,我们成功地训练了导航网络,以解决具有挑战性的部分可观测导航任务。
2018-07-17 cs.AI cs.LG cs.RO
Off-Policy Evaluation in Partially Observable Environments
Technion Institute of Technology(以色列理工学院)
本文研究了部分可观测环境下强化学习的批量离策评估问题。在部分可观测性下的非政策评估本质上倾向于偏差,具有任意大误差的风险。我们定义了部分可观测马尔可夫决策过程(POMDPs)的离政策评估问题,并建立了我们认为是POMDPs的第一个离政策评估结果。此外,我们制定了一个模型,其中观察到的和未观察到的变量被解耦成两个动态过程,称为解耦POMDP。我们展示了如何在这个新模型下进行政策评估,减轻一般POMDPs固有的估计误差。我们证明了POMDP的政策外评估的陷阱,使用一个著名的政策外的方法,重要性采样,并将其与我们的结果进行比较合成的医疗数据。
2019-11-24 cs.AI cs.LG cs.SY
Heuristics for Partially Observable Stochastic Contingent Planning
eBay Research(eBay研究院);Ben Gurion University(本古里安大学)
针对基于目标的POMDP求解中启发式引导收敛的问题,提出利用域模型结构化表示、兼顾信息价值与随机效应的启发式函数,可减少RTDP-BEL收敛所需轨迹数,提升求解速度。
2024-10-08 cs.AI
Transformer-Based Reinforcement Learning for Autonomous Orbital Collision Avoidance in Partially Observable Environments
Université Paris-Saclay, CentraleSupélec Engineering School, Department of Industrial Engineering(巴黎萨克雷大学,中央超导工程学院,工业工程系)
本文提出一种基于Transformer的强化学习框架,用于解决部分可观测环境下自主轨道避碰问题,通过结合可配置相遇模拟器、距离依赖观测模型和序列状态估计器,利用Transformer架构有效处理噪声和间歇性观测。
2026-02-05 cs.AI cs.LG
A Model Approximation Scheme for Planning in Partially Observable Stochastic Domains
部分可观测马尔可夫决策过程(POMDPs)是规划问题的自然模型,其中行动的影响是不确定的,世界的状态是不完全可观测的。精确求解POMDPs是困难的。本文提出了一种新的近似方案。其基本思想是将POMDP转换为另一个由Oracle提供额外信息的POMDP。预言机通知规划代理世界的当前状态在某个区域中。转换后的POMDP因此被称为区域可观察。它比原来的POMDP更容易解决。我们建议解决转换后的POMDP,并使用其最优策略来构造原POMDP的近似策略。通过控制预言机提供的额外信息量,可以在计算时间和近似质量之间找到适当的折衷。在算法贡献方面,我们详细研究了如何利用区域可观性求解变换后的POMDP。为了便于研究,我们还提出了一个新的精确算法一般POMDPs。该算法在概念上是简单的,但显着比以前的精确算法更有效。
1997-11-01 cs.AI
Unsupervised Object-Based Transition Models for 3D Partially Observable Environments
DeepMind(深度思维(DeepMind))
我们提出了一个基于对象的时隙式过渡模型,将场景分解为对象,将它们对齐(相对于时隙式对象存储器)以保持时间上的一致顺序,并预测这些对象如何在连续的帧中演变。该模型是在没有监督的情况下使用对象结构化表示而不是像素级别的损失进行端到端训练的。由于它的对齐模块,该模型正确地处理了两个问题,不能令人满意地处理其他过渡模型,即对象持久性和对象身份。我们表明,随着时间的推移,对象级别的损失和正确的对象对齐的组合,使模型的性能优于最先进的基线,并允许它处理对象遮挡和再现部分可观察的环境。
2021-03-08 cs.AI cs.CV
Geometry and Determinism of Optimal Stationary Control in Partially Observable Markov Decision Processes
Max Planck Institute for Mathematics in the Sciences(马克斯·普朗克数学研究所);Faculty of Mathematics and Computer Science(数学与计算机科学学院);Leipzig University(莱比锡大学);Santa Fe Institute(圣塔菲研究所)
众所周知,对于任何有限状态的马尔可夫决策过程(MDP),都存在一个无记忆的确定性策略使期望回报最大化。对于部分可观测马尔可夫决策过程(POMDPs),最优无记忆策略通常是随机的。研究了无记忆随机策略集上的期望报酬最优化问题。我们制定了一个约束线性最优化问题,并制定了相应的几何框架。我们表明,任何POMDP有限的随机性,这使我们能够减少搜索空间的维数有一个最佳的无记忆的政策。实验表明,该方法能够更好,更快地收敛的政策梯度的评估系统。
2016-02-13 cs.AI math.OC
Generative-Model Predictive Planning for Navigation in Partially Observable Environments
University of Manchester(曼彻斯特大学);Aalto University(阿尔托大学)
提出BeliefDiffusion框架,结合扩散模型和模型预测控制,显式建模多模态信念分布并进行前瞻规划,在合成地图环境中显著优于无模型强化学习和生成方法。
2026-06-18 cs.AI
SIDE: State Inference for Partially Observable Cooperative Multi-Agent Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
值分解方法作为求解分散部分可观测马尔可夫决策过程(Dec-POMDP)问题的方法之一,近年来取得了重要的成果。然而,大多数值分解方法需要在训练期间完全可观察的环境状态,但这在某些只能获得不完整和噪声观测的场景中是不可行的。因此,我们提出了一种新的价值分解框架,称为状态推理价值分解(SIDE),它通过同时寻求最优控制和状态推理两个问题的解决方案,消除了了解全局状态的需要。SIDE可以扩展到任何值分解方法,以解决部分可观察的问题。通过比较不同算法在星际争霸II微管理任务中的性能,我们验证了SIDE可以在没有可访问状态的情况下,根据过去的局部观察推断出有助于强化学习过程的当前状态,甚至在一些复杂场景中获得优于许多基线的结果。
2021-12-20 cs.AI cs.LG cs.MA
Human-in-the-Loop Synthesis for Partially Observable Markov Decision Processes
The University of Texas at Austin(得克萨斯大学奥斯汀分校);Radboud University(拉德堡德大学);Albert-Ludwigs-Universität Freiburg(弗莱堡大学);Worcester Polytechnic Institute (WPI)(伍斯特理工学院)
我们研究规划问题,其中自主智能体内的环境,是受不确定性和不完全可观察的。部分可观察马尔可夫决策过程(POMDP)是捕捉此类问题的自然形式模型。由于POMDPs中潜在的巨大甚至无限的信念空间,具有安全保证的合成通常在计算上是难以处理的。我们提出了一种方法,旨在规避这一困难:在虚拟环境中可以部分或完全模拟的情况下,我们积极整合人类用户来控制代理。当用户反复尝试在模拟中安全地引导代理时,我们从人工输入中收集数据。通过行为克隆,我们将数据转化为POMDP的策略。该策略解决了POMDP的所有不确定性和不可观测性,从而得到离散时间马尔可夫链(MC)。该MC的有效验证通过证明或证伪给定的系统规范来定量地洞察推断出的人类策略的质量。对于这种情况下,该战略的质量是不够的,我们提出了一种改进方法,使用反例提交给人类。实验表明,通过将人类纳入POMDP验证循环,我们在可扩展性方面提高了几个数量级的最新技术水平。
2018-02-27 cs.AI
Information State Embedding in Partially Observable Cooperative Multi-Agent Reinforcement Learning
Coordinated Science Laboratory, University of Illinois(伊利诺伊大学厄巴纳-香槟分校协调科学实验室)
部分可观测性下的多智能体强化学习(MARL)长期以来一直被认为是具有挑战性的,这主要是由于要求每个智能体在所有其他智能体的本地历史上保持信念-这是一个通常随时间呈指数增长的领域。在这项工作中,我们研究了一个部分可观察的MARL问题,其中代理是合作的。为了使易于处理的算法的发展,我们引入了信息状态嵌入的概念,用于压缩代理的历史。我们量化压缩误差如何影响分散控制的价值函数。此外,我们提出了一个基于递归神经网络(RNNs)的嵌入实例。然后将嵌入用作近似信息状态,并且可以馈送到任何MARL算法中。所提出的嵌入-然后-学习管道打开了现有(部分可观察)MARL算法的黑盒子,使我们能够建立一些理论保证(价值函数的误差界),同时仍然可以通过许多端到端方法实现有竞争力的性能。
2020-08-17 cs.AI cs.LG cs.MA
Online Learning and Planning in Partially Observable Domains without Prior Knowledge
Xiamen University(厦门大学)
智能体如何在随机的、部分可观测的领域中最优地行动是一个具有挑战性的问题,解决这个问题的标准方法是首先学习领域模型,然后基于学习到的模型找到(近)最优策略。然而,离线学习模型通常需要存储整个训练数据,并且不能利用规划阶段生成的数据。此外,目前的研究通常假设学习的模型是准确的,或者预先假定对世界上不可观察部分的性质的了解。本文针对离散系统,利用预测状态表示(PSRs)的优点,提出了一种基于模型的规划方法,该方法的学习和规划阶段都可以在线执行,并且不需要底层系统的先验知识。实验结果表明,与最先进的方法相比,我们的算法实现了高水平的性能,没有提供先验知识,以及PSRs的理论优势。源代码可在https://github.com/DMU-XMU/PSR-MCTS-Online上获得。
2019-06-11 cs.AI
Sparsely Changing Latent States for Prediction and Planning in Partially Observable Domains
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Tübingen(蒂宾根大学)
在部分可观察领域进行预测和规划的一种常见方法是使用递归神经网络(RNN),它理想地开发和维护关于隐藏的任务相关因素的潜在记忆。我们假设,物理世界中的许多隐藏因素都是恒定的,只会发生稀疏的变化。为了研究这一假设,我们提出了门控$L_0$正则化动态(GateL0RD),一种新的经常性的架构,结合了感性的偏见,以保持稳定,稀疏变化的潜在状态。通过一种新的内部门控函数和对潜在状态变化的$L_0$范数的惩罚来实现偏置。我们证明了GateL0RD可以在各种部分可观察的预测和控制任务中与最先进的RNN竞争或优于RNN。GateL0RD倾向于对环境的潜在生成因素进行编码,忽略虚假的时间依赖性,并且更好地泛化,从而提高了基于模型的规划和强化学习任务中的采样效率和整体性能。此外,我们表明,发展中的潜在状态可以很容易地解释,这是RNN更好地解释的一步。
2022-01-13 cs.AI cs.LG
Learning What to Memorize: Using Intrinsic Motivation to Form Useful Memory in Partially Observable Reinforcement Learning
Izmir University of Economics(伊兹密尔经济大学)
强化学习在具有长期依赖性的部分可观察环境中面临着重要的挑战。为了在模糊的环境中学习,智能体必须将先前的感知保存在记忆中。早期的基于内存的方法使用固定的方法来确定在内存中保存什么,这将它们限制在某些问题上。在这项研究中,我们遵循的想法,让记忆的控制代理,允许它有记忆改变的行动。这种学习机制是由一种内在的动机来支持的,这种动机是为了记住罕见的观察结果,这可以帮助智能体消除其在环境中的状态。我们的方法进行了实验和分析的几个部分可观察的任务与长期的依赖关系,并与其他记忆为基础的方法进行了比较。
2022-02-04 cs.AI cs.LG
Scene Informer: Anchor-based Occlusion Inference and Trajectory Prediction in Partially Observable Environments
Stanford University(斯坦福大学);University of California, Riverside(加州大学河滨分校)
针对自动驾驶领域遮挡推理与轨迹预测研究割裂、假设不符实际的问题,提出统一框架Scene Informer,基于Transformer实现部分可观测环境下的双任务推理,在Waymo数据集上性能优于现有方法。
2024-03-09 cs.AI cs.CV cs.RO
Partially Observable Games for Secure Autonomy
California Institute of Technology(加州理工学院);Jet Propulsion Laboratory, California Institute of Technology(加州理工学院喷气推进实验室)
在过去的十年里,自主和网络防御的技术开发工作一直在相互独立地发展。在本文中,我们报告我们正在努力将这两个目前不同的领域整合到一个单一的框架。为此,我们提出了两个球员的部分可观察的随机博弈形式主义,以捕捉高层次的自主任务规划下的不确定性和对抗性决策的不完美信息。我们表明,在有限记忆的假设下,自主决策者和网络对手的合成次优策略,这样的游戏是可能的。然后,我们描述了一个实验测试平台,以评估所提出的框架的有效性。
2020-02-05 cs.AI cs.CR cs.FL
Rule-based Shielding for Partially Observable Monte-Carlo Planning
部分可观测蒙特卡罗规划(POMCP)是一种功能强大的在线算法,能够为大型部分可观测马尔可夫决策过程生成近似策略。这种方法的在线特性通过避免完整的策略表示来支持可伸缩性。然而,缺乏明确的表示阻碍了政策的可解释性,使政策验证非常复杂。在这项工作中,我们提出了两个贡献。第一个是一种方法,用于确定意外的行动选择POMCP专家先验知识的任务。第二种是屏蔽方法,防止POMCP选择意外的操作。第一种方法是基于可满足性模理论(SMT)。它检查痕迹(即,由POMCP生成的信念-动作-观察三元组的序列)来计算关于专家定义的策略属性的逻辑公式的参数。第二个贡献是一个模块,它使用在线的逻辑公式来识别POMCP选择的异常动作,并用满足满足专家知识的逻辑公式的动作来代替这些动作。我们评估我们的方法上的老虎,POMDPs的标准基准,和一个现实世界中的移动机器人导航速度调节相关的问题。结果表明,屏蔽POMCP优于标准POMCP在一个案例研究中,一个错误的POMCP参数,使其选择错误的动作时,以时间。此外,我们表明,该方法保持良好的性能,如果使用包含一些错误的动作轨迹的逻辑公式的参数进行优化。
2021-04-28 cs.AI
Deep Transformer Q-Networks for Partially Observable Reinforcement Learning
Khoury College of Computer Sciences(Khoury计算机科学学院);Northeastern University(东北大学)
现实世界的强化学习任务通常涉及某种形式的部分可观察性,其中观察仅给出世界真实状态的部分或噪声视图。这些任务通常需要某种形式的记忆,其中代理可以访问多个过去的观察,以便执行良好。一种流行的合并记忆的方法是使用递归神经网络来访问代理的历史。然而,强化学习中的递归神经网络通常是脆弱的,难以训练,易受灾难性遗忘的影响,有时会完全失败。在这项工作中,我们提出了深度Transformer Q-网络(DTQN),一种新的架构,利用Transformers和自我注意编码代理的历史。DTQN是模块化设计的,我们对我们的基础模型的几个修改的结果进行比较。我们的实验表明,Transformer可以解决部分可观察的任务比以前的递归方法更快,更稳定。
2022-11-10 cs.AI cs.LG
Decentralized Control of Partially Observable Markov Decision Processes using Belief Space Macro-actions
MIT(麻省理工学院)
本文的重点是解决连续空间中部分可观性的多机器人规划问题。分散部分可观测马尔可夫决策过程(Dec-POMDP)是多机器人协调问题的通用模型,但对于大型问题,Dec-POMDP的表示和求解往往比较困难。为了允许一个高层次的表示,这是自然的多机器人问题和可扩展到大型离散和连续的问题,本文扩展了Dec-POMDP模型的分散部分可观察的半马尔可夫决策过程(Dec-POSMDP)。的Dec-POSMDP制定允许异步决策的机器人,这是至关重要的多机器人域。我们还提出了一个算法来解决这个Dec-POSMDP这是更可扩展的比以前的方法,因为它可以将闭环的信念空间的宏观行动规划。这些宏操作被自动构造以产生鲁棒的解决方案。所提出的方法的性能进行评估的一个复杂的多机器人包裹递送问题下的不确定性,表明我们的方法可以自然地代表多机器人问题,并提供高质量的解决方案,为大规模的问题。
2015-02-20 cs.AI cs.MA cs.RO
Q-Mixing Network for Multi-Agent Pathfinding in Partially Observable Grid Environments
Moscow Institute of Physics and Technology(莫斯科物理技术学院);Moscow Aviation Institute(莫斯科航空学院);Artificial Intelligence Research Institute FRC CSC RAS(俄罗斯科学院联邦科学研究中心计算机科学与控制研究所人工智能研究院)
在本文中,我们考虑在部分可观测网格环境中的多智能体导航问题。这个问题对于集中式规划方法来说是具有挑战性的,因为它们通常依赖于对环境的全面了解。我们建议利用强化学习的方法时,代理,首先,学习的政策,映射观察到的行动,然后遵循这些政策,以达到他们的目标。为了解决与学习合作行为相关的挑战,即在许多情况下,代理需要相互让步以完成任务,我们使用混合Q网络来补充学习个体策略。在实验评估中,我们表明,这种方法导致合理的结果和规模以及大量的代理。
2021-08-13 cs.AI cs.LG
Task-assisted Motion Planning in Partially Observable Domains
University of Genoa(热那亚大学);Arizona State University(亚利桑那州立大学)
本文提出了一种基于信念空间的机器人导航任务-运动规划集成框架。自主机器人在现实世界的复杂场景中运行,需要在离散(任务)空间和连续(运动)空间中进行规划。为此,我们提出了一个框架内的混合任务规划整合信念空间推理。PDDL+的表达能力与语义驱动的语义附件相结合,在规划时执行传播和后验信念估计。讨论了开发组合混合规划器的基本方法,为改进和未来的工作提供了建议。此外,我们验证了我们的方法的关键方面,在模拟中使用一个现实的情况。
2019-08-27 cs.AI cs.RO
Online Active Perception for Partially Observable Markov Decision Processes with Limited Budget
University of Texas at Austin(德克萨斯大学奥斯汀分校)
主动感知策略使智能体能够有选择地收集信息,以提高其性能。在应用程序中,代理不具有现有的信息源的先验知识,它是至关重要的综合主动感知策略在运行时。我们认为,在运行时的代理是能够收集信息的有限的预算下的设置。我们提出的问题的背景下,部分可观察的马尔可夫决策过程。我们提出了一个广义的贪婪策略,选择一个子集的信息源的不确定性减少的近最优保证。我们的理论分析表明,所提出的主动感知策略在预期的累积奖励方面达到了接近最优的性能。我们展示了机器人导航问题的模拟产生的战略。
2019-10-04 cs.AI cs.SY eess.SY
Learning Reward Machines: A Study in Partially Observable Reinforcement Learning
Pontificia Universidad Católica de Chile(智利天主教大学);Vector Institute(向量研究院);University of Toronto(多伦多大学);Ryerson University(瑞尔森大学)
强化学习是人工智能的核心问题。这个问题包括定义人工代理,可以通过与环境交互来学习最佳行为-其中最佳行为是相对于代理寻求最大化的奖励信号定义的。奖励机(RM)提供奖励函数的结构化的、基于自动机的表示,其使得RL代理能够将RL问题分解成可以经由离策略学习有效地学习的结构化子问题。在这里,我们表明,RM可以从经验中学习,而不是由用户指定,并且由此产生的问题分解可以用于有效地解决部分可观察的RL问题。我们提出的任务学习RM作为一个离散的优化问题,其目标是找到一个RM,分解成一组子问题的问题,使其最佳的无记忆的政策的组合是一个最佳的政策,为原始问题。我们展示了这种方法在三个部分可观察的领域的有效性,在这些领域中,它的性能显着优于A3 C,PPO和ACER,并讨论了它的优点,局限性和更广泛的潜力。
2021-12-17 cs.AI cs.LG
Apprenticeship Learning for Model Parameters of Partially Observable Environments
Institute of Industrial Science, the University of Tokyo(东京大学生产技术研究所);Honda Research Institute Japan Co., Ltd.(日本本田技术研究所株式会社)
我们认为学徒制学习,即,当环境模型不确定时,使代理通过观察专家在部分可观察环境中演示任务来学习任务。此设置在难以对环境进行显式建模的应用程序(如对话系统)中非常有用。我们表明,我们可以提取信息的环境模型推断动作选择过程背后的演示,假设专家选择最佳行动的基础上的知识的目标环境的真实模型。提出的算法可以实现更准确的估计POMDP参数和更好的政策,从一个简短的演示,相比,只从环境的反应学习的方法。
2012-06-27 cs.AI cs.LG stat.ML
Inferring Reward Machines and Transition Machines from Partially Observable Markov Decision Processes
针对部分可观测环境中的非马尔可夫性,提出转移机器与双重行为米利机统一表示,并开发DB-RPNI算法高效推断最小正确自动机,速度提升达三个数量级。
2025-08-03 cs.AI cs.LG
Ontology-Enhanced Decision-Making for Autonomous Agents in Dynamic and Partially Observable Environments
University College Dublin(都柏林大学学院)
本文提出本体增强决策模型OntoDeM,利用本体知识改善智能体在动态部分可观测环境中的观测与决策,通过演化或生成新目标应对不可预见事件,并在四个实际应用中验证其优于传统及先进学习算法。
2024-05-27 cs.AI cs.LG