Reinforcement Learning with Partially Known World Dynamics
Stanford University(斯坦福大学)
如果建模者能够将领域知识传授给算法,强化学习将在现实世界的问题上取得更好的成功。大多数问题都有隐藏的状态和未知的动态。部分可观测马尔可夫决策过程(POMDPs)允许两者的建模。不幸的是,他们没有提供一个自然的框架,在其中指定的域动态知识。设计者必须要么承认对动态一无所知,要么完全指定动态(从而将其转化为规划问题)。我们提出了一个新的框架称为部分已知马尔可夫决策过程(PKMDP),它允许设计者指定已知的动态,而仍然留下部分的环境的动态未知。该模型不仅表示环境的动态,但也代理的动态知识。我们针对该模型提出了一种基于重要性采样的强化学习算法。该算法结合规划的基础上已知的动态和学习的未知动态。我们的研究结果清楚地表明了添加领域知识的能力以及由此产生的学习益处。
2012-12-12 cs.LG stat.ML
CAR-DESPOT: Causally-Informed Online POMDP Planning for Robots in Confounded Environments
University of Oxford(牛津大学)
本文提出CAR-DESPOT,一种基于因果建模与推理的AR-DESPOT在线POMDP规划扩展方法,通过离线学习因果模型参数化,有效消除未观测混淆变量引起的误差,生成比AR-DESPOT更鲁棒且性能更高的策略。
2023-07-27 cs.AI cs.LG cs.RO
Efficient Learning and Planning with Compressed Predictive States
McGill University(麦吉尔大学)
预测状态表示(PSR)为部分可观测系统建模提供了一个表达框架。通过将系统压缩表示为可观测量的函数,PSR学习方法避免使用局部最小值倾向的期望最大化,而是采用全局最优的基于矩的算法。此外,由于PSR不需要一个预定的潜在状态结构作为输入,他们提供了一个有吸引力的框架,基于模型的强化学习时,代理必须计划没有先验访问系统模型。遗憾的是,PSR的表达能力伴随着显著的计算成本,并且该成本是抑制PSR在应用中的使用的主要因素。为了克服这一缺点,我们引入了压缩PSR(CPSR)的概念。CPSR学习方法结合了降维、增量矩阵分解和压缩感知的最新进展。我们展示了这种方法如何为学习PSR的精确近似提供原则性途径,大大降低了与学习相关的计算成本,同时还提供了有效的正则化。更进一步,我们提出了一个规划框架,利用这些学习模型。我们表明,这种方法有利于模型学习和规划在大型复杂的部分可观察的领域,这是不可行的,如果没有压缩的原则使用的任务。
2014-07-20 cs.LG stat.ML
In-Context Planning with Latent Temporal Abstractions
Vanderbilt University(范德比大学);William & Mary(威廉与玛丽学院)
I-TAP通过学习离散时间抽象空间,实现高效且鲁棒的上下文规划,在部分可观测和随机动态环境中表现优异。
2026-02-21 cs.AI cs.LG
Hierarchical Object-Oriented POMDP Planning for Object Rearrangement
Oregon State University(俄勒冈州立大学)
针对部分可观测多房间环境中多物体重排问题,提出分层面向对象POMDP(HOO-POMDP)规划框架及MultiRoomR基准数据集,通过子目标生成、低级策略和抽象系统提升适应性,实验验证其在复杂场景中的稳健性能。
2025-08-25 cs.AI cs.LG cs.RO
Provable Representation with Efficient Planning for Partial Observable Reinforcement Learning
University of Alberta(阿尔伯塔大学);UT Austin(德克萨斯大学奥斯汀分校);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Google DeepMind(谷歌DeepMind);Georgia Tech(佐治亚理工学院)
针对部分可观测强化学习,本文提出基于表示的统一框架与可处理算法,给出统计效率理论保证,并在多个基准上超越现有最先进方法。
2024-06-11 cs.AI cs.LG stat.ML
Efficient Sampling in POMDPs with Lipschitz Bandits for Motion Planning in Continuous Spaces
FZI Research Center for Information Technology(FZI信息技术研究中心);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
不确定性下的决策过程可以看作是一个部分可观测的马尔可夫决策过程(POMDP)。寻找POMDPs的精确解通常在计算上是难以处理的,但是该解可以通过基于采样的方法来近似。这些基于采样的POMDP求解器依赖于多臂强盗(MAB)算法,该算法假设不同动作的结果是不相关的。在某些应用中,如连续空间中的运动规划,类似的动作会产生类似的结果。在本文中,我们利用MAB启发式算法的变体,对行动结果进行Lipschitz连续性假设,以提高基于采样的规划方法的效率。我们证明了这种方法的有效性的背景下,自动驾驶的运动规划。
2021-06-08 cs.LG cs.RO
Learning for Multi-robot Cooperation in Partially Observable Stochastic Environments with Macro-actions
IBM T. J. Watson Research Center(IBM T. J. 沃森研究中心);Princeton University(普林斯顿大学);Massachusetts Institute of Technology(麻省理工学院);Northeastern University(东北大学)
提出了一种基于分散部分可观测马尔可夫决策过程(Dec-POMDP)和宏动作(MAs)的数据驱动的部分可观测域多机器人协调方法。Dec-POMDPs提供了一个通用的框架,合作顺序决策下的不确定性和MA允许暂时延长和异步的行动执行。到目前为止,大多数方法假设基础的Dec-POMDP模型是已知的先验或完整的模拟器在规划时间。以前的方法,旨在解决这些问题遭受局部最优性和初始条件的敏感性。此外,很少有硬件演示涉及一个大型团队的异构机器人和长期的规划视野存在。这项工作通过提出一种基于迭代采样的期望最大化算法(iSEM)来解决这些差距,该算法仅使用包含观察,MA和奖励的轨迹数据来学习策略。我们的实验表明,该算法是能够实现更好的解决方案的质量比国家的最先进的学习为基础的方法。我们在硬件上实现了多机器人搜索和救援(SAR)域(有障碍物和无障碍物)的两种变体,以证明学习的策略可以有效地控制一组分布式机器人在部分可观察的随机环境中进行合作。
2017-08-18 cs.LG cs.MA cs.RO
Learning to Track Dynamic Targets in Partially Known Environments
University of Pennsylvania(宾夕法尼亚大学);Cornell University(康奈尔大学)
我们使用深度强化学习(RL)方法解决了自主系统中的基本任务之一主动目标跟踪。在这个问题中,一个自主智能体的任务是利用其机载传感器获取有关目标的信息。在这个问题中的经典挑战是系统模型的依赖性和计算信息理论成本函数的困难,为一个长的规划范围。RL为这些挑战提供了解决方案,因为其有效规划范围的长度不影响计算复杂性,并且它降低了算法对系统模型的强烈依赖性。特别是,我们引入了主动跟踪目标网络(ATTN),这是一种统一的RL策略,能够解决主动目标跟踪的主要子任务-视线跟踪,导航和探索。该策略在部分已知目标模型的情况下,对敏捷和异常目标的跟踪具有鲁棒性。此外,相同的策略能够在障碍物环境中导航以到达远处的目标,以及当目标位于意想不到的位置时探索环境。
2020-06-17 cs.LG cs.RO stat.ML
Efficient Planning under Partial Observability with Unnormalized Q Functions and Spectral Learning
McGill University(麦吉尔大学);Quebec AI Institute (MILA)(魁北克人工智能研究所(MILA));Université de Montréal(蒙特利尔大学);Deepmind(深度思维(Deepmind))
部分可观测域的学习和规划是强化学习的难点之一。传统的方法认为这两个问题是独立的,导致经典的两阶段范式:首先学习环境动态,然后相应地计划。然而,这种方法将这两个问题分开,因此可能导致样本效率低下且耗时的算法。在本文中,我们提出了一种新的算法,结合学习和规划在一起。我们的算法是密切相关的谱学习算法的预测状态表示,并提供了有吸引力的理论保证和时间复杂度。我们经验表明,我们的方法是更样本和时间效率相比,经典的方法在两个领域。
2019-11-22 cs.AI cs.LG
LEADER: Learning Attention over Driving Behaviors for Planning under Uncertainty
Oregon State University(俄勒冈州立大学);Shanghai Jiao Tong University(上海交通大学);National University of Singapore(新加坡国立大学)
人类行为的不确定性对拥挤的城市环境中的自动驾驶提出了重大挑战。部分可观测马尔可夫决策过程(POMDPs)为不确定性下的规划提供了一个原则性框架,通常利用蒙特卡洛采样来实现复杂任务的在线性能。然而,采样也会因可能遗漏关键事件而引起安全问题。为了解决这个问题,我们提出了一种新的算法,学习注意力驾驶bEADER(LEADER),学会参加关键的人类行为在规划。LEADER学习一个神经网络生成器,以在实时情况下对人类行为提供关注。它将注意力整合到一个信念空间规划器中,使用重要性采样来使推理偏向关键事件。为了训练算法,我们让注意力生成器和规划器形成一个最小-最大博弈。通过解决最小-最大博弈,LEADER学会了在没有人类标签的情况下执行风险感知规划。
2022-10-29 cs.LG cs.RO
MAGIC: Learning Macro-Actions for Online POMDP Planning
National University of Singapore(新加坡国立大学)
部分可观测马尔可夫决策过程(POMDP)是机器人在不确定性条件下进行决策的基本框架,但当需要进行长期规划时,POMDP规划具有较高的计算复杂性。虽然时间扩展的宏动作有助于减少有效的规划视野和显着提高计算效率,我们如何获得良好的宏动作?本文提出了Macro-Action Generator-Critic(MAGIC),它对针对在线POMDP规划优化的宏动作进行离线学习。具体来说,MAGIC端到端地学习宏动作生成器,使用在线计划器的性能作为反馈。在在线规划过程中,生成器根据机器人的信念和环境上下文生成动态的情境感知宏动作。我们评估了MAGIC在模拟和真实机器人上的几个长期规划任务。实验结果表明,与原始动作和手工宏动作相比,学习的宏动作在在线规划性能方面具有显着优势。
2021-07-01 cs.AI cs.LG cs.RO
Reinforcement learning with timed constraints for robotics motion planning
Department of Mechanical Engineering, Iowa Technology Institute, University of Iowa(机械工程系,Iowa技术研究所,爱荷华大学);Talus Renewables, Inc.(Talus Renewables公司);Department of Industrial, Electronic, and Mechanical Engineering, Roma Tre University(工业、电子和机械工程系,罗马三大学)
本文提出了一种基于自动机的强化学习框架,用于在满足MITL时间约束的MDP和POMDP中合成策略,通过时间限制确定性广义巴克斯自动机实现时间正确性和性能优化。
2025-12-31 cs.LG cs.RO
Improved POMDP Tree Search Planning with Prioritized Action Branching
Stanford University(斯坦福大学);General Motors(通用汽车)
部分可观测马尔可夫决策过程的在线求解器很难扩展到具有大动作空间的问题。本文提出了一种称为PA-POMCPOW的方法来对动作空间的子集进行采样,该动作空间提供了不同的开发和探索混合物,以包含在搜索树中。所提出的方法首先评估的行动空间,根据一个评分函数,这是一个线性组合的预期回报和预期的信息增益。然后在树扩展期间将具有最高分数的动作添加到搜索树。实验表明,PA-POMCPOW是能够超越现有的国家的最先进的解决方案的问题与大的离散动作空间。
2020-10-07 cs.AI cs.LG
Planning with Expectation Models
University of Alberta(阿尔伯塔大学)
分布模型和样本模型是基于模型的强化学习(MBRL)中两种常用的模型选择。然而,学习这些模型可能是棘手的,特别是当状态和动作空间很大时。另一方面,期望模型由于其紧凑性而相对容易学习,并且也被广泛用于确定性环境。对于随机环境,如何将期望模型用于规划并不明显,因为它们仅部分表征分布。在本文中,我们提出了一个合理的方式使用近似期望模型的MBRL。特别地,我们1)表明,如果状态价值函数在状态特征上是线性的,则期望模型的规划等价于分布模型的规划,2)分析用于近似期望的两种常见参数化选择:线性和非线性期望模型,3)提出了一种基于模型的策略评估算法,并给出了其收敛结果,以及4)经验地证明所提出的规划算法的有效性。
2020-07-29 cs.AI cs.LG stat.ML
LeTS-Drive: Driving in a Crowd by Learning from Tree Search
National University of Singapore(新加坡国立大学)
在拥挤的环境中自动驾驶,例如,一个繁忙的交通路口,是机器人技术尚未解决的挑战。机器人车辆必须与动态和部分可观察的环境,嘈杂的传感器和许多代理人抗衡。一个原则性的方法是将其形式化为部分可观测马尔可夫决策过程(POMDP),并通过在线信念树搜索来解决它。为了在这种极具挑战性的环境中处理大量人群并实现实时性能,我们提出了LeTS-Drive,它集成了在线POMDP规划和深度学习。它包括两个阶段。在离线阶段,我们学习一个政策和相应的价值函数通过模仿信念树搜索。在在线阶段,学习的策略和价值函数指导信念树搜索。LeTS-Drive利用规划的鲁棒性和学习的运行时效率来增强两者的性能。仿真实验结果表明,LeTS-Drive优于单独的规划或模仿学习,并开发出复杂的驾驶技能。
2019-05-29 cs.AI cs.LG cs.RO
TAB-Fields: A Maximum Entropy Framework for Mission-Aware Adversarial Planning
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
针对对抗策略未知但受任务与环境约束的规划问题,提出基于最大熵的 TAB-Fields 表示及 TAB-conditioned POMCP,并通过水下与地面机器人实验验证其优于基线。
2024-12-03 cs.AI cs.LG cs.MA
Decentralized Monte Carlo Tree Search for Partially Observable Multi-agent Pathfinding
AIRI(人工智能研究院);Federal Research Center for Computer Science and Control of Russian Academy of Sciences(俄罗斯科学院计算机科学与控制联邦研究中心)
针对部分可观测的分散式终身多智能体路径规划问题,提出基于AlphaZero启发的多智能体蒙特卡洛树搜索方法,利用局部观察重建MDP进行规划,实验性能优于现有可学习求解器。
2023-12-26 cs.AI cs.LG cs.MA
Vector Quantized Models for Planning
DeepMind(深度思维);Mila(米拉);University of Montreal(蒙特利尔大学)
基于模型的强化学习领域的最新发展已经证明在一系列环境中是成功的,特别是在规划至关重要的环境中。然而,这样的成功仅限于确定性的充分观察的环境。我们提出了一种新的方法,处理随机和部分可观察的环境。我们的关键见解是使用离散自动编码器来捕获随机环境中动作的多种可能影响。我们使用随机变量的蒙特卡罗树搜索规划代理的行动和离散的潜变量代表环境的响应。我们的方法显着优于离线版本的MuZero对国际象棋的随机解释,其中对手被认为是环境的一部分。我们还表明,我们的方法可以扩展到DeepMind Lab,这是一个具有大量视觉观察和部分可观察性的第一人称3D环境。
2021-06-10 cs.AI cs.LG stat.ML
Compositional Learning-based Planning for Vision POMDPs
UC Berkeley(加州大学伯克利分校);CU Boulder(科罗拉多大学博尔德分校);Google Research(谷歌研究院)
部分可观测马尔可夫决策过程(POMDP)是一个强大的框架,用于捕获涉及状态和转移不确定性的决策问题。然而,大多数当前POMDP规划者不能有效地处理现实世界应用中普遍存在的高维图像观测,并且通常需要与环境交互的冗长的在线培训。在这项工作中,我们提出了视觉树搜索(VTS),组合学习和规划过程,结合生成模型离线学习与在线基于模型的POMDP规划。深度生成观测模型评估蒙特卡罗树搜索规划器中的可能性并预测未来图像观测。我们证明了VTS对训练过程中不存在的不同类型的图像噪声具有鲁棒性,并且可以适应不同的奖励结构,而无需重新训练。这种新方法显著且稳定地优于几种基线最先进的视觉POMDP算法,同时使用一小部分训练时间。
2022-12-03 cs.AI cs.LG cs.RO
Integrating Algorithmic Planning and Deep Learning for Partially Observable Navigation
NUS Graduate School for Integrative Sciences and Engineering(新加坡国立大学综合科学与工程研究生院)
我们建议采取一种新的方法来设计机器人系统,其中一个更大的系统的每个构建块表示为一个可微的程序,即一个深神经网络。这种表示允许以原则性的方式集成算法规划和深度学习,从而结合了无模型和基于模型的方法的优点。我们将所提出的方法应用于具有挑战性的部分可观察机器人导航任务。机器人必须在以前看不见的3D环境中导航到目标,而不知道其初始位置,而是依赖于2D楼层地图和机载摄像头的视觉观察。我们介绍了导航网络(NavNets),它在一个端到端的可训练递归神经网络中编码状态估计、规划和行动。在初步的模拟实验中,我们成功地训练了导航网络,以解决具有挑战性的部分可观测导航任务。
2018-07-17 cs.AI cs.LG cs.RO
When is Particle Filtering Efficient for Planning in Partially Observed Linear Dynamical Systems?
University of Washington(华盛顿大学);Princeton University(普林斯顿大学);Stanford University(斯坦福大学)
粒子滤波是随机动力系统潜在状态推断的一种常用方法,其理论性质在机器学习和统计学界得到了广泛的研究。在许多控制问题中,例如,对于部分观测线性动态系统(POLDS),通常推断出的潜在状态还用于在每个步骤进行规划。对粒子滤波算法在序列规划中的效率进行了深入研究,给出了粒子复杂度的第一界。虽然过去的错误可能会影响未来的行为,我们能够限制所需的粒子数量,使基于粒子滤波的策略的长期回报接近于基于精确推理的策略。特别是,我们表明,在稳定的系统中,多项式许多粒子足够。我们证明的关键是基于精确规划的理想序列和基于粒子滤波的近似规划产生的序列的耦合。我们相信这种技术在其他顺序决策问题中也是有用的。
2021-07-09 cs.LG math.OC stat.ML
Learning Visual Planning Models from Partially Observed Images
Sun Yat-sen University(中山大学);Guangdong Polytechnic Normal University(广东技术师范大学)
在经典规划中,规划模型学习越来越受到人们的关注。然而,大多数现有的方法,专注于学习规划模型的符号表示的结构化数据。在现实世界的场景中,通常很难获得这样的结构化数据。虽然已经开发了许多方法来从完全观察到的非结构化数据(例如,图像),在许多情况下,原始观察往往是不完整的。在本文中,我们提供了一个新的框架,\aType{Recplan},学习过渡模型从部分观察到的原始图像痕迹。更具体地说,通过考虑跟踪中的先前和后续图像,我们学习原始观察的潜在状态表示,然后基于这些表示构建过渡模型。此外,我们提出了一种基于神经网络的方法来学习一个启发式模型,估计到一个给定的目标观测的距离。基于学习的过渡模型和启发式模型,我们实现了一个经典的规划器的图像。我们的经验表明,我们的方法是更有效的比一个国家的最先进的方法学习视觉规划模型的环境中不完整的观察。
2022-11-25 cs.AI cs.CV cs.LG
Learning Cognitive Maps from Transformer Representations for Efficient Planning in Partially Observed Environments
Google DeepMind(谷歌DeepMind)
本文提出带离散瓶颈的Transformer模型TDB,通过从部分观测环境的历史中学习压缩表示并提取认知地图,结合外部求解器实现比普通Transformer或LSTM更快的最短路径规划和更高的上下文准确率。
2024-01-11 cs.AI cs.LG
POGEMA: Partially Observable Grid Environment for Multiple Agents
AIRI(AIRI研究所)
我们引入POGEMA(https://github.com/AIRI-Institute/pogema)一个挑战部分可观察多智能体寻路(PO-MAPF)问题的沙箱。这是一个基于网格的环境,专门设计成一个灵活、可调和可扩展的基准。它可以针对各种PO-MAPF进行定制,PO-MAPF可以作为规划和学习方法的绝佳测试场,以及它们的组合,这将使我们能够填补AI规划和学习之间的空白。
2022-06-22 cs.AI cs.LG cs.MA
Safer Autonomous Driving in a Stochastic, Partially-Observable Environment by Hierarchical Contingency Planning
Renault Software Labs(雷诺软件实验室);EURECOM(欧洲通信学院)
当学习在随机的、部分可观察的环境中行动时,智能代理应该准备好预测其对环境状态的信念的变化,并且能够在飞行中调整其行动以适应不断变化的条件。作为人类,我们在学习一项任务时能够形成应急计划,其明确目标是能够纠正初始控制中的错误,因此,如果我们对环境的感知发生突然变化,需要立即采取纠正措施,这证明是有用的。对于在安全至关重要的现实世界中导航的自动驾驶汽车(AV)来说尤其如此,并且真正需要对环境变化的信念做出反应的强大能力。在本文中,我们探索了一个端到端的方法,从训练到执行,学习强大的应急计划,并将它们与层次规划器相结合,以获得一个强大的代理政策,在自主导航任务中,其他车辆的行为是未知的,代理人对这些行为的信念是受到突然的,最后一秒的变化。我们表明,我们的方法在部分可观察的随机环境中产生了鲁棒,安全的行为,在训练过程中没有看到环境动态。
2022-04-13 cs.AI cs.LG cs.RO
No-Regret Replanning under Uncertainty
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院)
研究了不确定环境下的路径规划问题。具体来说,我们认为在线滚动时域规划,需要在一个潜在的环境中,潜在的信息可以通过高斯过程建模。潜在环境中的在线路径规划是具有挑战性的,因为机器人需要探索环境以获得更准确的潜在信息模型,以便稍后更好地规划,并尽可能快地完成任务。我们提出了UCB风格的算法,是流行的土匪设置,并显示这些分析可以适应在线机器人路径规划问题。该算法以接近最优的方式权衡了探索和开发,具有吸引人的无遗憾属性。我们证明了该框架的有效性的应用程序的飞机飞行路径规划时,部分观察到的风。
2016-09-16 cs.LG cs.RO