Confident Approximate Policy Iteration for Efficient Local Planning in $q^π$-realizable MDPs
DeepMind（深度思维）；University College London（伦敦大学学院）；University of Alberta（阿尔伯塔大学）；Omron Sinic X（欧姆龙Sinic X）
考虑了$γ$ -折扣马尔可夫决策过程的近似动态规划问题，并将其应用于线性值函数近似的近似规划问题。我们的第一个贡献是一个新的变种近似策略迭代（API），称为置信近似策略迭代（CAPI），它计算一个确定性的静态策略的最佳误差界线性缩放的产品的有效地平线$H$和最坏情况下的近似误差$ε$的动作-价值函数的静态政策。这种相对于API（其误差与$H^2$成比例）的改进是以存储器成本增加$H$倍为代价的。与Scherrer和Lesner [2012]不同，他们建议计算非静态策略以实现类似的改进（具有相同的内存开销），我们能够坚持静态策略。这使得我们的第二个贡献，应用CAPI规划与本地访问的模拟器和$d$维线性函数逼近。因此，我们设计了一个规划算法，应用CAPI获得一系列的政策与不断完善的准确性动态演变的一组状态。该算法输出后发出$\tilde O(dH^4/ε^2)$查询模拟器的$\tilde O(\sqrt{d}Hε)$ -最优策略，同时实现最佳的准确性界和最佳已知的查询复杂性界，而在文献中的早期算法只实现其中之一。该查询复杂性在除$H$之外的所有参数中都是严格的。这些改进的代价是算法及其输出策略的内存和计算成本的轻度（多项式）增加。
2022-10-27 cs.AI cs.LG stat.ML
Fast Value Iteration for Goal-Directed Markov Decision Processes
Hong Kong University of Science & Technology（香港科技大学）
规划问题中的行动的影响是不确定的，可以建模为马尔可夫决策过程。规划问题通常是目标导向的。本文提出了几种技术，利用目标导向加速值迭代，解决马尔可夫决策过程的标准算法。实证研究表明，这些技术可以显着提高速度。
2013-02-06 cs.AI
Graph Value Iteration
Cornell University（康奈尔大学）
近年来，深度强化学习（RL）在各种组合搜索领域取得了成功，例如双人游戏和科学发现。然而，直接将深度RL应用于规划领域仍然具有挑战性。一个主要的困难是，如果没有人工设计的启发式函数，奖励信号保持为零，除非学习框架发现任何解决方案。随着计划的最小长度增加，搜索空间变为\emph{exponentially larger}，这对于最小计划长度为数百到数千步的计划实例是一个严重的限制。以前的学习框架用深度神经网络和额外生成的子目标来增强图搜索，已经在各种具有挑战性的规划领域取得了成功。然而，生成有用的子目标需要广泛的领域知识。我们提出了一种独立于域的方法，该方法通过图值迭代来增强图搜索，以解决领域专用求解器无法实现的硬规划实例。特别是，我们的方法不是只从发现的计划中接收学习信号，而是从没有达到目标状态的失败搜索尝试中学习。图值迭代组件可以利用局部搜索空间的图结构，并提供更多信息的学习信号。我们还展示了如何使用课程策略来平滑学习过程，并对图值迭代如何缩放和实现学习进行了全面分析。
2022-09-20 cs.AI
Policy Gradient Search: Online Planning and Expert Iteration without Search Trees
DeepMind（深度思考）；OpenAI；University of California, Berkeley（加州大学伯克利分校）；Google Brain（谷歌大脑）
蒙特卡罗树搜索（MCTS）算法执行基于模拟的搜索以在线改进策略。在搜索过程中，模拟策略被调整以探索最有希望的路线。MCTS已经被最先进的程序用于解决许多问题，但是MCTS的缺点是它使用存储在搜索树中的Monte Carlo平均值来估计状态的值;这不能扩展到具有非常高分支因子的游戏。我们提出了一种替代的基于模拟的搜索方法，策略梯度搜索（PGS），通过策略梯度更新在线适应神经网络模拟策略，避免了搜索树的需要。在Hex中，PGS实现了与MCTS相当的性能，并且使用专家迭代与PGS训练的代理能够在9 x9 Hex中击败最强大的开源Hex代理MoHex 2.0。
2019-04-07 cs.LG stat.ML
XLVIN: eXecuted Latent Value Iteration Nets
Mila（米拉）；Université de Montréal（蒙特利尔大学）；DeepMind（深度思考）；University of Belgrade（贝尔格莱德大学）；HEC Montréal（蒙特利尔高等商学院）
价值迭代网络（VIN）已成为将规划算法纳入深度强化学习的流行方法，从而能够提高需要长期推理和理解环境动态的任务的性能。然而，这带来了几个限制：该模型没有以任何方式激励执行有意义的规划计算，底层状态空间被假设为离散的，并且马尔可夫决策过程（MDP）被假设为固定和已知的。我们提出了执行潜值迭代网络（XLVIN），它结合了对比自监督学习，图表示学习和神经算法推理的最新发展，以减轻所有上述限制，成功地部署VIN风格的模型在通用环境。当底层MDP是离散的、固定的和已知的时，XLVIN与VIN类模型的性能相匹配，并在三种通用MDP设置中对无模型基线进行了显著改进。
2020-12-06 cs.AI cs.LG stat.ML
Policy Iteration for Relational MDPs
Tufts University（塔夫茨大学）
关系马尔可夫决策过程是复杂的强化学习问题和随机规划问题的一个有用的抽象。最近的工作开发了表示方案和算法规划在这样的问题，使用值迭代算法。然而，更复杂的算法，包括策略迭代的确切版本尚未开发或分析。本文探讨了这种潜力，并作出了一些贡献。首先，我们观察到两个异常的关系表示，一些政策的价值是没有很好地定义或无法计算的限制表示方案中使用的文献。另一方面，我们开发了一种可以绕过这些异常的政策迭代变体。该算法在策略评估的过程中包含了策略改进的内容，因此与原算法不同。我们表明，尽管存在这种差异，算法收敛到最优策略。
2012-06-20 cs.AI
Rank-One Modified Value Iteration
本文提出秩一修正值迭代算法，用秩一近似和幂法处理马尔可夫决策过程的策略评估，理论上收敛速率与复杂度对标经典算法，实验中性能优于一阶算法及其加速版。
2025-10-21 cs.LG math.OC stat.ML
Learning and Planning in Complex Action Spaces
DeepMind
许多重要的现实世界的问题有行动空间是高维的，连续的或两者兼而有之，使所有可能的行动完全枚举不可行。相反，只有一小部分的行动可以抽样的政策评估和改进的目的。在本文中，我们提出了一个一般的框架，原因在原则上的政策评估和改进，这样的采样行动子集。这种基于样本的策略迭代框架原则上可以应用于任何基于策略迭代的强化学习算法。具体来说，我们提出了采样MuZero，MuZero算法的扩展，能够通过规划采样动作在具有任意复杂动作空间的域中学习。我们在经典的围棋棋盘游戏和两个连续控制基准域上展示了这种方法：DeepMind Control Suite和Real-World RL Suite。
2021-04-13 cs.LG
Extreme Value Monte Carlo Tree Search for Classical Planning
本文提出UCB1-Uniform算法，利用极值理论解决经典规划中带宽不足和全贝尔曼备份缺乏理论依据的问题，证明了算法的 regret 绑定并验证了其在经典规划中的性能。
2026-03-26 cs.AI
Abstract Value Iteration for Hierarchical Reinforcement Learning
University of Pennsylvania（宾夕法尼亚大学）
我们提出了一种新的分层强化学习框架，用于连续状态和动作空间的控制。在我们的框架中，用户指定的子目标区域的状态的子集，然后，我们（i）学习选项，作为这些子目标区域之间的过渡，以及（ii）在由此产生的抽象决策过程（ADP）构建一个高层次的计划。一个关键的挑战是，ADP可能不是马尔可夫，我们提出了两个算法，规划在ADP解决。我们的第一个算法是保守的，使我们能够证明其性能的理论保证，这有助于通知子目标区域的设计。我们的第二个算法是一个实用的交织在抽象层面的规划和学习在具体的水平。在我们的实验中，我们证明了我们的方法在几个具有挑战性的基准测试中优于最先进的分层强化学习算法。
2021-02-25 cs.LG
ExIt-OOS: Towards Learning from Planning in Imperfect Information Games
CliniCloud Labs（CliniCloud实验室）
目前，在玩许多重要的完美信息游戏（包括国际象棋和围棋）时，最先进的技术将规划和深度强化学习与自我游戏相结合。我们将这种方法扩展到不完美信息游戏，并提出了ExIt-OOS，这是一种在专家迭代框架内玩不完美信息游戏的新方法，并受到AlphaZero的启发。我们使用在线结果抽样，在线搜索算法的不完美信息游戏的地方MCTS。在在线训练时，我们的神经策略用于提高OOS中播放的准确性，从而为不完美信息游戏提供学习和规划反馈循环。
2018-10-25 cs.AI cs.GT cs.LG
Speeding Up the Convergence of Value Iteration in Partially Observable Markov Decision Processes
Hong Kong University of Science & Technology（香港科技大学）
部分可观测马尔可夫决策过程（POMDPs）最近在许多人工智能研究人员中很受欢迎，因为它们可以作为不确定性下规划的自然模型。值迭代是一个著名的算法，为POMDPs寻找最优策略。它通常需要大量的迭代来收敛。本文提出了一种加速数值迭代收敛的方法。该方法已在一系列基准问题上进行了评估，发现非常有效：它使值迭代在所有测试问题上仅经过几次迭代后就收敛。
2011-06-01 cs.AI
Efficient Local Planning with Linear Function Approximation
DeepMind（深度思维）；University of Alberta（阿尔伯塔大学）
我们研究查询和计算效率的规划算法与线性函数近似和模拟器。我们假设代理只能本地访问模拟器，这意味着代理只能在以前访问过的状态下查询模拟器。这种设置比许多先前的具有生成模型的强化学习的工作更实用。我们提出了两个算法，命名为置信蒙特卡罗最小二乘政策迭代（置信MC-LSPI）和置信蒙特卡罗Politex（置信MC-Politex）的这种设置。假设所有策略的Q函数在状态-动作对的已知特征中是线性的，我们证明了我们的算法在特征的维度、有效规划范围和目标次优性上具有多项式查询和计算成本，而这些成本与状态空间的大小无关。我们的工作的一个技术贡献是引入了一种新的证明技术，利用虚拟策略迭代算法。我们使用这种方法来利用现有的结果$\ell_\infty$有界的近似策略迭代表明，我们的算法可以学习的最优策略，即使只有本地访问的模拟器给定的初始状态。我们相信，这种技术可以扩展到更广泛的设置超出了这项工作。
2022-02-05 cs.LG math.OC stat.ML
Planning with Information-Processing Constraints and Model Uncertainty in Markov Decision Processes
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Max Planck Institute for Biological Cybernetics（马克斯·普朗克生物 cybernetics 研究所）；Graduate Training Centre for Neuroscience（神经科学研究生培训中心）
本文提出考虑模型不确定性的马尔可夫决策过程规划方法，通过信息论原理统一解决信息处理约束问题，结合广义变分原理推导价值迭代方案，并在网格世界模拟中验证其有效性。
2016-04-07 cs.AI cs.SY eess.SY
Approximate Policy Iteration with a Policy Language Bias: Solving Relational Markov Decision Processes
School of Electrical Engineering and Computer Science, Oregon State University（俄勒冈州立大学电气工程与计算机科学学院）；School of Electrical and Computer Engineering, Purdue University（普渡大学电气与计算机工程学院）
本文研究了大型关系马尔可夫决策过程的策略选择问题。我们考虑近似策略迭代（API）的一个变体，它用策略空间中的学习步骤代替了通常的值函数学习步骤。这在好的策略比相应的价值函数更容易表示和学习的领域中是有利的，这通常是我们感兴趣的关系MDP的情况。为了将API应用于此类问题，我们引入了一种关系策略语言和相应的学习器。此外，我们引入了一个新的自举例程为基础的目标规划域，基于随机游走。这种引导对于许多大型关系型MDP是必要的，其中奖励非常稀疏，因为当使用不知情的策略初始化时，API在这些域中是无效的。我们的实验表明，所得到的系统是能够找到良好的政策，为一些经典的规划域和他们的随机变量，解决他们作为非常大的关系MDP。实验还指出了我们的方法的一些局限性，建议未来的工作。
2011-09-09 cs.AI
Operator Splitting Value Iteration
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Google Research（谷歌研究院）
我们引入新的规划和强化学习算法的折扣MDP，利用环境的近似模型，以加速收敛的价值函数。受数值线性代数中的分裂方法的启发，我们引入了算子分裂值迭代（OS-VI）用于策略评估和控制问题。当模型足够精确时，OS-VI实现了更快的收敛速度。我们还介绍了一个基于样本的版本的算法称为OS-Dyna。与传统的Dyna架构不同，OS-Dyna在存在模型近似误差的情况下仍然收敛到正确的价值函数。
2022-11-25 cs.AI cs.LG cs.SY
Federated reinforcement learning for robot motion planning with zero-shot generalization
School of Electrical Engineering；Computer Science, \ Pennsylvania State University, University Park, PA., 16802, USA
提出一种联邦强化学习框架，使多机器人在不共享原始数据的情况下协作学习运动规划策略，并从到达时间、安全性、收敛性和最优性差距等方面提供零样本泛化理论保证。
2024-04-07 cs.AI cs.DC cs.LG
CP-MDP: A CANDECOMP-PARAFAC Decomposition Approach to Solve a Markov Decision Process Multidimensional Problem
Pontifical Catholic University of Rio Grande do Sul (PUCRS)（南里奥格兰德天主教大学）
马尔可夫决策过程（MDP）是随机环境中决策理论代理最优规划的基础模型。虽然许多研究都集中在解决MDP问题的表格形式或使用因子表示，没有集中在张量分解方法。使用张量代数求解MDP提供了利用基于张量的计算的进步来进一步提高求解器效率的前景。在本文中，我们开发了一个多维问题的MDP求解器，使用张量分解方法来压缩转换模型，优化值迭代和策略迭代算法。我们根据经验评估我们的方法对表格方法，并表明我们的方法可以计算更大的问题，使用更少的内存，开辟了新的可能性，基于张量的方法在随机规划
2021-02-27 cs.AI
Decentralized Cooperative Planning for Automated Vehicles with Hierarchical Monte Carlo Tree Search
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；FZI Research Center for Information Technology（FZI信息技术研究中心）
今天的自动驾驶汽车缺乏与他人进行隐性合作的能力。本文提出了一种基于蒙特卡罗树搜索（MCTS）的方法，用于异构环境中自动驾驶汽车的分布式协作规划。基于其他代理和解耦UCT（MCTS的一个变种）的合作建模，该算法评估的状态动作值的每个代理在一个合作和分散的方式，明确地建模交通参与者之间的相互依赖的行动。宏操作允许在多个时间步长上的时间扩展，并增加有效的搜索深度，需要更少的迭代来规划更长的视野。没有预定义的宏动作的策略，该算法同时学习宏动作上和宏动作内的策略。该方法在几种冲突场景下进行了评估，表明该算法可以在异构环境中实现有效的协同规划与学习的宏动作。
2018-07-25 cs.AI
Highway Value Iteration Networks
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；National University of Singapore（新加坡国立大学）；The Swiss AI Lab IDSIA/USI/SUPSI（瑞士IDSIA人工智能实验室（IDSIA/USI/SUPSI））；The University of Liverpool（利物浦大学）
价值迭代网络（VIN）通过采用近似价值迭代算法的可微分“规划模块”来实现规划任务的端到端学习。然而，长期规划仍然是一个挑战，因为很难训练非常深的VIN。为了解决这个问题，我们嵌入公路价值迭代-最近的算法，旨在促进长期信用分配-到VIN的结构。这一改进增强了VIN的“规划模块”，增加了三个额外的组件：1）“聚合门”，它构建跳过连接以改善跨多个层的信息流; 2）“探索模块”，旨在增加空间维度上的信息多样性和梯度流; 3）“过滤门”，旨在确保安全探索。由此产生的新型高速公路VIN可以使用标准的反向传播有效地训练数百层。在需要数百个规划步骤的长期规划任务中，深度公路VIN的性能优于传统VIN和几个高级的非常深的NN。
2024-06-05 cs.AI cs.LG
Risk-Averse Planning Under Uncertainty
California Institute of Technology（加州理工学院）；NASA Jet Propulsion Laboratory（美国国家航空航天局喷气推进实验室）
研究了具有动态一致风险目标的部分可观测马尔可夫决策过程的策略设计问题。为POMDP合成风险规避最优策略需要无限的内存，因此是不可判定的。为了克服这个困难，我们提出了一种基于有界策略迭代的方法来设计随机但有限状态（记忆）控制器，它利用了标准的凸优化方法。给定一个内存预算和最优性准则，该方法修改随机有限状态控制器，导致次优解具有较低的相干风险。
2019-09-27 cs.AI cs.RO math.OC
Optimistic Planning by Regularized Dynamic Programming
Universitat Pompeu Fabra（庞培法布拉大学）
本研究提出一种带正则化的近似值迭代方法用于无限时域折扣MDP的乐观规划，无需传统压缩性与单调性假设，适用于线性近似场景，可实现高效的近似最优策略学习与近最优统计保证。
2023-06-14 cs.LG stat.ML
Exponential Lower Bounds for Planning in MDPs With Linearly-Realizable Optimal Action-Value Functions
DeepMind；University College London（伦敦大学学院）；University of Illinois（伊利诺伊大学）；University of Alberta（阿尔伯塔大学）
我们认为，在固定的地平线和折扣马尔可夫决策过程（MDP）与线性函数逼近和生成模型的假设下，最佳的行动价值函数在于一个功能地图，可供规划器的跨度的局部规划问题。以前的工作留下了开放的问题，是否存在健全的规划，只需要多（H，d）查询，而不管MDP，其中H是地平线和d是维数的功能。我们回答这个问题是否定的：我们表明，任何健全的规划必须查询至少$\min(\exp(Ω(d)), Ω(2^H))$样本中的固定水平设置和$\exp(Ω(d))$样本中的折扣设置。我们还表明，对于任何$δ>0$，最小二乘值迭代算法与$O(H^5d^{H+1}/δ^2)$查询可以计算一个$δ$最优的政策，在固定的地平线设置。我们讨论的影响和剩余的开放问题。
2021-02-15 cs.AI cs.LG stat.ML
Perseus: Randomized Point-based Value Iteration for POMDPs
University of Amsterdam（阿姆斯特丹大学）
部分可观测马尔可夫决策过程（POMDPs）形成了一个有吸引力的和原则性的框架下不确定性的代理规划。POMDP基于点的近似技术计算的基础上，提前从代理的信念空间收集的一组有限的点的政策。我们提出了一个随机点为基础的值迭代算法称为珀尔修斯。该算法执行近似值备份阶段，确保在每个备份阶段的信念集中的每个点的值得到改善;关键的观察是，一个单一的备份可能会提高许多信念点的值。与其他基于点的方法相反，Perseus只备份信念集中的（随机选择的）点子集，足以提高集合中每个信念点的值。我们展示了同样的想法可以扩展到处理连续的动作空间。实验结果显示了Perseus在大规模POMDP问题中的潜力。
2011-09-09 cs.AI
Value Iteration Networks with Gated Summarization Module
Waseda University（早稻田大学）；Southwest University（西南大学）
本文提出GS-VIN方法，通过自适应迭代策略减少迭代次数并提升稳定性，同时引入门控摘要模块强调整个规划过程，有效解决了VIN处理大地图及累积误差问题，显著提升了规划性能。
2023-05-16 cs.AI cs.LG
Doubly-Asynchronous Value Iteration: Making Value Iteration Asynchronous in Actions
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）
值迭代（VI）是一种基本的动态规划方法，对于最优控制和强化学习中的学习和规划非常重要。VI是分批进行的，其中每个状态值的更新必须在下一批更新开始之前完成。如果状态空间很大，那么完成单个批处理的成本非常高，这使得VI对于许多应用程序来说都是不切实际的。异步VI通过一次就地更新一个状态并以任意顺序更新，有助于解决大状态空间问题。然而，异步VI仍然需要在整个动作空间上最大化，这使得具有大动作空间的域不切实际。为了解决这个问题，我们提出了双异步值迭代（DAVI），一个新的算法，概括的思想，从状态到状态和动作的同步。更具体地说，DAVI最大化一个采样的动作子集，可以是任何用户定义的大小。这种使用采样来减少计算的简单方法保持了与VI相似的吸引人的理论属性，而无需在每次更新中等待整个动作空间的完整扫描。在本文中，我们表明DAVI收敛到最佳的价值函数的概率为1，收敛在一个接近几何率的概率为1-delta，并返回一个接近最佳的政策，在计算时间，几乎匹配先前建立的界限VI。我们还实证证明DAVI的有效性在几个实验中。
2022-11-27 cs.LG
Adaptive Sequential Test Planning for Multi-Mechanism Reliability Qualification via Bayesian Monte Carlo Tree Search
University of British Columbia（英属哥伦比亚大学）
该研究针对多机制半导体可靠性鉴定，提出结合MCTS-SA与EKF的闭环自适应序贯测试规划框架，实验显示其表征良率较非自适应策略大幅提升。
2026-08-11 cs.AI cs.SY eess.SY
Planning and Learning with Stochastic Action Sets
Google Research（谷歌研究院）
在强化学习（RL）的许多实际应用中，给定状态下可用的动作集是一个随机变量，其实现由外生随机过程控制。有些令人惊讶的是，这种顺序决策过程的基础一直没有得到解决。在这项工作中，我们正式和调查MDP与随机行动集（SAS-MDP）提供这些基础。我们表明，在这个模型中的最优策略和价值函数有一个结构，承认一个紧凑的表示。从RL的角度来看，我们证明了使用采样动作集的Q学习是合理的。在基于模型的设置中，我们考虑两种重要的特殊情况：当个体动作具有独立概率时;以及未知分布的基于采样的模型。我们开发多时间值和政策迭代方法，这两种情况下，在第一，我们提供了一个多时间线性规划解决方案。
2021-02-12 cs.AI
Evolutionary Planning in Latent Space
IT-University of Copenhagen（哥本哈根信息技术大学）
规划是强化学习的一种强大方法，具有几个理想的属性。然而，它需要一个世界的模型，这在许多现实生活中的问题是不容易得到的。在本文中，我们建议学习一个世界模型，使进化规划在潜在空间（EPLS）。我们使用变分自动编码器（VAE）来学习个体观测的压缩潜在表示，并扩展混合密度递归神经网络（MDRNN）来学习可用于规划的世界的随机多模态前向模型。我们使用随机突变爬山（RMHC）来寻找一系列的行动，最大限度地提高预期的回报，在这个学习模型的世界。我们演示了如何构建一个世界的模型，通过引导它与推出从一个随机的政策，并迭代地完善它与推出从一个越来越准确的规划政策，使用学习世界模型。经过几次迭代的改进后，我们的规划代理比标准的无模型强化学习方法更好，证明了我们方法的可行性。
2020-11-23 cs.LG cs.NE
Hierarchies of Planning and Reinforcement Learning for Robot Navigation
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Amsterdam（阿姆斯特丹大学）
通过强化学习（RL）解决机器人导航任务是具有挑战性的，由于其稀疏的奖励和长的决策范围的性质。然而，在许多导航任务中，高级（HL）任务表示，如粗略的平面图，是可用的。以前的工作已经证明了有效的学习分层的方法，包括HL表示的路径规划和使用子目标来自该计划，以指导源任务中的RL政策。然而，这些方法通常忽略了复杂的动力学和次优的子目标达到能力的机器人在规划过程中。这项工作克服了这些限制，提出了一种新的层次结构框架，利用可训练的规划政策的HL表示。因此，可以利用收集的铺开数据来学习机器人能力和环境条件。我们专门介绍了一个规划政策的基础上价值迭代与学习过渡模型（VI-RL）。在模拟的机器人导航任务，VI-RL结果在一致的强烈改善香草RL，是等同于香草分层RL的单一布局，但更广泛地适用于多个布局，并与可训练HL路径规划基线，除了停车任务与困难的非完整动力学，它显示出显着的改善。
2021-11-05 cs.LG cs.RO
Q-CP: Learning Action Values for Cooperative Planning
Sapienza University of Rome（罗马第一大学）
多机器人系统的研究在许多领域和应用中都取得了可喜的成果。尽管如此，由于非结构化场景，高不确定性和大状态维度（例如超冗余和机器人组），有效地学习有效的机器人行为是非常困难的。为了缓解这个问题，我们提出了Q-CP一个合作的基于模型的强化学习算法，它利用行动值（1）指导探索的状态空间和（2）生成有效的政策。具体来说，我们利用Q学习攻击的维数在蒙特卡罗树搜索的迭代。我们在不同的随机合作（一般和）游戏中实现和评估Q-CP：（1）3个机器人之间的简单合作导航问题，（2）一对KUKA YouBots之间的合作场景执行移交，以及（3）两个移动机器人之间的协调任务进入一扇门。所得到的结果表明，Q-CP在所选的应用程序，其中的动作值驱动的探索和减少规划过程中的计算需求，同时实现良好的性能的有效性。
2018-03-01 cs.AI cs.RO
Beyond Imitation: Self-Improving Robot Policies via Off-Policy Q-Planning
Georgia Institute of Technology（佐治亚理工学院）
该研究提出Q规划方法，为大型视觉运动BC策略配备离线Q函数，通过仅微调Q函数实现自改进，在仿真和真实机器人任务中均显著提升机器人操作性能，且优于多种对比方法。
2026-08-24 cs.LG cs.RO
Planning and Learning in Average Risk-aware MDPs
GERAD & HEC Montréal（GERAD与蒙特利尔HEC学院）；Mila - Québec AI Institute（魁北克AI研究所）
本文提出了一种相对价值迭代算法和两种基于多级蒙特卡洛方法的Q学习算法，用于在平均风险感知马尔可夫决策过程中实现最优策略的收敛与识别。
2025-12-19 cs.LG math.OC
Toward Discovering Options that Achieve Faster Planning
University of Alberta（阿尔伯塔大学）；DeepMind（深度思维）
我们提出了一个新的目标选项发现，强调在规划中使用选项的计算优势。在时序机中，规划的速度与用于实现良好策略的基本操作的数量成正比。对于情节任务，基本操作的数量取决于在情节中由策略组成的选项的数量以及在每个决策点处考虑的选项的数量。为了减少规划中的计算量，对于给定的一组情景任务和给定数量的选项，我们的目标更倾向于选择那些可以通过组成少数选项来实现高回报的选项，并且在每个决策点也更倾向于选择较小的选项。我们开发了一种算法，优化提出的目标。在经典的四室域的一个变体中，我们表明：1）较高的目标值通常与较少数量的基本规划操作相关联，所述基本规划操作由选项值迭代算法用于获得接近最优的价值函数，2）我们的算法实现了一个目标值，该目标值与两个人类设计的选项所实现的目标值相匹配3）选项所使用的计算量-我们的算法发现的选项的值迭代将其与人类设计的选项相匹配，4）我们的算法产生的选项也具有直观意义-它们似乎移动到房间的入口处并在入口处终止。
2022-09-29 cs.AI cs.LG
A modular framework for extreme weather generation
IBM Research（IBM研究院）
极端天气事件对社会产生巨大影响，随着气候变化，预计将变得更加频繁和严重。在这种情况下，复原力规划对于减轻风险和应对这些极端事件至关重要。机器学习技术可以通过生成可用于评估可能的减缓行动的现实极端天气事件情景，在抗灾规划中发挥关键作用。本文提出了一个模块化的框架，依赖于可互换的组件，以产生极端天气事件的情况。我们讨论了每个组件的可能的替代方案，并显示初步结果，比较两种方法的任务生成降水情景。
2021-02-05 cs.AI cs.LG
Integrating Symmetry into Differentiable Planning with Steerable Convolutions
Khoury College of Computer Sciences, Northeastern University（东北大学库里计算机学院）
该研究将群对称性引入端到端可微规划，证明值迭代是可导向卷积等变算子，基于VIN用可导向卷积实现对称规划，在四类任务上较VIN、GPPN显著提升训练效率与泛化性。
2023-05-01 cs.AI cs.LG cs.RO
Neural Algorithmic Reasoners are Implicit Planners
Mila – Québec AI Institute（米拉-魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；DeepMind（深度思维公司）；Faculty of Mathematics（数学学院）；University of Belgrade（贝尔格莱德大学）；HEC Montréal（蒙特利尔高等商学院）
隐式规划已经成为一种优雅的技术，用于将世界的学习模型与端到端的无模型强化学习相结合。我们研究类隐式规划启发值迭代，算法，保证产生完美的政策，在完全指定的表格环境。我们发现，以前的方法要么假设环境是以这样一种表格形式提供的-这是高度限制性的-或推断“局部邻域”的状态运行值迭代-为此，我们发现了一个算法瓶颈效应。这种影响是由于在每个状态下基于标量预测显式地运行规划算法而引起的，如果不正确地预测这些标量，则这可能对数据效率有害。我们提出了执行潜在值迭代网络（XLVIN），缓解了上述限制。我们的方法在高维潜在空间中执行所有规划计算，打破了算法瓶颈。它通过仔细利用神经图算法推理和对比自监督学习来保持与价值迭代的一致。在八个低数据设置中-包括经典控制，导航和Atari -XLVIN相对于基于值迭代的隐式规划器以及相关的无模型基线，显著提高了数据效率。最后，我们通过经验验证了XLVIN可以与价值迭代紧密结合。
2021-10-11 cs.AI cs.LG stat.ML
Scaling up and Stabilizing Differentiable Planning with Implicit Differentiation
Khoury College of Computer Sciences, Northeastern University（东北大学Khoury计算机科学学院）；Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）；Shanghai Qi Zhi Institute（上海期智研究院）
针对可微规划前反向耦合难扩展的问题，提出通过Bellman不动点方程隐式微分VIN及其变体，解耦前后向传播、降低反向成本，在多类规划任务上验证了稳定性与性能优势。
2023-05-01 cs.AI cs.LG cs.RO
Gated Path Planning Networks
Carnegie Mellon University（卡内基梅隆大学）
价值迭代网络（VIN）是有效的可微分路径规划模块，可由代理用于执行导航，同时仍然保持整个架构的端到端可微分性。尽管它们的有效性，但它们有几个缺点，包括训练不稳定性，随机种子敏感性和其他优化问题。在这项工作中，我们将VIN重新构建为递归卷积网络，这表明VIN将递归卷积与非常规的最大池激活相结合。从这个角度来看，我们认为，标准的门控经常性更新方程可以潜在地缓解优化问题的VIN。由此产生的架构，我们称之为门控路径规划网络，显示出经验优于VIN的各种指标，如学习速度，超参数灵敏度，迭代次数，甚至泛化。此外，我们表明，这种性能差距是一致的，在不同的迷宫过渡类型，迷宫的大小，甚至显示成功的一个具有挑战性的3D环境中，规划者只提供第一人称RGB图像。
2018-06-17 cs.AI cs.LG cs.RO
Value Iteration Networks on Multiple Levels of Abstraction
Rheinische Friedrich-Wilhelms-Universität Bonn（波恩莱茵弗里德里希·威廉大学（波恩大学））
基于学习的方法很有希望规划机器人运动，而不需要执行广泛的搜索，这是许多非学习方法所需要的。最近，价值迭代网络（VIN）受到了很大的关注，因为与标准的基于CNN的架构相比，它们学习目标导向的行为，这些行为可以很好地推广到看不见的领域。然而，VIN仅限于小的和低维的域，限制了其适用于现实世界的规划问题。为了解决这个问题，我们建议将VIN扩展到具有多层抽象的表示。虽然机器人的附近被表示在足够的细节，该表示得到空间粗糙与机器人的距离增加。通过增加代表细胞的特征的数量来补偿由降低的分辨率引起的信息损失。我们表明，我们的方法是能够解决显着更大的2D网格世界规划任务比原来的VIN实现。与不采用额外描述性特征的多分辨率粗到细VIN实现相比，我们的方法能够解决具有挑战性的环境，这表明所提出的方法学会在额外的特征中编码有用的信息。作为解决现实世界的规划任务的应用程序，我们成功地采用我们的方法来规划全方位驾驶的搜索和救援机器人在杂乱的地形。
2019-07-01 cs.LG cs.RO
Informative Path Planning for Extreme Anomaly Detection in Environment Exploration and Monitoring
Massachusetts Institute of Technology（麻省理工学院）
无人驾驶自主飞行器（UAV）被派去执行任务，根据贝叶斯优化收集的一系列测量数据来探索和重建未知环境。任务的成功与否取决于无人机忠实地重建环境中存在的任何异常特征的能力，重点是极端情况（例如，极端地形凹陷或异常化学浓度）。我们表明，通常用于确定无人机应该访问哪些位置的标准不适合这项任务。我们引入了一些新的标准，引导无人机对区域的强烈异常，利用以前收集的信息，在数学上优雅和计算易处理的方式。我们证明了所提出的方法在几个应用中的优越性，包括从现实世界的测深数据重建海底地形，以及跟踪动态异常。我们的方法的一个特别有吸引力的属性是它能够克服对抗性条件，即，在这种情况下，有关极端位置的先验信念是不精确或错误的。
2021-04-07 cs.LG cs.RO stat.ML
Extreme Scenario Selection in Day-Ahead Power Grid Operational Planning
Environmental Studies Department and the Environmental Markets Labs (emLab) of the University of California Santa Barbara（加州大学圣芭芭拉分校环境研究系及环境市场实验室）；Applied Probability and Statistics Department of the University of California Santa Barbara（加州大学圣芭芭拉分校应用概率与统计系）
本文针对日前电网规划，提出利用统计泛函深度度量从高维概率场景中筛选最可能引发运行风险的极端场景，并在 Texas-7k 电网验证其有效性。
2023-09-20 cs.CE cs.LG stat.ML
Efficient planning of peen-forming patterns via artificial neural networks
Polytechnique Montréal（蒙特利尔理工学院）；Aluminium Research Centre – REGAL（铝研究中心 – REGAL）
喷丸成形过程的鲁棒自动化需要闭环反馈，其中需要为每次处理迭代实时找到合适的处理模式。在这项工作中，我们提出了一种方法，用于寻找喷丸成形图案，基于神经网络（NN），学习的非线性函数，涉及一个给定的目标形状（输入），其最佳喷丸图案（输出），从有限元模拟产生的数据。训练后的神经网络产生的模式的平均二进制精度为98.8%的地面真理在微秒。
2020-08-18 cs.LG physics.comp-ph
Waypoint Planning Networks
Imperial College London（伦敦帝国理工学院）；Ryerson University（瑞尔森大学）
随着机器学习的最新进展，路径规划算法也在不断发展;然而，学习的路径规划算法通常难以与经典算法的成功率竞争。我们提出了航点规划网络（WPN），一种基于LSTM的混合算法，具有局部内核-经典算法，如A*，以及使用学习算法的全局内核。WPN产生计算效率更高且更强大的解决方案。我们比较了WPN与A*，以及相关的工作，包括运动规划网络（MPNet）和价值迭代网络（VIN）。在本文中，设计和实验已经进行了2D环境。实验结果概述了WPN的好处，无论是在效率和泛化。结果表明，WPN的搜索空间是大大小于A*，同时能够产生接近最优的结果。此外，WPN可以在部分地图上工作，不像A* 需要提前获得完整的地图。代码可在线获取。
2021-05-01 cs.LG cs.RO
PathBench: A Benchmarking Platform for Classical and Learned Path Planning Algorithms
Imperial College London（伦敦帝国理工学院）；Ryerson University（瑞尔森大学）
路径规划是移动机器人技术中的一个重要组成部分。存在各种各样的路径规划算法，但很少有人尝试对算法进行整体基准测试或统一它们的接口。此外，随着深度神经网络的最新进展，迫切需要促进这种基于学习的规划算法的开发和基准测试。本文介绍了PathBench，一个平台，用于开发，可视化，培训，测试和基准测试现有和未来的，经典的和学习的2D和3D路径规划算法，同时提供支持机器人操作系统（ROS）。支持许多现有的路径规划算法;例如A*，波前，快速探索随机树，值迭代网络，门控路径规划网络;并且集成新算法很容易并且明确指定。我们通过比较实现的经典和学习算法的指标，如路径长度，成功率，计算时间和路径偏差的基准测试能力的PathBench。这些评估是在内置的PathBench地图和来自视频游戏和现实世界数据库的外部路径规划环境中完成的。PathBench是开源的。
2021-05-04 cs.LG cs.RO
A Planning-and-Exploring Approach to Extreme-Mechanics Force Fields
Tsinghua University（清华大学）
针对极端力学过程，提出结合应变预采样与主动学习的神经网络力场NN-F$^3$，用于准确预测断裂，并在h-BN和扭曲双层石墨烯上验证。
2023-10-30 cond-mat.mtrl-sci cond-mat.stat-mech cs.LG
