Confident Approximate Policy Iteration for Efficient Local Planning in $q^π$-realizable MDPs
DeepMind（深度思维）；University College London（伦敦大学学院）；University of Alberta（阿尔伯塔大学）；Omron Sinic X（欧姆龙Sinic X）
考虑了$γ$ -折扣马尔可夫决策过程的近似动态规划问题，并将其应用于线性值函数近似的近似规划问题。我们的第一个贡献是一个新的变种近似策略迭代（API），称为置信近似策略迭代（CAPI），它计算一个确定性的静态策略的最佳误差界线性缩放的产品的有效地平线$H$和最坏情况下的近似误差$ε$的动作-价值函数的静态政策。这种相对于API（其误差与$H^2$成比例）的改进是以存储器成本增加$H$倍为代价的。与Scherrer和Lesner [2012]不同，他们建议计算非静态策略以实现类似的改进（具有相同的内存开销），我们能够坚持静态策略。这使得我们的第二个贡献，应用CAPI规划与本地访问的模拟器和$d$维线性函数逼近。因此，我们设计了一个规划算法，应用CAPI获得一系列的政策与不断完善的准确性动态演变的一组状态。该算法输出后发出$\tilde O(dH^4/ε^2)$查询模拟器的$\tilde O(\sqrt{d}Hε)$ -最优策略，同时实现最佳的准确性界和最佳已知的查询复杂性界，而在文献中的早期算法只实现其中之一。该查询复杂性在除$H$之外的所有参数中都是严格的。这些改进的代价是算法及其输出策略的内存和计算成本的轻度（多项式）增加。
2022-10-27 cs.AI cs.LG stat.ML
Provably Efficient Lifelong Reinforcement Learning with Linear Function Approximation
University of California, Los Angeles（加州大学洛杉矶分校）；Microsoft Research（微软研究院）
我们研究终身强化学习（RL）在后悔最小化设置的线性上下文马尔可夫决策过程（MDP），其中代理需要学习的多任务策略，同时解决一个流序列的任务。我们提出了一种算法，称为UCB终身价值蒸馏（UCBlvd），可证明实现次线性遗憾的任何序列的任务，这可能是自适应选择的基础上代理的过去的行为。值得注意的是，我们的算法只使用了次线性数量的规划调用，这意味着智能体最终会学习到一个对多个任务（可见或不可见）接近最优的策略，而不需要刻意规划。这个属性的关键是一个新的结构假设，使计算共享任务在探索。具体来说，对于$K$任务情节的地平线$H$，我们的算法有一个遗憾界$\tilde{\mathcal{O}}(\sqrt{(d^3+d^\prime d)H^4K})$的基础上$\mathcal{O}(dH\log(K))$规划调用的数量，其中$d$和$d^\prime$的动态和奖励的特征维度，分别。这种理论保证意味着我们的算法可以使终身学习代理积累经验，并学习快速解决新任务。
2022-06-01 cs.LG stat.ML
Planning to the Information Horizon of BAMDPs via Epistemic State Abstraction
Stanford University（斯坦福大学）；DeepMind（深度思维）
贝叶斯-自适应马尔可夫决策过程（Bayes-Adaptive Markov Decision Process，BAMDP）形式主义追求强化学习中探索-利用权衡的贝叶斯最优解。由于贝叶斯学习问题的精确解的计算是棘手的，许多文献都集中在开发合适的近似算法。在这项工作中，在潜入算法设计，我们首先定义，温和的结构假设下，BAMDP规划的复杂性措施。由于BAMDPs中的有效探索取决于明智地获取信息，我们的复杂性度量突出了收集信息和耗尽认知不确定性的最坏情况下的困难。为了说明它的意义，我们建立了一个计算困难的，精确的规划算法，利用这一措施，以显示更有效的规划。然后，我们的结论是引入一种特定形式的状态抽象的潜力，以减少BAMDP的复杂性，并产生一个计算易处理的，近似的规划算法。
2022-10-30 cs.LG stat.ML
Efficient Global Planning in Large MDPs via Stochastic Primal-Dual Optimization
Universitat Pompeu Fabra（庞培法布拉大学）
本文提出了一种新的随机原始-对偶优化算法，用于求解具有生成模型和线性函数逼近的大折扣马尔可夫决策过程的规划问题。假设特征图近似满足标准的可实现性和贝尔曼封闭性条件，并且所有状态-动作对的特征向量都可表示为状态-动作对的小核心集的凸组合，我们证明了我们的方法在对生成模型进行多项式次数的查询后输出接近最优的策略。我们的方法是计算效率高，它的主要优点是，它输出一个单一的softmax政策，是compatible表示的低维参数向量，并不需要在运行时执行计算昂贵的本地规划子程序。
2023-01-31 cs.LG math.OC
Policy Gradient With Value Function Approximation For Collective Multiagent Planning
School of Information Systems（信息系统学院）；Singapore Management University（新加坡管理大学）
本文提出一种改进的actor-critic方法，用于优化集体决策多智能体规划问题，通过分解近似动作价值函数提升收敛速度，并在合成任务和出租车车队优化中验证了方法的有效性。
2018-04-09 cs.AI cs.LG cs.MA
UAV Path Planning using Global and Local Map Information with Deep Reinforcement Learning
Technical University of Munich（慕尼黑工业大学）；EURECOM（欧洲通信学院）
自主无人机（UAV）的路径规划方法通常是针对一种特定类型的任务而设计的。提出了一种基于深度强化学习（DRL）的无人机自主路径规划方法，该方法可应用于多种任务场景。具体来说，我们比较了覆盖路径规划（CPP），其中无人机的目标是调查数据收集（DH）的感兴趣区域，其中无人机从分布式物联网（IoT）传感器设备收集数据。通过利用环境的结构化地图信息，我们训练具有相同架构的双深度Q网络（DDQN）在两个明显不同的任务场景中做出运动决策，平衡各自的任务目标与导航约束。通过引入一种新的方法，利用一个压缩的全球地图的环境相结合的裁剪，但未压缩的本地地图显示附近的无人机代理，我们证明了所提出的方法可以有效地扩展到大型环境。我们还扩展了以前的结果，推广控制策略，不需要再培训时，场景参数的变化，并提供了一个详细的分析关键的地图处理参数的路径规划性能的影响。
2021-10-21 cs.LG cs.RO
Non-Stationary Bandits under Recharging Payoffs: Improved Planning with Sublinear Regret
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
随机多臂强盗设置最近已在非平稳制度，其中每个动作的平均收益是一个非递减的函数，因为它是最后一次播放的回合数。该模型捕捉了用户的自然行为方面，这些方面决定了推荐平台，广告投放系统等的性能。即使假设先验知识的平均回报函数，计算上述模型中的最优规划是NP难的，而最先进的是一个$1/4$ -近似算法的情况下，最多一个手臂可以发挥每一轮。我们首先集中在设置的平均支付函数是已知的。在这种情况下，我们显着提高了最知名的保证规划问题的多项式时间$(1-{1}/{e})$ -近似算法（渐近和预期），随机LP舍入和时间相关（交错）调度方法的新组合的基础上。此外，我们的算法实现了改进的保证-与以前的工作相比-在每一轮可以玩多个手臂的情况下。移动到强盗设置，当平均支付函数最初是未知的，我们展示了我们的算法可以转化为一个强盗算法与次线性遗憾。
2022-10-12 cs.DS cs.LG
Planning in Hierarchical Reinforcement Learning: Guarantees for Using Local Policies
Google Research（谷歌研究院）
我们考虑一个层次化强化学习的设置，其中的奖励是一个组件的总和。对于每个组件，我们都给出了一个最大化它的策略，我们的目标是从各个策略中组合一个最大化组件总和的策略。我们提供了理论上的保证，组装这样的政策在确定性的MDP与收藏奖励。我们的方法建立在制定这个问题作为一个旅行推销员问题的折扣奖励。我们专注于本地解决方案，即，仅使用来自当前状态的信息的策略;因此，它们易于实现并且不需要大量的计算资源。我们提出了三个本地的随机政策，并证明他们保证更好的性能比任何确定性的本地政策在最坏的情况下，实验结果表明，他们也表现得更好的平均。
2020-01-03 cs.AI cs.DS cs.LG
Online Trajectory Planning Through Combined Trajectory Optimization and Function Approximation: Application to the Exoskeleton Atalante
Wandercraft（Wandercraft公司）；Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Université Paris-Dauphine（巴黎多芬大学）
自主机器人需要在线轨迹规划能力才能在现实世界中运行。高效的离线轨迹规划方法已经存在，但计算量大，无法在线使用。在本文中，我们提出了一种新的算法，称为引导轨迹学习，学习通过轨迹优化计算的解决方案的函数近似，同时确保准确和可靠的预测。然后在线使用该函数近似来生成轨迹。该算法被设计为易于实现，并且实用，因为它不需要大量的计算能力。它很容易适用于任何机器人系统，并且由于鲁棒控制策略通常已经可用，因此可以毫不费力地在实际硬件上设置。我们证明了我们的算法的计算性能与自平衡外骨骼Atalante扁平足行走。
2020-03-04 cs.LG cs.RO
Hyper-local sustainable assortment planning
IBM Research（IBM研究院）
对于任何零售商来说，产品组合规划都是一项重要的季节性活动，涉及到选择合适的产品子集在每家商店进行库存。虽然现有的方法只能最大化预期收入，但我们建议通过Higg材料可持续性指数将环境影响也包括在内。收入和环境影响之间的权衡是通过多目标优化方法来平衡的，该方法产生了一个帕累托前沿的最优方案供商家选择。使用所提出的方法在几个产品类别的领先的时装零售商表明，选择具有较低的环境影响，对收入的影响最小的配件是可能的。
2020-07-27 cs.AI cs.LG stat.ML
Wake-Informed 3D Path Planning for Autonomous Underwater Vehicles Using A* and Neural Network Approximations
Centre for Defence Engineering, Research and Training (CDERT), Flinders University（国防工程研究与培训中心（CDERT）、弗林德斯大学）；Maritime Engineering, Faculty of Engineering and Physical Sciences, University of Southampton（海洋工程系，工程与物理科学学院，南安普顿大学）
针对AUV在复杂水下环境尤其是近距作业中尾流带来的能耗与安全问题，提出融合尾流与洋流的三维路径规划方法，构建两种A*规划器及神经网络近似模型，验证了尾流纳入的能效提升作用与NN的实时性优势。
2025-05-29 cs.AI cs.LG cs.RO
Trajectory-Constrained Deep Latent Visual Attention for Improved Local Planning in Presence of Heterogeneous Terrain
McGill University（麦吉尔大学）
我们提出了一种奖励预测，基于模型的深度学习方法，具有强制约束的视觉注意力，用于视觉导航任务中的局部规划。我们的方法学习将视觉注意力放在潜像空间中的位置，这些位置遵循车辆控制动作引起的轨迹，以提高规划过程中的预测准确性。注意力模型由特定于任务的损失和额外的冗余约束损失共同优化，允许自适应性，但鼓励正则化结构，以提高泛化能力和可靠性。重要的是，视觉注意力被应用在潜在的特征映射空间，而不是原始图像空间，以促进有效的规划。我们验证了我们的模型在视觉导航任务规划低湍流，无碰撞的轨迹在越野设置和爬山锁定差速器在湿滑的地形。实验涉及随机程序生成的模拟和现实世界的环境。我们发现，与无注意和自注意替代方案相比，我们的方法提高了泛化和学习效率。
2022-05-25 cs.CV cs.LG cs.RO
Parallel Differentiable Reachability for Learning and Planning with Certified Neural Dynamics and Controllers
MIT（麻省理工学院）
提出一种基于JAX的并行可微可达性框架，结合泰勒模型流形构建与CROWN线性界传播，支持GPU批处理和自动微分，并用于认证训练和可达性感知的MPC，在非抓取操作和四旋翼任务中实现在线规划与有界不确定性下的认证可达集过近似。
2026-05-25 cs.AI cs.LG cs.RO
Bayesian Local Sampling-based Planning
The University of Sydney（悉尼大学）；NVIDIA（英伟达）
基于采样的规划是机器人运动规划的主要范例。大多数基于抽样的规划者使用全局随机抽样方案来保证概率的完整性。然而，大多数计划往往是低效的，因为样本来自全球的建议分布，并没有利用相关的本地结构。另一方面，基于局部采样的运动规划器采取随机行走的顺序决策来采样配置空间中的有效轨迹。然而，目前的方法不适应他们的战略，根据过去的样本的成功和失败。在这项工作中，我们介绍了一个局部采样为基础的运动规划与贝叶斯学习计划建模的自适应采样建议分布。基于先前的样本顺序地更新建议分布，从而根据配置空间中的局部障碍和约束对其进行成形。因此，通过从过去观察到的结果中学习，我们最大限度地提高了在狭窄通道内形成轨迹的概率较高的区域中进行采样的可能性。我们提供了一个样本有效分布的制定，以及按顺序更新此分布的理论基础。我们的实验表明，通过使用贝叶斯建议分布，解决方案被发现更快，需要更少的样本，没有任何明显的性能开销。
2020-01-19 cs.AI cs.LG cs.RO
Learning Sampling Distributions Using Local 3D Workspace Decompositions for Motion Planning in High Dimensions
Rice University（莱斯大学）
早期的工作表明，重用以前的运动规划问题的经验，可以提高类似的，未来的运动规划查询的效率。然而，对于具有许多自由度的机器人，这些方法在不同环境中表现出较差的泛化能力，并且通常需要收集不切实际的大型数据集。我们提出了SPARK和FLAME，两个基于经验的框架采样为基础的规划适用于复杂的机械手在三维环境中。两者都将与来自工作空间分解的特征相关联的采样器组合成全局有偏采样分布。SPARK基于精确的几何结构来分解环境，而FLAME更一般，并使用从传感器数据获得的基于八叉树的分解。我们证明了SPARK和FLAME的有效性，一个取机器人的任务具有挑战性的拾取和放置操作问题。我们的方法可以进行增量训练，并且仅用少数几个例子就可以显着提高性能，与以前的方法相比，可以更好地概括各种任务和环境。
2021-10-15 cs.AI cs.LG cs.RO
