Learning the Solution Manifold in Optimization and Its Application in Motion Planning
Kyushu Institute of Technology（九州工业大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能研究中心）
优化是解决广泛领域问题的重要组成部分。理想情况下，目标函数应设计为使得解是唯一的，并且优化问题可以稳定地求解。然而，在实际应用中所使用的目标函数通常是非凸的，有时甚至有无穷多个解。为了解决这个问题，我们建议在优化中学习解决方案流形。我们训练一个以潜变量为条件的模型，使该模型代表一组无限的解。在我们的框架中，我们减少了这个问题的密度估计，通过使用重要性采样，和潜在的代表性的解决方案是学习最大化的变分下界。我们将该算法应用于运动规划问题，其中涉及高维参数的优化。实验结果表明，该算法可以学习的解决方案的流形，和训练的模型表示一个无限集的同伦运动规划问题的解决方案。
2020-07-24 cs.AI cs.LG cs.RO
Integrating Visual Foundation Models for Enhanced Robot Manipulation and Motion Planning: A Layered Approach
本文提出一种五层框架，融合视觉基础模型提升机器人操作与运动规划，实现实时调整和持续学习，并通过实验验证其在动态环境中的部署潜力。
2023-09-20 cs.RO
Trajectory Planning without Trajectory Data: A Manifold-Guided Approach
Carnegie Mellon University（卡内基梅隆大学）；National University of Singapore（新加坡国立大学）；DEVCOM Army Research Laboratory（DEVCOM陆军研究实验室）；Harvard University（哈佛大学）
提出流形引导的轨迹规划方法，仅用状态观测学习状态空间流形并利用其几何构造轨迹，实现对未见约束的泛化，在基准上表现优异且无需轨迹数据。
2026-10-08 cs.RO
Kinetostatic Path Planning for Continuum Robots By Sampling on Implicit Manifold
Georgia Institute of Technology（佐治亚理工学院）
本文针对连续体机器人在外部弹性接触下的路径规划问题，提出在隐式流形上进行准静态规划，并采用AtlasRRT*算法，仿真证明其在成功率和计算效率上优于欧几里得空间规划器。
2023-09-16 cs.RO
Visual Robot Task Planning
The Johns Hopkins University（约翰斯·霍普金斯大学）；Department of Computer Science, The Johns Hopkins University（约翰斯·霍普金斯大学计算机科学系）
展望，即预测许多可能未来的后果的行为，是人类计划和行动所固有的，甚至可能是意识的根源。令人惊讶的是，这个想法在机器人领域的探索相对较少。在这项工作中，我们提出了一个神经网络架构和相关的规划算法，（1）学习一个世界的表示，用于在应用高级动作后生成预期的未来，（2）使用这个生成模型来模拟各种环境中的高级动作序列的结果，以及（3）使用该相同的表示来评估这些动作并执行树搜索以在新的环境中找到高级动作的序列。模型通过模仿学习在各种领域进行训练，包括导航、拾取和放置以及手术机器人任务。我们的方法使我们能够可视化中间运动目标，并学会从视觉信息计划复杂的活动。
2018-03-30 cs.AI cs.RO
Vectorizing Projection in Manifold-Constrained Motion Planning for Real-Time Whole-Body Control
Department of Computer Science, Purdue University（普渡大学计算机科学系）；School of Mechanical Engineering, Purdue University（普渡大学机械工程学院）
本文提出一种基于SIMD加速的流形约束运动规划器，通过并行化视角重新审视基于投影的约束满足方法，实现对复杂系统如人形机器人轨迹规划的实时约束满足。
2026-04-14 cs.RO
PO-PDDL: Learning Symbolic POMDPs from Visual Demonstrations for Robot Planning Under Uncertainty
Shanghai Jiao Tong University（上海交通大学）；Shanghai Innovation Institute（上海创新研究院）
提出PO-PDDL符号化POMDP框架，通过从机器人执行视频中重建潜在状态轨迹、识别部分可观测性并学习随机转移与观测模型，实现不确定性下的鲁棒任务规划。
2026-08-21 cs.AI cs.RO
Geometry-Aware Sampling-Based Motion Planning on Riemannian Manifolds
Institute for Aerospace Studies, University of Toronto（航空航天研究 institute，多伦多大学）
本文提出基于采样的运动规划框架，直接在黎曼流形上操作，利用黎曼几何距离近似和自然梯度引导局部规划，实验证明其在非欧几里得几何下能生成更优轨迹。
2026-08-06 cs.RO
Learning Equality Constraints for Motion Planning on Manifolds
Robotic Embedded Systems Laboratory（机器人嵌入式系统实验室）；University of Southern California（南加州大学）
受限机器人运动规划是解决机器人复杂任务的一种广泛应用的技术。我们考虑的问题，学习表示的约束，从演示与深神经网络，我们称之为等式约束流形神经网络（ECoMaNN）。其关键思想是学习一个水平集函数的约束适合集成到一个受约束的采样为基础的运动规划。学习通过将网络中的子空间与数据的子空间对齐来进行。我们将学习到的约束和分析描述的约束结合到规划器中，并使用基于投影的策略来找到有效点。我们评估ECoMaNN的约束流形的表示能力，其个别损失项的影响，以及纳入规划时产生的运动。
2020-09-24 cs.CG cs.LG cs.RO
Motion Planning by Learning the Solution Manifold in Trajectory Optimization
Kyushu Institute of Technology（九州工业大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
在轨迹优化中使用的目标函数通常是非凸的，并且可以具有无穷多个局部最优值。在这种情况下，有不同的解决方案来执行给定的任务。虽然有一些方法可以找到运动规划的多个解决方案，但它们仅限于生成有限的解决方案集。为了解决这个问题，我们提出了一种优化方法，学习的轨迹优化的解决方案的无限集。在我们的框架中，通过学习解决方案的潜在表示来获得不同的解决方案。我们的方法可以被解释为训练用于运动规划的无碰撞轨迹的深度生成模型。实验结果表明，训练后的模型代表了运动规划问题的无穷同伦解集。
2021-07-13 cs.LG cs.RO
Sparse Imagination for Efficient Visual World Model Planning
Graduate School of Data Science, Seoul National University（数据科学研究生院，首尔国立大学）；Department of Electrical and Computer Engineering, Seoul National University（电气与计算机工程系，首尔国立大学）
本文提出稀疏想象方法，通过减少标记处理数量提升视觉世界模型规划效率，同时保持高控制保真度。
2026-02-26 cs.AI cs.CV cs.RO
Visual Cue Guided Video Planning for Generalizable Robot Navigation
Technical University of Munich（慕尼黑工业大学）；Massachusetts Institute of Technology（麻省理工学院）；Örebro University（厄勒布鲁大学）
提出CueNav，结合视觉提示引导的视频规划与逆动力学模型，实现长视界、具身感知的泛化机器人导航，显著提升迷宫和狭窄通道成功率。
2026-09-17 cs.AI cs.CV cs.LG
Kinodynamic Planning on Constraint Manifolds
Institut de Robòtica i Informàtica Industrial, CSIC-UPC（工业机器人信息研究所，CSIC-UPC）
本文提出了一种运动学和动力学约束系统的运动规划器。前者出现在系统中存在运动学回路时，例如在并联机械手中，在合作完成给定任务的机器人中，或在涉及与环境接触的情况下。后者是必要的，以获得现实的轨迹，考虑到力作用在系统上。运动学约束使状态空间成为一个隐式定义的流形，这使得常用的运动规划技术的应用变得复杂。为了解决这个问题，规划器增量地构造状态空间流形的图集，并且使用该图集来生成随机状态并且动态地模拟系统朝向这些状态的转向。然后利用所得到的工具在状态空间上构建一个快速探索的随机树（RRT）。据我们所知，这是第一个随机kinodynamic规划隐式定义的状态空间。本文提出的测试案例验证了显着复杂的系统中的方法。
2017-05-22 cs.RO
ThinkAct: Vision-Language-Action Reasoning via Reinforced Visual Latent Planning
NVIDIA；National Taiwan University（国立台湾大学）
本文提出ThinkAct双系统框架，通过强化视觉潜在规划连接多模态大语言模型的高层推理与低层动作执行，在具身AI任务中实现少样本适应、长时程规划与自我纠正。
2025-09-18 cs.AI cs.CV cs.LG
Integrated Planning and Control on Manifolds: Factor Graph Representation and Toolkit
针对非线性流形系统上MPC的奇异性、收敛差等问题，提出基于因子图的FactorMPC工具包，原生支持流形值状态，设计流形上CBF避障因子，实现高维系统实时安全控制，四旋翼实验验证性能更优且开源可复现。
2025-10-05 cs.RO
Motion Planning via Manifold Samples
Tel-Aviv University（特拉维夫大学）；Hebrew University（希伯来大学）
我们提出了一个通用的和模块化的机器人路径规划的算法框架。我们的框架结合了几何方法的准确和完整的低维配置空间的分析，以及实用的，相当简单的采样为基础的方法，适用于更高的维度。为了促进先进的几何算法转化为实际应用，我们建议采取的样本是整个低维流形的配置空间，捕捉配置空间的连通性比孤立的点样本好得多。低维流形分析的几何算法提供了强大的原始操作。框架的模块化设计使得能够独立地优化每个模块化组件。事实上，我们已经开发，实施和优化了一个原始的操作完整和精确的组合分析的一组流形，使用安排曲线的合理功能和概念的通用编程。这反过来又使我们能够实现我们的框架的多边形机器人的具体情况下，多边形障碍物之间的平移和旋转。我们证明了几个精心设计的组件的集成导致显着的加速比流行的PRM基于采样的算法，这代表了更简单的方法，在实践中是普遍的。我们预见我们的框架可能的扩展，以解决高维问题超出运动规划。
2011-07-05 cs.CG cs.RO
Physics-informed Neural Motion Planning on Constraint Manifolds
Purdue University（普渡大学）
针对约束流形上约束运动规划（CMP）求解难、需专家数据的问题，提出首个物理启发式CMP框架，通过在约束流形上求解程函方程训练神经函数，无需专家数据，在仿真与真实场景中实现亚秒级高成功率规划，速度远超现有最优方法。
2024-03-09 cs.LG cs.RO
Visualizing Local Minima in Multi-Robot Motion Planning using Multilevel Morse Theory
多机器人运动规划问题往往存在许多局部极小点。必须将这些局部最小值可视化，以便我们可以更好地理解、调试和与多机器人系统交互。为了实现这一目标，我们提出了多机器人运动探测器，一种算法，通过引入基于组件的框架，通过减少每个机器人的组件空间使用纤维束，减少多机器人配置空间，从而扩展了以前的结果多层次莫尔斯理论。我们的算法利用这种组件结构搜索和可视化局部极小值。该算法的用户可以指定多级抽象和优化算法。我们使用这些信息来逐步建立一个局部最小树为一个给定的问题。我们证明了这种算法上的几个多机器人系统的多达20个自由度。
2020-04-29 cs.RO
HiWE: Hierarchical World Knowledge Model with Visual Keypoint Enhancement for Zero-Shot 3D Path Planning
University of Chinese Academy of Sciences（中国科学院大学）；State Key Laboratory of Brain Cognition and Brain-inspired Intelligence Technology, CAS（中国科学院脑认知与脑启发智能技术国家重点实验室）；The University of Hong Kong（香港大学）；Tsinghua University（清华大学）
HiWE提出一种结合视觉关键点增强的层次化世界知识模型，通过点基接口连接视觉接地与语言规划，实现零样本3D路径规划，并在模拟和物理任务上验证有效性。
2026-10-01 cs.AI cs.RO
Learning Keypoint Constraints from Visual Demonstrations for Safe Motion Planning
该研究提出KCL框架，通过视觉演示学习任务相关运动约束，结合关键点感知与动力学误差分析，在导航、操作等任务的安全规划中表现优于基线方法。
2026-10-15 cs.RO
Mesh Manifold based Riemannian Motion Planning for Omnidirectional Micro Aerial Vehicles
ETH Zürich（苏黎世联邦理工学院）；Microsoft（微软公司）
本文提出了一种新的在线路径规划方法，使空中机器人与表面的互动。我们提出了一个解决问题的轨迹，驱动机器人对一个表面，并沿着它移动。三角形网格被用来作为一个表面地图表示，是免费的固定离散化，并允许非常大的离散。我们建议利用平面参数化方法来获得原始表面的低维拓扑等价表示。此外，我们解释了原始表面及其低维表示为流形近似，允许使用黎曼运动策略（RMP），从而产生一个高效，通用和优雅的运动生成框架。我们比较几个快速探索随机树（RRT）规划，定制的CHOMP变体，和离散测地线算法。使用广泛的模拟现实世界的数据，我们表明，建议的规划器可以可靠地规划高质量的近最佳轨迹，以最小的计算成本。随附的多媒体附件演示了一个真正的OMAV的可行性。所获得的路径显示小于10%的偏差，从理论上的最佳，同时促进反应性重新规划在kHz的刷新率，使飞行机器人执行运动规划与复杂的表面相互作用。
2021-02-20 cs.RO
Constrained Motion Planning Networks X
University of California San Diego（加州大学圣地亚哥分校）
受约束的运动规划是一个具有挑战性的研究领域，旨在寻找计算效率高的方法，可以在给定的起始和目标配置之间的约束流形上找到无碰撞路径。这些规划问题经常出现，例如在机器人操作执行日常生活辅助任务。然而，很少有约束运动规划的解决方案是可用的，并且那些存在的解决方案在寻找流形上的路径解决方案时与高计算时间复杂度作斗争。为了解决这一挑战，我们提出了约束运动规划网络X（CoMPNetX）。它是一种神经规划方法，包括条件深度神经生成器和基于神经梯度的快速投影算子。我们还介绍了神经任务和场景表示的条件下，CoMPNetX生成隐式流形配置涡轮增压任何底层的经典规划，如基于采样的运动规划方法，快速解决复杂的约束规划任务。我们表明，在各种具有挑战性的场景中，我们的方法比最先进的传统路径查找工具能够以更高的成功率和更低的计算时间找到路径解决方案。
2021-07-03 cs.AI cs.LG cs.RO
Manifold-Guided Motion Planning for Tight Assemblies
Blavatnik School of Computer Science and Artificial Intelligence, Tel-Aviv University（特拉维夫大学布拉瓦尼克计算机科学与人工智能学院）
针对刚体装配运动规划因几何约束面临的挑战，提出临界流形引导的CMG-RRT规划器。它利用配置空间分层细分，将采样偏向临界流形邻域引导探索，经证明概率完备，在基准测试中成功率达100%，还解决了麋鹿拆解谜题。
2026-07-21 cs.RO
Visual-Inertial Target Tracking and Motion Planning for UAV-based Radiation Detection
University of Delaware（特拉华大学）
本文讨论了使用最小传感能力的无人机在运输中检测放射性物质的问题，其目标是分类目标的放射性车辆计划通过工作空间的路径，同时跟踪目标的短时间间隔。为此，我们提出了一个运动规划框架，它集成了紧密耦合的视觉惯性定位和目标跟踪。在这个框架中，3D工作空间是已知的，并且该信息与UAV动力学一起用于构建导航功能，该导航功能生成动态可行的安全路径，该路径避开障碍物并且可证明地收敛到移动目标。通过Gazebo中的真实仿真验证了所提出方法的有效性。
2018-05-23 cs.RO
Manifold-constrained Hamilton-Jacobi Reachability Learning for Decentralized Multi-Agent Motion Planning
Purdue University（普渡大学）
提出流形约束的 HJR 学习框架，通过求解流形约束下的 HJR 问题获取任务感知安全条件，并集成到去中心化轨迹优化规划器中，实现安全且任务可行的多智能体运动规划。
2026-07-02 cs.RO cs.SY eess.SY
geodex: A Library for Motion Planning on Riemannian Manifolds
University of Toronto Institute for Aerospace Studies (UTIAS)（多伦多大学航空航天研究所）；Vector Institute for Artificial Intelligence（向量人工智能研究所）
针对现有运动规划库忽略机器人构型空间内在几何的问题，提出开源库 geodex，通过统一接口支持多种流形和自定义黎曼度量，实现更短、低能耗的规划。
2026-10-08 cs.RO
Assessing the Value of Visual Input: A Benchmark of Multimodal Large Language Models for Robotic Path Planning
Department of Micro-Nano Mechanical Science and Engineering, Nagoya University, Nagoya, Aichi, Japan（Nagoya大学微纳米机械科学与工程系）；Institutes of Innovation for Future Society, Nagoya University, Nagoya, Aichi, Japan（Nagoya大学未来社会创新研究所）
本文通过基准测试评估15个多模态大语言模型在二维网格机器人路径规划中视觉输入的效用，发现视觉输入在简单网格上有一定帮助，但在复杂网格上性能显著下降，揭示了空间推理与多模态集成的可扩展性挑战。
2025-07-16 cs.RO
Policy-Guided World Model Planning for Language-Conditioned Visual Navigation
Drexel University（德雷塞尔大学）
本文提出PiJEPA框架，结合学习导航策略与潜在世界模型规划，通过微调Octo策略和冻结预训练视觉编码器，提升语言指导下的视觉导航准确性与指令遵循性。
2026-03-26 cs.AI cs.CL cs.RO
BEV-VLM: Trajectory Planning via Unified BEV Abstraction
BEV-VLM通过统一的BEV抽象与VLMs实现高精度轨迹规划，实验显示其在准确性上比现有方法提升53.1%并实现无碰撞。
2026-02-27 cs.AI cs.RO
Homography matrix based trajectory planning method for robot uncalibrated visual servoing
Wuhan Institute of Technology（武汉工程大学）；Huazhong University of Science and Technology（华中科技大学）；Wuhan University（武汉大学）
提出基于单应矩阵的轨迹规划方法，利用特征值分解与单应矩阵获取最优图像轨迹，使无标定视觉伺服在较大初始偏差下实现最短路径跟踪。
2023-08-30 cs.RO
An Indoor Navigation System for the Visually Impaired based on UWB Positioning and D* Lite Path Planning Algorithm
针对视障者室内导航问题，提出基于UWB定位技术和D* Lite路径规划算法的系统，利用UWB传感器定位，集成算法优化轨迹、应对动态障碍，实验表明系统可靠低延迟，为视障者提供安全灵活的室内导航。
2026-07-21 cs.RO cs.SY eess.SY
Coverage Path Planning using Path Primitive Sampling and Primitive Coverage Graph for Visual Inspection
A*STAR Artificial Intelligence Initiative (A*AI)（新加坡科技研究局人工智能计划（A*AI））；Institute of High Performance Computing（高性能计算研究所）；Carnegie Mellon University（卡内基梅隆大学）
对于无人机视觉检测应用来说，规划路径以收集目标物体的表面信息对于提高效率和降低总体成本至关重要。覆盖路径规划（CPP）的问题往往是制定这些检测应用程序，因为覆盖的要求。传统上，研究人员通常首先规划和优化视点以捕获表面信息，然后优化访问所选视点的路径。在本文中，我们提出了一种新的规划方法，直接采样和规划的检测路径的摄像机配备的无人机，以获取视觉和几何信息的目标结构作为视频流设置在复杂的3D环境。该规划方法首先通过体素膨胀和减法的基础上使用采样方法生成的目标对象周围的通路点和路径基元。然后提出了一种新的基元覆盖图（PCG）编码的拓扑信息，飞行距离和可见性信息，与采样的途经点和路径基元。最后进行图搜索，在PCG中找到结果路径，完成具有覆盖要求的检测任务。通过仿真和现场试验验证了该方法的有效性。
2019-08-08 cs.RO
Self-Improving Loops for Visual Robotic Planning
SILVR通过自生成轨迹迭代更新视频模型，实现视觉机器人任务的持续改进，无需人类演示或奖励函数。
2026-03-11 cs.AI cs.RO
Towards Unified World Models for Visual Navigation via Memory-Augmented Planning and Foresight
University of Washington（华盛顿大学）；National University of Singapore（新加坡国立大学）；Apple（苹果公司）；Microsoft Research（微软研究院）；Carnegie Mellon University（卡内基梅隆大学）
本文提出UniWM，一种整合视觉前瞻性与规划的统一世界模型，通过记忆机制提升导航鲁棒性和泛化能力，在多个基准测试中显著提升导航成功率。
2026-10-19 cs.AI cs.CV cs.RO
VIP-Loco: A Visually Guided Infinite Horizon Planning Framework for Legged Locomotion
VIP-Loco结合视觉感知与强化学习，实现腿部机器人在复杂动态环境中的鲁棒运动规划，通过内部模型将本体状态与深度图像映射为紧凑的运动动力学特征，结合无限 horizon MPC提升适应性与结构化规划能力。
2026-03-15 cs.RO
Visualization of Nonlinear Programming for Robot Motion Planning
University of Stuttgart（斯图加特大学）；Technische Universität Berlin（柏林工业大学）
非线性规划针对具有约束的非线性优化，这是一种通用但复杂的方法，涉及人类进行问题建模和求解问题的算法。我们解决了特别困难的挑战，支持领域专家在处理，理解和解决问题的高维优化与大量的约束。利用可视化分析，支持用户探索非线性约束优化的计算过程。我们的系统是专为机器人运动规划问题，并在非线性规划和机器人领域的专家紧密合作开发。我们报告的经验，从这个设计研究，说明相关的示例情况下的有用性，并讨论了扩展到非线性规划的可视化分析。
2021-01-28 cs.HC cs.NA cs.RO
VLMPlanner: Integrating Visual Language Models with Motion Planning
University of Science and Technology of China（科学技术大学）；University of Adelaide（阿德莱德大学）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）
本文提出 VLMPlanner 混合框架，利用可推理原始多视角图像的 VLM 指导实时运动规划器，并通过 CAI-Gate 动态调节推理频率，在 nuPlan 上提升复杂场景的安全性、规划性能与计算效率。
2025-07-27 cs.AI cs.RO
Multi-UAV trajectory planning for 3D visual inspection of complex structures
University of Rijeka（里耶卡大学）；University of Southern Denmark（南丹麦大学）
自主无人机在基础设施检查任务中的应用在减少操作时间、安全性和成本效益方面提供了好处。提出了一种基于热方程驱动区域覆盖（HEDAC）算法的三维多无人机自主体积覆盖和基础设施视觉检测轨迹规划方法。该方法使用势场生成轨迹，并实施距离场以防止碰撞并确定UAV的相机方向。在风力涡轮机和桥梁等复结构的目视检查过程中，它成功地实现了覆盖范围，在相同条件下可以检查更多的表面积，优于最先进的方法。所提出的轨迹规划方法提供了各种设置参数的灵活性，并适用于现实世界的检测任务。最后，所提出的方法可以潜在地应用于不同的自主无人机任务，甚至可以用作无人机运动控制方法，如果其计算效率的提高。
2022-12-07 cs.MA cs.RO cs.SY
ReachVox: Clutter-free Reachability Visualization for Robot Motion Planning in Virtual Reality
Coburg University of Applied Sciences and Arts（科堡应用科学与艺术大学）；University of Birmingham（伯明翰大学）；University of Cambridge（剑桥大学）
本文提出ReachVox极简可达性可视化方法，通过20人用户研究证明其在VR远程人机协作中优于基于点的可达性检查。
2025-08-15 cs.HC cs.RO
SAMPLE-HD: Simultaneous Action and Motion Planning Learning Environment
Imperial College London（帝国理工学院）
人类表现出令人难以置信的高水平的多模态理解-将视觉线索与阅读或听到的知识相结合，对我们来说很容易，并允许与周围环境进行非常准确的互动。各种仿真环境的重点是为与场景理解、问答、空间探索、视觉导航相关的任务提供数据。在这项工作中，我们提供了一个解决方案，包括在一个新的环境中学习交互式推理的操作设置，模拟的视觉和行为方面。SAMPLE-HD环境允许生成由小型家用对象组成的各种场景，以程序方式生成用于操纵的语言指令，并生成用作训练数据的地面实况路径。
2022-06-01 cs.AI cs.LG cs.RO
Planning Robot Motion using Deep Visual Prediction
Indian Institute of Science (IISc)（印度科学学院）
在本文中，我们介绍了一种新的框架，可以学习从原始视频帧中对机器人代理的运动进行视觉预测。我们提出的运动预测网络（PROM-Net）可以以完全无监督的方式学习，并有效地预测未来最多10帧。此外，与任何其他运动预测模型不同，它是轻量级的，一旦经过训练，它可以很容易地在计算能力非常有限的移动平台上实现。我们已经创建了一个新的机器人数据集，包括在不同照明条件下在三种不同环境中沿着各种轨迹移动的LEGO Mindstorms，用于测试和训练网络。最后，我们介绍了一个框架，将使用从网络的预测帧作为输入到一个模型预测控制器的运动规划在未知的动态环境中移动的障碍物。
2019-06-24 cs.CV cs.LG cs.RO
Surgical Robot, Path Planning, Joint Space, Riemannian Manifolds
The University of Tokyo, Department of Information Physics and Computing（东京大学信息物理与计算系）；The University of Tokyo, Department of Precision Engineering（东京大学精密工程系）；National Institute of Informatics, Principles of Informatics Research Division（国家信息研究所信息原理研究部）
本文提出在关节空间中利用黎曼流形进行路径规划，以解决手术机器人在非凹表面的运动限制问题，通过梯度下降法提高路径规划效率。
2026-03-16 cs.RO cs.SY eess.SY
Topology-Guided Path Planning for Reliable Visual Navigation of MAVs
Seoul National University（首尔国立大学）
视觉导航已广泛应用于微型飞行器（MAVs）的状态估计。为了稳定的视觉导航，MAV应该生成感知感知路径，以保证足够的可见地标。许多感知路径规划的工作集中在基于采样的规划器。然而，他们可能遭受的样本效率低下，这导致计算负担，以找到一个全局最优路径。为了解决这个问题，我们提出了一个感知感知路径规划器，利用拓扑信息的环境。由于路径的拓扑类与路径上的可见地标密切相关，该算法通过检查不同的拓扑类来选择具有丰富视觉信息的拓扑类。从环境的广义沃罗诺伊图中提取拓扑图，找到具有不同拓扑类的初始路径，并将初始路径划分为离散段，每段中的点共享相似的视觉信息，以评价不同拓扑类的感知质量.该算法首先选择感知质量高的最优类，然后利用基于图的规划器在类内生成路径。通过仿真和真实世界的实验，我们证实了所提出的方法可以保证准确的视觉导航相比，感知不可知的方法，同时显示出更高的计算效率比基于采样的感知感知规划。
2021-07-19 cs.RO
Resolving State-Representation Mismatch: State-Space Visual Reasoning for Open-Loop VLA Planning
FDU（复旦大学）；HUST（华中科技大学）；TJU（天津大学）；CCNU（华中师范大学）；Kuaishou（快手）
针对开环VLA规划中的状态表示不匹配问题，提出SSVR方法，通过解耦静态上下文与循环潜在状态，实现高效多步推理，显著提升规划性能。
2026-09-29 cs.AI cs.CV
Efficient Multi-Robot Motion Planning for Manifold-Constrained Manipulators by Randomized Scheduling and Informed Path Generation
Rice University（里士满大学）
本文提出StAC方法，通过随机调度和双向反馈实现高效多机器人运动规划，减少路径生成数量，提升在受限空间中的操作效率。
2026-02-12 cs.RO
Risk-aware Path and Motion Planning for a Tethered Aerial Visual Assistant in Unstructured or Confined Environments
Texas A&M University（德克萨斯A&M大学）
本研究旨在发展系留式无人机的路径与运动规划演算法，以视觉辅助非结构化或受限环境中的遥操作主机器人。对于核操作、拆弹小组、灾难机器人和其他具有新任务或高度闭塞环境的领域，实践的新兴状态是使用两个机器人，一个主机器人和一个辅助机器人，作为视觉助手，通过提供外部视角来克服传感器的感知限制。然而，使用助理的好处受到限制，至少有三个原因：（1）用户倾向于选择次优视点，（2）仅考虑地面机器人助手，忽略了用于室内飞行的小型无人驾驶航空器系统的快速发展，（3）为第二遥控机器人引入整个机组人员不是成本有效的，可能引入进一步的团队合作需求，因此可能导致沟通不畅本论文提出以自主式系留空中视觉助手取代辅助机器人及其操作人员。随着预先建立的理论的观点质量的基础上启示，本文旨在定义和表示机器人运动风险在非结构化或受限的环境。基于这些理论，一种新的高层次的路径规划算法的开发，使风险意识规划，平衡之间的权衡，以提供安全和值得信赖的视觉辅助飞行的视点质量和运动风险。然后在系留无人机平台上实现规划的飞行轨迹。感知和致动被定制为以低级运动套件的形式适合系留代理，包括具有可忽略的计算开销的新颖的基于系留的定位模型、基于位置和速度控制的系留机身的运动基元以及两个不同的运动基元。
2020-07-19 cs.RO
MeshDMP: Motion Planning on Discrete Manifolds using Dynamic Movement Primitives
Università di Trento（特伦托大学）；New York University Abu Dhabi（纽约大学阿布扎比分校）
本文提出MeshDMP方法，通过在离散流形上应用微分算子嵌入工件几何信息并扩展DMPs框架，使机械臂能在复杂曲面上学习、泛化并生成接触式运动，在仿真和真实抛光实验中表现优异。
2025-01-30 cs.RO
Riemannian Splat Regression Models for Learning Time Fields on Arbitrary Riemannian Manifolds
针对任意黎曼流形上的运动规划，提出一种无需坐标投影的样条回归模型，结合包裹高斯分布样条学习到达时间场，在多个流形上验证了其准确性与模型规模优势。
2026-09-30 cs.RO
Deep Visual Reasoning: Learning to Predict Action Sequences for Task and Motion Planning from an Initial Scene Image
University of Stuttgart（斯图加特大学）；Max-Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；TU Berlin（柏林工业大学）
在本文中，我们提出了一种深度卷积递归神经网络，它可以从初始场景图像中预测任务和运动规划（TAMP）的动作序列。典型的TAMP问题通过将符号、离散级（例如一阶逻辑）上的推理与连续运动规划（例如非线性轨迹优化）相结合来形式化。由于可能的离散动作序列的巨大组合复杂性，必须解决大量的优化/运动规划问题以找到解决方案，这限制了这些方法的可扩展性。为了规避这种组合的复杂性，我们开发了一个神经网络，根据场景的初始图像，直接预测有前途的离散动作序列，理想情况下，只有一个运动规划问题必须得到解决，找到一个解决方案，以整体TAMP问题。一个关键的方面是，我们的方法可以推广到具有许多不同数量的对象的场景，尽管一次只训练两个对象。这可以通过将图像中的场景对象编码为神经网络的输入而不是固定的特征向量来实现。结果表明，运行时的几个数量级的改进。视频：https://youtu.be/i8yyEbbvoEk
2020-06-09 cs.AI cs.CV cs.LG
Visual-RRT: Finding Paths toward Visual-Goals via Differentiable Rendering
KAIST（韩国科学技术院）；Samsung Electronics（三星电子）
本文提出视觉-RRT，结合可微机器人渲染与RRT采样探索，实现视觉目标路径规划，实验表明其在模拟和现实环境中均有效。
2026-03-27 cs.CV cs.RO
Visually Grounded Task and Motion Planning for Mobile Manipulation
The State University of New York at Binghamton（纽约州立大学宾汉姆顿分校）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Sony AI（索尼人工智能研究院）
任务和运动规划（TAMP）算法旨在帮助机器人实现任务级目标，同时保持运动级的可行性。本文重点关注涉及机器人行为的TAMP领域，这些行为需要很长一段时间（例如，远程导航）。在本文中，我们开发了一个视觉接地的方法来帮助机器人概率评估行动的可行性，并介绍了一个TAMP算法，称为GROP，优化可行性和效率。我们收集了一个数据集，其中包括96，000个机器人进行移动操作任务的模拟试验，然后使用该数据集来学习地面符号空间关系，以进行动作可行性评估。与竞争对手的TAMP基线相比，GROP表现出更高的任务完成率，同时保持较低或相当的行动成本。除了这些广泛的模拟实验，GROP是完全实现和测试一个真正的机器人系统。
2022-02-24 cs.RO
Robot Motion Planning in Learned Latent Spaces
Stanford University（斯坦福大学）
本文提出了基于潜在采样的运动规划（L-SBMP），一种通过学习可规划的潜在表示来计算复杂机器人系统运动规划的方法。最近的工作在控制机器人系统有效地利用本地，低维嵌入高维动力学。在本文中，我们将这些最新进展与基于采样的运动规划（SBMP）技术相结合，以设计一种能够规划传统方法（例如，类人机器人，甚至是在视觉空间中进行规划的系统）。具体来说，学习的潜在空间是通过一个自动编码网络，一个动态网络，和碰撞检查网络，这反映了SBMP的三个主要算法原语，即状态采样，本地转向，和碰撞检查。值得注意的是，这些网络可以只通过系统状态和动作的原始数据以及监督冲突检查器来训练。在这些网络的基础上，使用基于RRT的算法直接在潜在空间中规划运动-我们将这种探索算法称为学习潜在RRT（L2 RRT）。该算法全局地探索潜在空间，并能够推广到新的环境。整体的方法证明了两个规划问题，即视觉规划问题，规划发生在视觉（像素）空间，和一个人形机器人规划问题。
2018-11-06 cs.RO
Visual Representation Learning for Preference-Aware Path Planning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；United States Army Research Laboratory (ARL)（美国陆军研究实验室）
部署在户外环境中的自主移动机器人必须考虑不同类型的地形，以确保安全（例如，更喜欢泥土而不是泥浆）和部署者偏好（例如，喜欢泥土小路而不是花坛）。大多数现有的解决方案，这种偏好感知路径规划问题使用语义分割从相机图像的地形类型进行分类，然后归因于每种类型的成本。不幸的是，这种方法存在三个关键限制--它们1）需要预先枚举离散地形类型，2）不能处理混合地形类型（例如，草土），以及3）需要昂贵的标记数据来训练视觉语义分割。我们介绍了视觉表示学习偏好感知路径规划（VRL-PAP），一种替代方法，克服了所有三个限制：VRL-PAP利用未标记的人类导航示范自主生成三元组学习视觉表示的地形是视点不变的，并在一个连续的表示空间编码地形类型。然后，将学习到的表示与相同的未标记的人类导航演示一起使用，以学习从表示空间到地形成本的映射。在运行时间，VRL-PAP从图像映射到表示，然后表示到成本，以执行偏好感知路径规划。我们提出了具有挑战性的户外环境的经验结果，证明VRL-PAP 1）能够成功地选择反映所展示的偏好的路径，2）在执行中与具有高度详细的手动注释地图的几何导航相当（不需要这样的注释），3）能够以最少的额外未标记演示推广到新的地形类型。
2021-09-18 cs.LG cs.RO
Scope-WM: Scoped Computation for Efficient Visual World Models
Scope-WM通过作用域计算，将动态预测集中于相关令牌并重用优质动作序列，实现高效视觉世界模型，显著降低内存和规划时间，同时保持性能。
2026-09-29 cs.AI cs.CV cs.RO
