Core Challenges in Embodied Vision-Language Planning
Carnegie Mellon University(卡内基梅隆大学);Komatsu Ltd.(小松有限公司)
多模态机器学习和人工智能(AI)领域的最新进展导致了计算机视觉、自然语言处理和人工智能交叉领域的挑战性任务的发展。虽然许多方法和以前的调查追求的特点,其中一个或两个方面,有没有一个整体的分析,在所有三个中心。此外,即使当考虑这些主题的组合时,更多的重点放在描述,例如,目前的架构方法,而不是也说明高层次的挑战和机遇的外地。在这篇综述论文中,我们讨论了嵌入式视觉语言规划(EVLP)任务,这是一系列突出的具身导航和操纵问题,它们共同使用计算机视觉和自然语言。我们提出了一个分类来统一这些任务,并提供了一个深入的分析和比较新的和当前的算法方法,指标,模拟环境,以及用于EVLP任务的数据集。最后,我们提出了我们认为新的EVLP作品应该寻求解决的核心挑战,我们主张任务建设,使模型的通用性和进一步的现实世界的部署。
2022-05-24 cs.AI cs.CL cs.CV
V-VLAPS: Value-Guided Planning for Vision-Language-Action Models
The University of British Columbia(不列颠哥伦比亚大学)
提出V-VLAPS方法,通过在VLA模型上增加轻量级价值头预测蒙特卡洛回报,引导蒙特卡洛树搜索选择高价值分支,从而提升长时域任务下的规划性能。
2026-07-10 cs.AI cs.RO
GaLa: Hypergraph-Guided Visual Language Models for Procedural Planning
Harbin Institute of Technology(哈尔滨工业大学);Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)(广东人工智能与数字经济实验室(深圳));Chongqing Research Institute of HIT(重庆哈尔滨工业大学研究院)
GaLa通过超图表示学习,有效捕捉物体间的隐含语义关系和功能区域的层次结构,提升多模态程序规划的性能。
2026-04-19 cs.RO
Geo-VLA: Geometry-Aware Vision-Language-Action Planning via Internalization of Map Semantics
该研究针对VLA模型在复杂驾驶场景中规划性能不足的问题,提出可即插即用的Geo-VLA框架,结合自研Geo-QA数据集,在NAVSIM v1上实现单目VLA规划器的新SOTA。
2026-08-25 cs.AI cs.RO
TANDEM: Task and Motion Planning with As-Needed Demonstrations for Efficient Vision-Language-Action Model Fine-tuning
Stanford University(斯坦福大学);Princeton University(普林斯顿大学)
TANDEM结合任务与运动规划与按需人类演示,扩展规划域并高效收集演示,微调VLA模型,使五个长时程任务平均成功率从0%提升至60%。
2026-09-24 cs.RO
Natural Language Instructions for Scene-Responsive Human-in-the-Loop Motion Planning in Autonomous Driving using Vision-Language-Action Models
University of California, Merced(加州大学默塞德分校)
本研究利用视觉-语言-动作模型,通过指令条件规划提升自动驾驶的鲁棒性和轨迹对齐性能。
2026-02-04 cs.AI cs.CV cs.LG
DeeAD: Dynamic Early Exit of Vision-Language Action for Efficient Autonomous Driving
City University of Hongkong(香港城市大学);Mohamed bin Zayed University of Artificial Intelligence(马尔代夫 bin Zayed 人工智能大学)
DeeAD通过动态早期退出机制提升自动驾驶中视觉-语言动作模型的效率,实现28%的变换器层稀疏性和29%的延迟减少,同时保持规划质量和安全。
2025-11-25 cs.AI cs.CV cs.LG
OccVLA: Vision-Language-Action Model with Implicit 3D Occupancy Supervision
Shanghai Qi Zhi Institute(上海启智研究所);Xi’an Jiaotong University(西安交通大学);Fudan University(复旦大学);Shanghai Jiao Tong University(上海交通大学);Tsinghua University(清华大学)
OccVLA通过将3D占用作为隐式监督信号融入多模态推理,无需显式3D输入即可提升自动驾驶的3D空间理解,在nuScenes轨迹规划和3D视觉问答上达到最先进性能。
2025-09-06 cs.AI cs.RO
VLA-OS: Structuring and Dissecting Planning Representations and Paradigms in Vision-Language-Action Models
National University of Singapore(新加坡国立大学);Fudan University(复旦大学);Tsinghua University(清华大学);Nanyang Technological University(南洋理工大学)
本文提出统一VLA架构系列VLA-OS,通过受控实验系统比较不同规划范式与表示,发现视觉规划表示优于语言表示,层级VLA范式在性能与泛化上综合最优。
2025-06-21 cs.AI cs.CV cs.RO
FOCAL-VLA: Subtask-Guided Geometry Distillation and Implicit World Modeling for Vision-Language-Action Models
University of Bremen(不来梅大学);Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院);Robotics Institute Germany (RIG)(德国机器人研究所)
FOCAL-VLA通过子任务引导的几何蒸馏和隐式世界建模,增强VLA模型的空间与时间理解,在仿真和真实操作任务中超越基线。
2026-09-21 cs.AI cs.CV cs.RO
SIMPACT: Simulation-Enabled Action Planning using Vision-Language Models
UMD(马里兰大学);UIUC(伊利诺伊大学厄巴纳-香槟分校);Harvard(哈佛大学);Amazon FAR(亚马逊FAR);UPenn(宾夕法尼亚大学)
SIMPACT通过仿真循环世界建模赋予视觉-语言模型物理推理能力,实现高效动作规划,优于现有通用机器人操作模型,在五个复杂真实世界任务中表现优异。
2026-03-31 cs.CV cs.RO
MinD: Learning A Dual-System World Model for Real-Time Planning and Implicit Risk Analysis
针对视频生成模型在机器人实时规划中分布建模能力未充分利用及计算低效问题,提出双系统世界模型MinD,通过异步扩散过程与对齐模块,实现高效规划并提升任务成功率与风险识别率。
2025-08-20 cs.AI cs.RO
PHR-VLA: Planning Horizon Reasoning for Vision-Language-Action Models
Texas A&M University(德克萨斯农工大学);Purdue University(普渡大学)
该研究针对现有视觉-语言-动作模型缺乏未来任务动态推理机制的问题,提出PHR-VLA框架,通过辅助未来头对齐潜在动态,提升了机器人操纵任务的成功率。
2026-08-31 cs.AI cs.RO
Evo-0: Vision-Language-Action Model with Implicit Spatial Understanding
School of AI, Shanghai Jiao Tong University(上海交通大学人工智能学院);EvoMind Tech(EvoMind科技);IAAR-Shanghai(IAAR-上海);University of Cambridge(剑桥大学)
Evo-0通过隐式整合3D几何特征,提升视觉-语言-动作模型在现实世界中的空间理解能力。
2025-11-24 cs.CV cs.RO
AnchorVLA: Bridging Discrete Decisions and Continuous Trajectories for Vision-Language-Action Planning
School of Vehicle and Mobility, Tsinghua University(清华大学车辆与运载学院);State Key Laboratory of Intelligent Green Vehicle and Mobility, Tsinghua University(清华大学智能绿色车辆与交通国家重点实验室);School of Computer Science and Engineering, Southeast University(东南大学计算机科学与工程学院);Meituan Inc.(美团公司);Dongfeng Motor Corporation(东风汽车公司)
自动驾驶规划需将多种信息转化为连续轨迹,现有视觉-语言-动作(VLA)规划器有局限。提出AnchorVLA框架,用轨迹模式锚连接高层VLA推理与连续轨迹执行,提升效率、语义动作对齐和生成灵活性。
2026-07-07 cs.AI cs.RO
Vision-Language Interpreter for Robot Task Planning
OMRON SINIC X Corporation(欧姆龙SINIC X公司);University of Tokyo(东京大学)
本文提出视觉-语言解释器ViLaIn,通过从语言指令和场景观测生成问题描述来驱动符号规划器,并利用错误反馈修正生成结果,实验表明其能以超过99%的准确率生成语法正确的问题和超过58%的有效计划。
2024-02-20 cs.AI cs.CL cs.RO
Using Implicit Behavior Cloning and Dynamic Movement Primitive to Facilitate Reinforcement Learning for Robot Motion Planning
Eindhoven University of Technology(埃因霍温理工大学);University of Victoria(维多利亚大学);Natural Sciences and Engineering Research Council (NSERC) Canada(加拿大自然科学与工程研究委员会)
针对多自由度机器人运动规划强化学习训练慢、泛化差的问题,提出结合IBC与DMP的RL框架,搭配自建人类演示数据集,经仿真与真机实验验证可提升训练速度与任务表现,为机器人RL性能优化提供新思路。
2024-08-18 cs.LG cs.RO
Efficient View Path Planning for Autonomous Implicit Reconstruction
Zhejiang University(浙江大学);NetEase(网易)
隐式神经表征在三维场景重建中显示出了巨大的潜力。最近的工作将其应用于自主三维重建的学习信息增益的视图路径规划。虽然它是有效的,但信息增益的计算是昂贵的,并且与使用体积表示相比,使用3D点的隐式表示的碰撞检查要慢得多。在本文中,我们建议1)利用神经网络作为信息增益场的隐式函数逼近器,2)将隐式细粒度表示与粗体积表示相结合以提高效率。进一步提高效率,我们提出了一种新的信息路径规划的基础上,基于图的规划器。我们的方法表现出显着的改进,重建质量和规划效率相比,自主重建隐式和显式表示。实验结果表明,该方法能够规划出信息丰富的视图,重建出高质量的场景。
2022-09-27 cs.RO
Exploring 3D Reasoning-Driven Planning: From Implicit Human Intentions to Route-Aware Activity Planning
针对三维任务规划中隐含意图推理不足和步骤间路径规划缺失的问题,提出三维推理驱动规划任务,构建ReasonPlan3D基准并设计含渐进式生成和动态场景图的框架,实现从隐含指令到多步路径感知规划的推理。
2025-08-03 cs.CV cs.RO
A Thesis on Loco-Manipulation with Non-impulsive Contact-Implicit Planning in a Slithering Robot
Electrical and Computer Engineering(电气与计算机工程学院)
针对蛇形机器人通过运动实现物体操作的问题,本文为 COBRA 提出基于非脉冲式隐式接触路径规划的优化框架,并通过高保真仿真和实验验证其有效性。
2024-05-09 cs.RO
Finding a needle in an exponential haystack: Discrete RRT for exploration of implicit roadmaps in multi-robot motion planning
Tel-Aviv University(特拉维夫大学)
我们提出了一个基于采样的多机器人运动规划框架,它结合了一个隐式表示的路线图与一种新的方法,在几何嵌入式图形中的寻路量身定制我们的设置。我们的寻路算法,离散RRT(dRRT),是一个适应著名的RRT算法的离散情况下的图形,它使一个快速探索的高维配置空间仔细走过一个隐含的表示的张量积的路线图为个人机器人。我们证明了我们的方法实验上的情况下,高达60自由度,我们的算法是由一个因素,至少10倍,我们知道相比,现有的算法。
2014-03-30 cs.RO
Scaling up and Stabilizing Differentiable Planning with Implicit Differentiation
Khoury College of Computer Sciences, Northeastern University(东北大学Khoury计算机科学学院);Institute for Interdisciplinary Information Sciences, Tsinghua University(清华大学交叉信息研究院);Shanghai Qi Zhi Institute(上海期智研究院)
针对可微规划前反向耦合难扩展的问题,提出通过Bellman不动点方程隐式微分VIN及其变体,解耦前后向传播、降低反向成本,在多类规划任务上验证了稳定性与性能优势。
2023-05-01 cs.AI cs.LG cs.RO
Implicit Neural Field-Based Process Planning for Multi-Axis Manufacturing: Direct Control over Collision Avoidance and Toolpath Geometry
Department of Mechanical and Aerospace Engineering, The University of Manchester(机械与航空航天工程系,曼彻斯特大学)
本文提出基于隐式神经场的多轴过程规划框架,通过整合层生成和路径设计,实现碰撞避免和路径几何的直接优化,验证了方法在增材和减材制造中的有效性。
2026-04-20 cs.RO
On the Surprising Robustness of Sequential Convex Optimization for Contact-Implicit Motion Planning
The Hong Kong University of Science and Technology(香港科技大学);Harvard University(哈佛大学)
提出仅关注原始问题的序列凸规划求解器CRISP,通过自适应信赖域和加权惩罚效用函数解决接触隐式运动规划中的互补约束问题,在朴素甚至全零初始化下展现出令人惊讶的鲁棒性。
2025-04-26 cs.RO math.OC
Inspection Planning Primitives with Implicit Models
School of Computing, The Australian National University(澳大利亚国立大学计算学院);Abyss Solutions(Abyss解决方案)
本文提出基于隐式模型的检查规划原语,使基于采样的检查规划器能高效利用神经SDFs表示,减少内存使用并提升规划效率。
2025-10-08 cs.AI cs.RO
Deep Visual Constraints: Neural Implicit Models for Manipulation Planning from Visual Input
TU Berlin(柏林工业大学)
操纵规划是找到一系列机器人配置的问题,这些配置涉及与场景中的对象的交互,例如,抓取和放置物体,或更一般的工具使用。为了实现这样的交互,传统的方法需要手工设计对象表示和交互约束,当考虑复杂的对象/交互时,这很容易变得乏味。受3D建模的最新进展(例如NeRF)的启发,我们提出了一种将对象表示为连续函数的方法,在该连续函数上定义并联合训练约束特征。特别是,所提出的像素对齐表示直接从具有已知相机几何形状的图像中推断,并且自然地充当整个操纵管道中的感知组件,从而仅从视觉输入实现长期规划。项目页面:https://sites.google.com/view/deep-visual-constraints
2022-07-28 cs.RO
Kinetostatic Path Planning for Continuum Robots By Sampling on Implicit Manifold
Georgia Institute of Technology(佐治亚理工学院)
本文针对连续体机器人在外部弹性接触下的路径规划问题,提出在隐式流形上进行准静态规划,并采用AtlasRRT*算法,仿真证明其在成功率和计算效率上优于欧几里得空间规划器。
2023-09-16 cs.RO
Reinforcement Learning-Based Coverage Path Planning with Implicit Cellular Decomposition
LG Electronics(LG电子)
在一个通用的已知环境中的覆盖路径规划被证明是NP难的。当环境未知时,机器人需要依靠在覆盖过程中建立的在线地图信息进行路径规划,因此设计具有合理性能的启发式或近似算法成为一个重要的研究方向。这样的算法在覆盖区域或覆盖成本方面具有次优性能,例如,覆盖时间或能量消耗。在本文中,我们提供了一个系统的分析的覆盖问题,并制定它作为一个最佳的停止时间的问题,覆盖性能和成本之间的权衡明确占。接下来,我们证明了强化学习(RL)技术可以用来解决计算问题。为此,我们提供了一些技术和实际的考虑,以促进RL算法的应用和提高解决方案的效率。最后,通过在网格世界环境和Gazebo模拟器中的实验,我们证明了基于强化学习的算法能够有效地覆盖真实的未知室内环境,并且性能优于当前的最新技术水平。
2021-10-18 cs.AI cs.LG cs.RO
Active Implicit Reconstruction Using One-Shot View Planning
Intel Asia-Pacific Research & Development Ltd.(英特尔亚太研发有限公司)
提出基于隐式表示的单次视角规划(OSVP)方法,通过深度网络直接预测视角集,在有限预算下提升主动物体重建效率与质量。
2024-02-13 cs.RO
Stochastic Implicit Neural Signed Distance Functions for Safe Motion Planning under Sensing Uncertainty
Rice University(莱斯大学)
针对高维机器人在感知不确定性下的安全运动规划问题,提出融合随机符号距离函数隐式神经模型与分层优化规划器的方法,可显式界定风险并在复杂环境中生成安全、高质量路径。
2023-09-28 cs.RO
Loco-Manipulation with Nonimpulsive Contact-Implicit Planning in a Slithering Robot
Northeastern University(东北大学);California Institute of Technology(加州理工学院)
本研究针对蛇形机器人的运动-操作一体化需求,提出基于非脉冲隐式接触路径规划的优化方法,构建数学框架并通过仿真与实验验证了该方法的有效性。
2024-04-12 cs.RO cs.SY eess.SY
Non-impulsive Contact-Implicit Motion Planning for Morpho-functional Loco-manipulation
Northeastern University(东北大学);California Institute of Technology(加州理工学院)
本研究针对蛇形机器人COBRA的运动操作需求,提出基于非脉冲隐式接触路径规划的优化方法,给出数学框架并通过定形侧向滚动的高保真仿真验证了物体操作能力。
2024-04-12 cs.RO cs.SY eess.SY
Motion Planning for Multi-Link Robots by Implicit Configuration-Space Tiling
Tel-Aviv University(特拉维夫大学)
我们研究自由飞行的多连杆机器人的运动规划问题,并开发了一个基于采样的算法,是专门为任务量身定制的。我们的工作是基于一个简单的观察,一组配置的机器人是自碰撞自由是独立的障碍物或机器人的确切位置。这使得在解决运动规划问题时无需在线执行昂贵的自碰撞检查,假设一些离线预处理。特别是,给定一个特定的机器人类型,我们的算法预先计算平铺路线图,有效地和隐式编码的自碰撞自由(子)空间在整个配置空间,后者可以是无限的。为了回答任何查询,在任何给定的场景中,我们遍历平铺路线图,同时只测试与障碍物的碰撞。我们的算法比普遍的范例,其中预先计算的路线图取决于机器人和手头的情况下,建议更多的灵活性。我们通过各种模拟展示了这种方法在开放和封闭链多连杆机器人上的有效性,在某些情况下,我们的算法比最先进的算法快50倍以上。
2015-11-25 cs.RO
Implicit Graph Search for Planning on Graphs of Convex Sets
The Robotics Institute at Carnegie Mellon University(卡内基梅隆大学机器人研究所);the University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对凸集图(GCS)在大规模机器人运动规划中计算慢的问题,提出INSATxGCS和IxG*两种隐式图搜索方法,通过交替图搜索与轨迹优化加速规划并保证完备性与最优性。
2024-10-11 cs.RO
Learning Implicit Sampling Distributions for Motion Planning
GRASP Laboratory, University of Pennsylvania(宾夕法尼亚大学GRASP实验室)
基于采样的运动规划器由于其有效且均匀地探索状态空间的能力而获得了很大的成功。然而,对于许多任务,不均匀地探索状态空间可能更有效,特别是当存在关于其结构的先验信息时。先前的方法尝试使用手工选择的方法来修改采样分布,该方法可以很好地用于特定环境,但不是通用的。本文提出了一种基于策略搜索的方法,作为一种自适应的方式来学习隐式采样分布,为不同的环境。它利用过去在类似环境中搜索的信息,在新环境中生成更好的分布,从而降低整体计算成本。我们的方法可以与各种基于采样的规划器相结合,以提高性能。我们的方法验证了一些任务,包括7自由度的机器人手臂,显示出显着的改进,碰撞检查的数量以及与基线方法相比扩展的节点数。
2018-06-06 cs.RO
Batch Informed Trees (BIT*): Sampling-based Optimal Planning via the Heuristically Guided Search of Implicit Random Geometric Graphs
Carnegie Mellon University(卡内基梅隆大学);Canadian Space Agency(加拿大航天局);Defence Research and Development Canada(加拿大国防研究与发展部);Massachusetts Institute of Technology(麻省理工学院);National Aeronautics and Space Administration(美国国家航空航天局);Northern Centre for Advanced Technology Inc.(北方先进技术中心公司);Ontario Drive and Gear Ltd.(安大略传动与齿轮有限公司);Office of Naval Research(美国海军研究办公室);University of Toronto(多伦多大学);University of Waterloo(滑铁卢大学);University of Toronto Institute for Aerospace Studies(多伦多大学航空航天研究所)
在本文中,我们提出了批通知树(BIT*),规划算法的基础上统一的图形和采样为基础的规划技术。通过认识到一组样本描述了一个隐式随机几何图(RGG),我们能够将基于图的技术(如A*)的有效有序性质与基于采样的算法(如快速探索随机树(RRT))的随时可扩展性相结合。BIT* 使用启发式算法有效地搜索一系列越来越密集的隐式RGG,同时重用以前的信息。它可以被看作是一个扩展的增量图搜索技术,如终身规划A*(LPA*),连续的问题域,以及现有的采样为基础的最优规划。它表明,它是概率完全和渐近最优的。我们演示了BIT* 在$\mathbb{R}^2$和$\mathbb{R}^8$中的模拟随机世界上的实用性,以及CMU的HERB(14自由度双臂机器人)上的操纵问题。在这些问题上,BIT* 比RRT、RRT*、知情RRT* 和快速行进树(FMT*)更快地找到更好的解决方案,并且更快地随时收敛到最优值,特别是在高维中。
2015-08-13 cs.RO
Optimal Trajectory Planning in a Vertically Undulating Snake Locomotion using Contact-implicit Optimization
Department of Electrical and Computer Engineering, Northeastern University(电气与计算机工程系,东北大学);California Institute of Technology(加州理工学院)
针对蛇形机器人垂直起伏运动,提出基于Moreau步进方法的降阶模型,通过接触隐式优化实现最优轨迹规划,并经仿真和实验验证了模型准确性与有效性。
2025-08-04 cs.RO
Neural Trajectory Model: Implicit Neural Trajectory Representation for Trajectories Generation
IDEA(国际数字经济学院);International Digital Economy Academy(国际数字经济学院)
本文首次将单智能体与多智能体轨迹规划问题重构为隐式神经轨迹表示上的查询问题,提出神经轨迹模型(NTM)。该方法在复杂环境中实现亚毫秒级GPU规划时间,几乎避免所有环境与智能体间碰撞并生成最短路径,还能高效修正低质量轨迹并解决多轨迹冲突。
2024-02-11 cs.RO
Enabling Topological Planning with Monocular Vision
Massachusetts Institute of Technology(麻省理工学院)
用于导航的拓扑策略有意义地减少了机器人可用的可能动作的空间,允许使用启发式先验或学习来实现计算效率高的智能规划。在低纹理或高度杂乱的环境中用单目SLAM估计结构的挑战在过去已经排除了其用于拓扑规划。我们提出了一个强大的稀疏地图表示,可以建立单目视觉,克服了这些缺点。使用学习的传感器,我们通过检测稀疏顶点(例如,墙壁的边界)并推理它们之间的结构。我们还估计了地图中已知的自由空间,这是通过以前未知的环境进行规划的必要功能。我们表明,我们的映射技术可以用于真实的数据,是足够的规划和探索模拟多智能体搜索和学习的子目标规划应用程序。
2020-03-31 cs.RO
STAIR: Semantic-Targeted Active Implicit Reconstruction
Institute of Geodesy and Geoinformation, University of Bonn(波恩大学大地测量与地理信息研究所);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习与人工智能研究所)
针对自主机器人主动重建语义目标的需求,提出基于隐式神经表示与语义渲染的规划框架,提升重建质量并优于显式地图方法。
2024-03-17 cs.CV cs.RO
An Open-Source System for Vision-Based Micro-Aerial Vehicle Mapping, Planning, and Flight in Cluttered Environments
ETH Zürich(苏黎世联邦理工学院)
我们提出了一个开源的系统,微型飞行器自主导航基于视觉传感。我们的系统专注于密集的映射,安全的本地规划和全局轨迹生成,特别是在非常混乱的环境中使用窄视场传感器时。此外,详细介绍了系统的其他必要部分和在现实世界中的应用程序的特殊考虑。我们专注于我们的实验,评估全球规划,路径平滑,和本地规划方法的真实地图上的微型飞行器在现实的搜索和救援和工业检测方案。我们还在杂乱的合成环境中进行了数千次模拟,并最终在真实世界的实验中验证了完整的系统。
2020-07-14 cs.RO
Vision-Based Reactive Planning and Control of Quadruped Robots in Unstructured Dynamic Environments
University of Science and Technology of China(中国科学技术大学);Guangdong University of Technology(广东工业大学)
针对四足机器人现有方法难以适配动态部分可观测环境的问题,提出含离线预规划、在线反应调整的V-RPC框架,结合视觉感知实现动态环境下的反应式规划控制。
2023-07-17 cs.RO
ActiveRMAP: Radiance Field for Active Mapping And Planning
The University of Adelaide(阿德莱德大学);InnoPeak Technology, Inc.(InnoPeak科技公司);Monash University(莫纳什大学);Australian National University(澳大利亚国立大学)
通过离线/在线映射方法可以从2D图像的集合实现场景的高质量3D重建。在本文中,我们探讨主动映射的隐式表示,最近在各种应用中产生了引人注目的结果的角度来看。最流行的隐式表示之一-神经辐射场(NeRF),首先使用多层感知器展示了真实感渲染结果,其中有希望的离线3D重建作为辐射场的副产品。最近,研究人员还将这种隐式表示应用于在线重建和定位(即隐式SLAM系统)。然而,将内隐表征用于主动视觉任务的研究还很有限。在本文中,我们特别感兴趣的是应用神经辐射场的主动映射和规划问题,这是紧密耦合的任务,在一个积极的系统。我们,第一次,提出了一个RGB的主动视觉框架,使用辐射场表示的主动三维重建和规划的在线方式。具体来说,我们制定这个联合任务作为一个迭代的两阶段优化问题,我们交替优化的辐射场表示和路径规划。实验结果表明,该方法实现了竞争力的结果相比,其他离线方法和主动重建方法使用NeRFs。
2022-11-23 cs.CV cs.RO
Incremental Adversarial Learning for Optimal Path Planning
Technical University Munich(慕尼黑工业大学);Johns Hopkins University(约翰斯·霍普金斯大学);University of Oxford(牛津大学);Trinity College Dublin(都柏林圣三一学院)
路径规划在机器人技术的许多领域中起着至关重要的作用。已经提出了各种规划技术,无论是专注于学习一个特定的任务,从演示或检索轨迹,通过优化手工制作的成本函数,这是很好地定义了先验。在这项工作中,我们提出了一个基于增量对抗学习的框架,该框架允许推断隐式行为,即一组给定轨迹的自然特征。为了实现对抗性学习,在规划算法和对手之间构建了一个零和博弈。我们在最佳运动规划算法中采用了该方法,从而可以迭代地学习和优化成本,从而改善隐式行为的集成。通过将基于成本的规划方法与经过训练的内在行为相结合,这也可以与其他限制因素(如障碍或一般成本因素)结合在一个单一的规划框架内。我们证明了所提出的方法在数据集上的碰撞避免,以及从运动捕捉数据生成类人轨迹。我们的研究结果表明,增量对抗学习能够生成反映数据集自然隐式行为的路径,并能够使用迭代学习和生成来提高性能。
2018-09-25 cs.RO
APIVOT: Adaptive Planning with Interleaved Vision-Language Thoughts
Stanford University(斯坦福大学)
研究长期机器人规划问题,提出基于VLM的APIVOT规划器,通过自适应交错语言和视觉思维,利用语言语义推理、视觉思维验证几何可行性,在长期厨房任务中表现出色,提升了规划成功率和推理效率。
2026-07-10 cs.AI cs.CV cs.LG
DKPROMPT: Domain Knowledge Prompting Vision-Language Models for Open-World Planning
State Univeristy of New York at Binghamton(纽约州立大学宾汉姆顿分校);Ford Research(福特研究院)
本文提出DKPROMPT框架,利用PDDL领域知识自动化提示VLM,解决开放世界中机器人任务规划问题,在任务完成率上优于经典规划、纯VLM及竞争基线。
2024-06-25 cs.AI cs.RO
Human-Like Implicit Intention Expression for Autonomous Driving Motion Planning: A Method Based on Learning Human Intention Priors
Tongji University(同济大学)
本文提出一种基于人类意图先验和最大熵逆强化学习的自动驾驶运动规划方法,通过构建轨迹空间约束和奖励函数选择类人轨迹,在真实数据集上验证了其在类人程度、意图表达和计算效率上的优势。
2024-09-04 cs.RO
Contact-Implicit Planning and Control for Non-Prehensile Manipulation Using State-Triggered Constraints
Amazon Robotics(亚马逊机器人);Toyota Research Institute(丰田研究院)
我们提出了一种接触隐式规划方法,可以产生接触互动轨迹的非易失性操作问题,没有调整或定制的初始猜测,并具有很高的成功率。这是通过利用状态触发约束(STC)的概念来捕获离散接触模式引起的混合动力学,而无需明确推理的组合。STC使得能够以连续的方式通过严格的不等式条件触发任意约束。我们首先使用STC开发一个自动的接触约束激活方法,以最小化有效的约束空间的基础上的实用程序的接触候选人为一个给定的任务。然后,我们介绍了一个重新制定的库仑摩擦模型的基础上STC的切向力的发现是更有效的比研究互补约束为基础的方法。最后,我们将所提出的摩擦模型应用于准静态平面推进的规划与控制。基于STC的接触激活和摩擦方法的性能进行了评估,通过广泛的模拟实验中的动态推动的情况下。结果表明,我们的方法优于基线的基础上互补约束的规划时间和更高的成功率显着减少。然后,我们比较了拟静态推控制器对基于混合整数规划的方法在仿真中,发现我们的方法是计算更有效,并提供了更好的跟踪精度,与额外的好处,不需要一个初始控制轨迹。最后,我们提出了硬件实验,证明了我们的框架在执行复杂的轨迹实时,即使是低精度的跟踪系统的可用性。
2022-10-18 cs.RO
IVG-UAV: An Intelligent Voice-Guided UAV System for Autonomous Ripe Fruit Harvesting with Vision-Based Classification and Adaptive Path Planning
SUNY Binghamton University(纽约州立大学宾汉姆顿分校)
针对热带大型农场水果采摘依赖人工、成本高的问题,提出IVG-UAV系统,集成语音识别、视觉成熟度分类与自适应路径规划,并在Gazebo中仿真验证,实现自主采摘。
2026-10-08 cs.RO
CSSDF-Net: Safe Motion Planning Based on Neural Implicit Representations of Configuration Space Distance Field
IRMV Lab, Department of Automation, Shanghai Jiao Tong University(IRMV实验室,自动化系,上海交通大学)
本文提出CSSDF-Net,通过学习配置空间中的连续签名距离场,实现统一的安全性几何概念,结合安全约束轨迹优化和递推预测控制,支持零样本泛化和高效避障。
2026-03-19 cs.RO
IMPACT: Intelligent Motion Planning with Acceptable Contact Trajectories via Vision-Language Models
Thomas Lord Department of Computer Science, Viterbi School of Engineering, University of Southern California(托马斯·劳德计算机科学系,维特里比工程学院,南加州大学)
IMPACT通过视觉-语言模型实现高效的接触丰富运动规划,在杂乱环境中优于其他方法。
2026-03-08 cs.AI cs.LG cs.RO
Planning Visual-Tactile Precision Grasps via Complementary Use of Vision and Touch
University of Utah(犹他大学);NVIDIA(英伟达)
对于包括工具使用、插入和灵巧的手内操作在内的许多任务,可靠地规划多指手的指尖抓握是一个关键挑战。当机器人缺乏要抓取的物体的精确模型时,这项任务变得更加困难。触觉感知提供了一种很有前途的方法来解决物体形状的不确定性。然而,目前的机器人手往往缺乏完整的触觉覆盖。因此,出现了如何计划和执行多指手的抓握以使得与触觉传感器覆盖的区域进行接触的问题。为了解决这个问题,我们提出了一种抓取规划的方法,明确的原因,在那里的指尖应该接触估计的物体表面,同时最大限度地提高把握成功的概率。我们的方法的成功的关键是使用视觉表面估计的初始规划编码的接触约束。然后,机器人使用一个模糊反馈控制器执行该计划,该控制器使机器人能够适应物体表面的在线估计,以纠正初始计划中的错误。重要的是,机器人从来没有明确地集成视觉和触觉感知之间的对象姿势或表面估计,而是以互补的方式使用这两种方式。视觉在接触之前引导机器人运动;当接触发生时,触摸更新计划不同于视觉预测。我们表明,我们的方法使用来自单个相机视图的表面估计成功地合成并执行了对以前未见过的物体的精确抓取。此外,我们的方法优于最先进的多指抓取规划器,同时也击败了我们提出的几个基线。
2022-12-16 cs.AI cs.LG cs.RO
Vision and Language: Novel Representations and Artificial intelligence for Driving Scene Safety Assessment and Autonomous Vehicle Planning
University of California, Merced(加州大学默塞德分校);University of California, San Diego(加州大学圣迭戈分校)
本文研究了视觉-语言表示在自动驾驶安全评估和规划中的应用,提出轻量级危险检测、轨迹规划框架整合及自然语言约束方法,强调表示-任务对齐的重要性。
2026-02-18 cs.AI cs.CV cs.LG
Implicit Contact-Rich Manipulation Planning for a Manipulator with Insufficient Payload
Osaka University(大阪大学);National Institute of Advanced Industrial Science and Technology(产业技术综合研究所)
本文使用一个移动机械手与协作机器人手臂操纵物体超过机器人的最大有效载荷。提出了一种基于单次概率路径图的环境支持下的操作运动规划和优化方法。该方法使用扩展的对象网格模型来检查接触,并随机探索对象运动,同时保持接触并确保负担得起的抓握力。它使用基于优化的算法获得对象运动后生成机器人运动轨迹。在所提出的方法的帮助下,我们可以计划接触丰富的操作,而无需特别分析对象的接触模式及其过渡。规划器和优化器自动确定它们。我们进行了实验和分析,使用模拟和现实世界的执行,以检查该方法的性能。它可以成功找到满足接触、力和运动学约束的操作运动,从而允许移动机械手移动重物,同时利用环境障碍物的支撑力。该方法不需要显式地分析接触状态和建立接触转移图,为机器人的无抓取操作、无接触操作和有接触操作等提供了新的视角。
2023-02-26 cs.RO