RDD: Retrieval-Based Demonstration Decomposer for Planner Alignment in Long-Horizon Tasks
University of California, Riverside(加州大学河滨分校);University of Michigan(密歇根大学);Meta AI
针对长时程任务中启发式子任务分解与低层策略不匹配的问题,提出基于检索的演示分解器RDD,通过对齐视觉特征自动分解演示,在仿真和真实任务上超越现有方法。
2025-10-16 cs.AI cs.CV cs.LG
Distilling Motion Planner Augmented Policies into Visual Control Policies for Robot Manipulation
University of Southern California(南加州大学)
在现实的,有障碍的环境中学习复杂的操作任务是一个具有挑战性的问题,由于困难的探索存在的障碍和高维视觉观察。先前的工作通过整合运动规划和强化学习来解决探索问题。然而,运动规划器增强策略需要访问状态信息,这在现实世界的设置中通常是不可用的。为此,我们建议通过以下方式将基于状态的运动规划器增强策略提取为视觉控制策略:(1)视觉行为克隆,以去除运动规划器依赖性及其抖动运动,以及(2)基于视觉的强化学习,并在行为克隆代理的平滑轨迹的指导下。我们评估我们的方法在三个操作任务在障碍环境中,并比较它与各种强化学习和模仿学习基线。结果表明,我们的框架是高度采样效率和优于国家的最先进的算法。此外,再加上域随机化,我们的政策是能够zero-shot转移到看不见的环境设置与干扰。代码和视频可在https://clvrai.com/mopa-pd上获得
2021-11-11 cs.AI cs.LG cs.RO
Compositional Learning-based Planning for Vision POMDPs
UC Berkeley(加州大学伯克利分校);CU Boulder(科罗拉多大学博尔德分校);Google Research(谷歌研究院)
部分可观测马尔可夫决策过程(POMDP)是一个强大的框架,用于捕获涉及状态和转移不确定性的决策问题。然而,大多数当前POMDP规划者不能有效地处理现实世界应用中普遍存在的高维图像观测,并且通常需要与环境交互的冗长的在线培训。在这项工作中,我们提出了视觉树搜索(VTS),组合学习和规划过程,结合生成模型离线学习与在线基于模型的POMDP规划。深度生成观测模型评估蒙特卡罗树搜索规划器中的可能性并预测未来图像观测。我们证明了VTS对训练过程中不存在的不同类型的图像噪声具有鲁棒性,并且可以适应不同的奖励结构,而无需重新训练。这种新方法显著且稳定地优于几种基线最先进的视觉POMDP算法,同时使用一小部分训练时间。
2022-12-03 cs.AI cs.LG cs.RO
Depth-Wise Probing and Pruning of the Planning Token in a Driving Vision-Language-Action Model
Robert Bosch GmbH(罗伯特·博世有限公司);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本文针对驾驶 VLA 模型的规划 token,通过探测其 32 个解码器层的信号并剪枝部分层,在误差小幅增加下实现 1.33 倍解码器加速,验证了规划信息早期存在但格式适配问题。
2026-08-10 cs.CV cs.RO
VAMOS: A Hierarchical Vision-Language-Action Model for Capability-Modulated and Steerable Navigation
University of Washington(华盛顿大学);DEVCOM ARL
VAMOS提出分层视觉-语言-动作模型,解耦语义规划与具身基础,通过专家可供性模型评估路径,实现跨具身导航,提升成功率3倍。
2025-10-23 cs.AI cs.LG cs.RO
Slow Brain, Fast Planner: Latency-Resilient VLM-Augmented Urban Navigation
Amazon FAR(亚马逊 FAR);UCLA(加州大学洛杉矶分校);Independent(独立);Zhejiang University(浙江大学)
针对移动机器人在人行道导航中轨迹评分差距问题,提出一种无需训练的延迟鲁棒轨迹级融合层,利用VLM选择候选轨迹并与规划器输出融合,在挑战场景下降低ADE 30%。
2026-06-19 cs.RO
Atomic Action Slicing: Planner-Aligned Options for Generalist VLA Agents
Sofia University 'St. Kliment Ohridski(索菲亚大学 '圣克莱门特·欧里基斯基');Technical University of Sofia(索菲亚技术大学);EEMCS, University of Twente(EEMCS,特文特大学);GATE Institute, Sofia University 'St. Kliment Ohridski(GATE研究所,索菲亚大学 '圣克莱门特·欧里基斯基')
本文提出原子动作切片方法,通过分解长周期演示为短的原子动作,提升VLA代理的任务成功率,并公开发布相关数据集。
2025-12-12 cs.AI cs.LG cs.RO
TANDEM: Task and Motion Planning with As-Needed Demonstrations for Efficient Vision-Language-Action Model Fine-tuning
Stanford University(斯坦福大学);Princeton University(普林斯顿大学)
TANDEM结合任务与运动规划与按需人类演示,扩展规划域并高效收集演示,微调VLA模型,使五个长时程任务平均成功率从0%提升至60%。
2026-09-24 cs.RO
Geo-VLA: Geometry-Aware Vision-Language-Action Planning via Internalization of Map Semantics
该研究针对VLA模型在复杂驾驶场景中规划性能不足的问题,提出可即插即用的Geo-VLA框架,结合自研Geo-QA数据集,在NAVSIM v1上实现单目VLA规划器的新SOTA。
2026-08-25 cs.AI cs.RO
ExploreVLM: Closed-Loop Robot Exploration Task Planning with Vision-Language Models
State Key Laboratory of Industrial Control Technology(工业控制技术国家重点实验室);Institute of Cyber-Systems and Control(网络系统与控制研究所);Zhejiang University(浙江大学);Zhejiang Humanoid Robot Innovation Center Co., Ltd.(浙江人形机器人创新中心有限公司)
本文提出ExploreVLM闭环框架,通过自反思双阶段规划器、对象中心空间关系图和执行验证器,解决VLM在机器人探索任务中交互性、感知精度与实时调整不足的问题,实验证明其显著优于现有基线。
2025-08-16 cs.RO
Quantity over Quality: Training an AV Motion Planner with Large Scale Commodity Vision Data
Woven Planet United Kingdom Limited(Woven Planet英国有限公司)
随着自动驾驶汽车(AV)行业转向机器学习方法进行运动规划,自动驾驶系统的性能开始严重依赖于大量的专家驾驶演示。然而,收集这些演示数据通常涉及昂贵的高清传感器套件(LiDAR + RADAR +摄像头),在所需的规模下,这在经济上很快变得不可行。这促使使用商品传感器,如用于数据汇集的相机,其比HD传感器套件便宜一个数量级,但提供较低的保真度。利用这些传感器来训练AV运动规划器打开了一条经济上可行的路径来观察驾驶事件的“长尾”。作为我们的主要贡献,我们表明,它是可能的训练一个高性能的运动规划器使用商品的视觉数据,优于规划者训练的HD传感器数据的一小部分的成本。据我们所知,我们是第一个使用真实世界数据证明这一点的人。我们比较了这两种不同传感器配置的自主系统的性能,并表明我们可以通过增加数量来补偿较低的传感器保真度:在100小时的商品视觉数据上训练的规划者优于25小时昂贵的高清数据。我们还分享了为实现这一目标而必须解决的工程挑战。
2022-10-14 cs.LG cs.RO
DriveWorld-VLA: Unified Latent-Space World Modeling with Vision-Language-Action for Autonomous Driving
School of Computer Science(计算机科学学院);Beijing Key Laboratory of Traffic Data Mining(交通数据挖掘重点实验室);Beijing Jiaotong University(北京交通大学)
DriveWorld-VLA通过统一视觉-语言-动作与潜在空间世界建模,提升自动驾驶中的决策与前瞻性想象能力。
2026-02-06 cs.CV cs.RO
Towards real-world navigation with deep differentiable planners
Visual Geometry Group(视觉几何组);University of Oxford(牛津大学)
我们训练具体的神经网络来规划和导航看不见的复杂3D环境,强调现实世界的部署。规划者不需要代理或环境的先验知识,而是学习对状态转换和奖励进行建模。为了避免强化学习潜在的危险试错,我们专注于可区分的规划器,如价值迭代网络(VIN),它是从安全专家演示中离线训练的。虽然它们在小型模拟中工作得很好,但我们解决了阻碍其部署的两个主要限制。首先,我们观察到,目前的差异化规划者很难在具有高分支复杂性的环境中进行长期规划。虽然理想情况下,它们应该学会为障碍物分配较低的奖励以避免碰撞,但我们认为,对网络施加的约束不够强,无法保证网络能够为每一个可能的碰撞学习足够大的惩罚。因此,我们对值迭代施加了一个结构性约束,它显式地学习对任何不可能的行为进行建模。其次,我们扩展了该模型的工作与有限的透视相机下的平移和旋转,这是真正的机器人部署的关键。许多类似VIN的规划师假设360度或俯视图没有旋转。相比之下,我们的方法使用内存高效的晶格映射来聚合部分观测的CNN嵌入,并使用3D状态空间网格(平移和旋转)显式地对旋转动力学进行建模。我们的建议显着提高语义导航和探索几个2D和3D环境,成功的设置,否则这类方法的挑战。据我们所知,我们是第一个成功地在困难的主动视觉数据集上执行可微规划的公司,该数据集由从机器人捕获的真实图像组成。
2022-06-02 cs.AI cs.CV cs.LG
LEARN: Learning End-to-End Aerial Resource-Constrained Multi-Robot Navigation
University of Southern California(美国南加州大学)
LEARN通过轻量级强化学习框架实现多无人机在复杂环境中的高效导航,相比现有方法在资源利用和性能上均有显著提升。
2025-11-21 cs.LG cs.MA cs.RO
DATAFARM: Distribution-Aligned Task and Motion Planning for Fine-Tuning Vision-Language-Action Models
Stanford University(斯坦福大学);Princeton University(普林斯顿大学)
针对TAMP生成的轨迹与VLA预训练数据分布不匹配的问题,提出DATAFARM方法,在关节配置、运动风格和时间轮廓上对齐分布,显著提升微调效果,平均成功率从8.3%提升至56.7%,接近人类遥操作。
2026-09-14 cs.RO
HiST-VLA: A Hierarchical Spatio-Temporal Vision-Language-Action Model for End-to-End Autonomous Driving
Bosch Corporate Research(博世企业研究);School of Communication and Information Engineering(信息工程学院)
HiST-VLA通过分层时空视觉-语言-动作模型提升自动驾驶轨迹生成的精度与效率,实现端到端的自动驾驶系统。
2026-02-11 cs.AI cs.CV cs.RO
Online Self-Training for Co-Adaptation in Hierarchical Diffusion Policies
ISIR, Sorbonne Université, CNRS(ISIR,索邦大学,国家科学研究中心)
提出ORCHID自训练框架,通过环境反馈过滤轨迹并蒸馏回规划器和控制器,实现层次扩散策略的在线稳定改进,在CALVIN基准上轻量模型超越纯离线方法。
2026-06-09 cs.RO
Vision-Guided Outdoor Flight and Obstacle Evasion via Reinforcement Learning
College of Engineering, Department of Electrical Engineering and Computer Science, University of California Berkeley(加州大学伯克利分校工程学院电气工程与计算机科学系)
提出一种基于立体视觉深度和视觉惯性里程计的传感器运动策略,通过强化学习和特权学习在仿真中训练,实现零样本迁移到未知户外环境和无人机平台进行自主避障导航。
2026-05-23 cs.LG cs.RO
ThermoAct:Thermal-Aware Vision-Language-Action Models for Robotic Perception and Decision-Making
Dongguk University(东国大学)
本文提出一种融合热信息的视觉-语言-动作框架,通过高阶规划器解析自然语言指令并分解为子任务,提升机器人复杂操作的执行效率与安全性。
2026-10-23 cs.RO
Grounding Classical Task Planners via Vision-Language Models
SUNY Binghamton(纽约州立大学宾汉姆顿分校);Ford Motor Company(福特汽车公司)
本研究提出TPVQA框架,利用视觉语言模型连接经典规划器的符号状态与机器人感官观察,以检测动作失败并验证可行性,从而提升服务机器人的任务完成率。
2023-06-19 cs.RO
Large Video Planner Enables Generalizable Robot Control
MIT(麻省理工学院);UC Berkeley(加州大学伯克利分校);Harvard(哈佛大学)
本文提出利用大规模视频预训练构建通用机器人基础模型,通过生成视频计划实现跨任务和环境的泛化控制,并在真实机器人上验证了其可行性。
2026-05-08 cs.CV cs.RO
ForeAct: Steering Your VLA with Efficient Visual Foresight Planning
MIT(麻省理工学院);NVIDIA(英伟达);Caltech(加州理工学院)
ForeAct通过高效的视觉前瞻性规划提升VLA在开放环境中的执行精度与泛化能力。
2026-02-12 cs.AI cs.RO
What Matters in Orchestrating Robot Policies: A Systematic Study of Hierarchical VLA Agents
Google DeepMind(谷歌DeepMind)
系统研究分层视觉-语言-动作(Hi-VLA)系统的设计原则,通过统一框架分析规划器、控制器及接口机制对短时、长时及推理密集型任务性能的影响,提出构建更强健分层VLA智能体的实用原则。
2026-09-09 cs.AI cs.LG cs.RO
Decoupling Planning and Control for Instructable Agents
UC Berkeley(加州大学伯克利分校);UBC(不列颠哥伦比亚大学);Google DeepMind(谷歌DeepMind)
本研究提出Instruct-to-Act系统,将VLM规划器与世界模型控制器解耦,在七个具身环境中验证其性能优于仅控制器、直接VLM动作生成等基线,可替换VLM规划器且保持快速控制。
2026-08-28 cs.AI cs.CL cs.MA
Diffusion Model is an Effective Planner and Data Synthesizer for Multi-Task Reinforcement Learning
Shanghai Jiao Tong University(上海交通大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Fudan University(复旦大学);Yale University(耶鲁大学);Northwestern Polytechnical University(西北工业大学)
本研究提出多任务扩散模型(MTDiff),结合Transformer和提示学习,用于多任务离线强化学习的生成式规划与数据合成,在Meta-World和Maze2D上超越现有方法,并能基于单演示生成高质量数据以增强低质量数据集。
2023-10-10 cs.AI cs.LG
Contextual Graph Representations for Task-Driven 3D Perception and Planning
本文研究了现有具身AI环境在机器人任务规划与3D场景图交集中的适用性,构建了评估现有经典规划器的基准,并探索图神经网络在规划领域关系结构不变性中的应用。
2026-03-12 cs.AI cs.CV cs.LG
Learning a Vision-Based Footstep Planner for Hierarchical Walking Control
General Robotics, Automation, Sensing and Perception (GRASP) Laboratory(通用机器人、自动化、传感与感知实验室)
提出基于视觉的分层控制框架,集成强化学习高层落脚点规划器与低层操作空间控制器,利用角动量线性倒立摆模型降低状态复杂度,并在Cassie机器人上验证了其在复杂地形行走的有效性。
2025-08-09 cs.RO
A Joint Modeling of Vision-Language-Action for Target-oriented Grasping in Clutter
Zhejiang University(浙江大学)
针对杂乱场景下语言条件抓取现有方法依赖手工规则、泛化性差的问题,提出视觉-语言-动作联合建模方法,利用预训练模型先验提升样本效率,在仿真和真实场景中实现了更高成功率与更好的泛化能力。
2024-10-31 cs.RO
DreamPlan: Efficient Reinforcement Fine-Tuning of Vision-Language Planners via Video World Models
USC Physical Superintelligence Lab(USC物理超智能实验室);Toyota Research Institute(丰田研究院)
DreamPlan通过视频世界模型高效强化微调视觉语言规划器,利用零样本VLM生成探索数据训练动作条件视频生成模型,再通过ORPO在虚拟环境中微调VLM,提升物体 manipulation 成功率。
2026-03-17 cs.RO
VP-VLA: Visual Prompting as an Interface for Vision-Language-Action Models
HKUST(香港科技大学);CUHK(香港大学);SmartMore(SmartMore公司)
VP-VLA通过结构化视觉提示接口解耦高层推理与低层执行,提升空间精度和鲁棒性,实验证明优于现有端到端基线。
2026-05-09 cs.RO
Acting While Understanding: Asynchronous Semantic-Action Decoupling for Real-Time Vision-Language-Action Models
Northeastern University(东北大学);Ising AI;CUHK-Shenzhen(香港中文大学(深圳))
提出异步语义-动作解耦框架,分离VLAs中的语义理解与动作生成,通过低频率语义更新和高频率动作推理实现高频闭环控制,在LIBERO和真实机器人上验证了高达35.6Hz的动作模块吞吐率。
2026-06-16 cs.RO
Topology-Informed Visual Prompting For Vision Language Action Policies
University of Michigan(密歇根大学)
提出拓扑引导的视觉提示框架,利用仿真规划和拓扑签名增强VLA策略,在复杂障碍物操控任务中优于基线,硬件成功率提升40%。
2026-09-22 cs.RO
SwitchVLA: Execution-Aware Task Switching for Vision-Language-Action Models
Beijing Innovation Center of Humanoid Robotics(北京人形机器人创新中心)
SwitchVLA提出执行感知的统一框架,将任务切换建模为以执行状态和指令上下文为条件的行为调制问题,通过接触阶段分割与多行为条件策略实现无需外部规划器的流畅任务切换,在仿真与真实机器人操作中优于先前VLA基线。
2025-06-04 cs.RO
Token-Wise Latent Streaming from Slow Reasoners to Fast Planners for Dynamic Vision Language Navigation
The Hong Kong University of Science and Technology(香港科技大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));National University of Singapore(新加坡国立大学);Zhejiang University(浙江大学)
针对动态视觉语言导航中语言推理慢与规划需即时的矛盾,提出SPARK-VLN双系统框架,通过三个模块将慢速VLM推理器知识流到快速规划器,引入新基准套件,提高了导航成功率、社会合规性及推理效率。
2026-07-21 cs.RO
Evolving Graphical Planner: Contextual Global Planning for Vision-and-Language Navigation
Princeton University(普林斯顿大学)
执行有效规划的能力对于构建预防跟踪代理至关重要。当在一个新的环境中导航时,智能体面临的挑战是:(1)将自然语言指令与其逐渐增长的世界知识联系起来;(2)以有效探索和纠错的形式执行长期规划和决策。尽管作出了广泛的努力,但目前的方法在这两个方面仍然有限。在本文中,我们介绍了不断发展的图形规划(EGP),一个模型,进行全球规划的基础上原始的感官输入导航。该模型动态地构造一个图形表示,概括的行动空间,以允许更灵活的决策,并执行有效的规划代理图表示。我们使用真实感图像在具有挑战性的视觉和语言导航(VLN)任务中评估了我们的模型,并实现了与之前的导航架构相比更优越的性能。例如,我们通过纯粹的模仿学习在房间到房间导航任务的测试分割上实现了53%的成功率,比之前的导航架构高出5%。
2020-07-11 cs.AI cs.CV cs.RO
Learning to Initialize Trajectory Optimization for Vision-Based Autonomous Flight in Unknown Environments
提出NEO-Planner,利用神经网络规划器直接从原始传感器观测预测时空参数,为轨迹优化提供知情初始值,减少计算时间并保持轨迹质量,适用于未知环境中的自主无人机导航。
2025-08-08 cs.AI cs.RO
PAPO-VLA: Planning-Aware Policy Optimization for Vision-Language-Action Models
Institute of Software Chinese Academy of Sciences(软件研究所中国科学院);University of Chinese Academy of Sciences(中国科学院大学)
本文提出PAPO-VLA,一种针对视觉-语言-动作模型的规划感知策略优化方法,通过识别和优化规划动作以提高VLA策略的可靠性。
2026-05-19 cs.RO
HiMe: Hierarchical Embodied Memory for Long-Horizon Vision-Language-Action Control
Fudan University(复旦大学);Shanghai Innovation Institute(上海创新研究院);East China Normal University(华东师范大学)
针对视觉-语言-动作模型处理非马尔可夫任务的不足,提出HiMe分层具身记忆框架,解耦智能为高频执行器等,引入动态知识系统,平衡实时执行与思考规划冲突,提升长距离任务成功率。
2026-07-07 cs.AI cs.RO
VLN on the Fly: An Onboard Vision-Language Navigation Stack for Aerial Robots
University of São Paulo (USP)(圣保罗大学)
针对空中机器人机载视觉语言导航的挑战,提出VLN on the Fly模块化栈,分离接地、规划与控制,在15次飞行中13次成功,平均误差5.72厘米。
2026-10-27 cs.AI cs.CV cs.LG
Three-Step Nav: A Hierarchical Global-Local Planner for Zero-Shot Vision-and-Language Navigation
University of Southern California(南加州大学);NVIDIA Research(NVIDIA研究)
本文提出三步导航方法,通过全局-局部分层规划解决零样本视觉-语言导航中的漂移和低成功率问题,无需梯度更新或微调,实现最先进的性能。
2026-07-07 cs.CV cs.RO
DexGraspVLA: A Vision-Language-Action Framework Towards General Dexterous Grasping
针对机器人灵巧抓取泛化受限问题,提出分层框架DexGraspVLA,结合预训练视觉-语言模型(高层规划)与扩散动作控制器(低层执行),实现语言引导的通用灵巧抓取泛化,在未见场景达90%+成功率并支持长程指令等扩展能力。
2025-11-15 cs.AI cs.RO
Active Robot Vision for Distant Object Change Detection: A Lightweight Training Simulator Inspired by Multi-Armed Bandits
University of Fukui(福井大学)
针对无地图导航检测远处物体变化成本过高的问题,提出一种受多臂老虎机启发的轻量级训练模拟器与分层行动规划器,通过单次真实行程经验即可高效评估主动视觉框架的可行性,并在“沙发作为书架”场景中验证了其有效性。
2023-10-24 cs.RO
A Unified Framework for Real-Time Failure Handling in Robotics Using Vision-Language Models, Reactive Planner and Behavior Trees
Lund University(隆德大学);KTH Royal Institute of Technology(瑞典皇家理工学院);ABB Robotics(ABB机器人公司)
针对机器人系统故障恢复适应性差的问题,提出结合VLM、反应式规划器与行为树的统一框架,含执行前验证与反应式处理,经真实与仿真实验验证,成功率与适应性更优。
2025-03-21 cs.AI cs.RO
Stereo-Planner: Learning Stereo-to-Trajectory Planning for Zero-Shot Sim-to-Real Quadrotor Navigation
School of Electrical and Electronic Engineering, Nanyang Technological University(南洋理工大学电气与电子工程学院);School of Electrical and Information Engineering, Tianjin University(天津大学电气与信息工程学院)
本研究提出Stereo-Planner框架,通过结合预训练视觉基础模型与交错注意力机制,实现零样本仿真到真实场景的四旋翼无人机导航,在仿真与真实环境中均展现出良好性能。
2026-11-18 cs.RO
HumanDiffusion: A Vision-Based Diffusion Trajectory Planner with Human-Conditioned Goals for Search and Rescue UAV
Skolkovo Institute of Science and Technology(斯克尔科沃科学与技术研究院)
HumanDiffusion通过基于视觉的扩散规划实现无人机在紧急情况中的人类意识导航,具备轻量级、高安全性和高效率的特点。
2026-01-23 cs.AI cs.RO
World-aware Planning Narratives Enhance Large Vision-Language Model Planner
Fudan University(复旦大学);Shanghai Innovation Institute(上海创新研究院);Shanghai AI Laboratory(上海人工智能实验室)
本文提出世界感知规划叙事增强框架WAP,通过四种认知能力为LVLMs注入环境理解,在EB-ALFRED上使Qwen2.5-VL任务成功率大幅提升,并超越GPT-4o等专有模型。
2025-07-02 cs.AI cs.RO
MaP-AVR: A Meta-Action Planner for Agents Leveraging Vision Language Models and Retrieval-Augmented Generation
Li Auto
MaP-AVR通过元动作规划和检索增强生成技术,提升机器人在复杂环境中的任务规划能力。
2025-12-22 cs.RO
FM-Planner: Foundation Model Guided Path Planning for Autonomous Drone Navigation
School of Mechanical and Aerospace Engineering, Nanyang Technological University(机械与航空航天工程学院,南洋理工大学)
本文提出FM-Planner,利用基础模型(LLM和VLM)引导无人机路径规划,通过仿真基准测试和真实实验验证其可行性,为自主导航提供实际实现。
2025-05-27 cs.AI cs.RO
Learning to Navigate: Exploiting Deep Networks to Inform Sample-Based Planning During Vision-Based Navigation
Georgia Institute of Technology(佐治亚理工学院)
最近将深度学习应用于导航已经产生了端到端导航解决方案,由此视觉传感器输入被映射到控制信号或运动基元。由此产生的视觉导航策略在避免碰撞方面工作得非常好,并且在实时操作时具有与传统反应式导航算法相匹配的性能。公认的是,这些解决方案不能提供与全球规划者相同的性能水平。然而,目前尚不清楚如何将这种端到端系统集成到完整的导航管道中。我们在完整的导航管道中评估典型的端到端解决方案,以暴露其弱点。这样做阐明了如何更好地将深度学习方法集成到导航管道中。特别是,我们表明,它们是一种有效的手段,提供知情的样本为基础的规划。控制仿真与传统的规划器比较表明,样本的数量可以减少一个数量级,同时保持导航性能。在移动机器人上的实现与模拟的性能结果相匹配。
2018-01-16 cs.RO
EV-Planner: Energy-Efficient Robot Navigation via Event-Based Physics-Guided Neuromorphic Planner
Purdue University(普渡大学)
提出EV-Planner,结合事件相机与物理引导神经网络,利用浅层SNN检测目标并预测最优飞行时间,实现无人机节能避障导航。
2024-01-03 cs.RO
Probably Approximately Correct Vision-Based Planning using Motion Primitives
Princeton University(普林斯顿大学)
本文提出了一种学习基于视觉的规划器的方法,该方法可证明地推广到新的环境(即,在训练中看不到的环境)。我们利用可能近似正确(PAC)贝叶斯框架,以获得在所有环境中的政策的预期成本的上限。因此,最小化PAC-Bayes上限可以训练伴随着新环境性能证书的策略。我们提出的训练管道为深度神经网络策略提供了强有力的泛化保证,方法是:(a)使用进化策略(ES)在策略空间上获得良好的先验分布,然后(b)将PAC-Bayes优化公式化为有效可解的参数凸优化问题。我们证明了我们的方法产生强大的泛化保证学习基于视觉的运动规划的有效性,通过两个模拟的例子:(1)无人机(UAV)导航障碍领域与板载视觉传感器,和(2)一个动态的四足机器人穿越粗糙的地形与本体感受和外感受传感器。
2020-11-10 cs.LG cs.RO cs.SY
Haptic search with the Smart Suction Cup on adversarial objects
University of California Santa Cruz(加州大学圣克鲁兹分校);University of California Berkeley(加州大学伯克利分校)
本文提出智能吸盘,利用内部流量测量进行触觉搜索,在视觉规划器失效的对抗性物体场景下将抓取成功率提高最多2.5倍,并验证了流量对运动方向的准确预测能力。
2024-01-16 cs.RO
Semantic Mechanical Search with Large Vision and Language Models
AUTOLab at the University of California, Berkeley(加州大学伯克利分校AUTOLab实验室);Google Brain(谷歌大脑)
移动物体以寻找完全遮挡的目标物体,称为机械搜索,是机器人技术中的一个具有挑战性的问题。由于对象通常是语义组织的,我们推测,对象关系的语义信息可以促进机械搜索,减少搜索时间。大型预训练的视觉和语言模型(VLM和LLM)在推广到不常见的对象和以前看不见的现实世界环境方面表现出了希望。在这项工作中,我们提出了一个新的框架,称为语义机械搜索(SMS)。SMS进行场景理解并使用LLM显式地生成语义占用分布。与依赖于CLIP嵌入提供的视觉相似性的方法相比,SMS利用了LLM的深度推理能力。与之前使用VLM和LLM作为端到端规划器的工作不同,SMS可以作为下游操作或导航策略的插件语义模块,这可能无法与专门的几何规划器很好地集成。对于机械搜索在封闭世界的设置,如货架上,我们比较了基于几何规划,并表明,短信提高机械搜索性能的24%,在模拟药房,厨房和办公室域和47.1%的物理实验。对于开放世界的真实环境,SMS可以产生更好的语义分布相比,基于CLIP的方法,与下游的导航策略,以改善对象导航任务的潜力。代码、数据、视频和附录可供使用:https://sites.google.com/view/semantic-mechanical-search
2023-10-30 cs.RO
ViT-A*: Legged Robot Path Planning using Vision Transformer A*
University College London(伦敦大学学院)
针对四足机器人在复杂环境中的导航问题,提出利用可微分规划器结合视觉Transformer(ViT)进行地图预处理,实现端到端全局路径规划,并在Spot和Go1机器人上验证了其有效性。
2023-10-11 cs.RO