Towards Camera Open-set 3D Object Detection for Autonomous Driving Scenarios
ZILab
OS-Det3D通过两阶段框架提升自动驾驶中相机3D目标检测器对未知对象的发现与识别能力,同时提升已知对象的检测性能。
2026-03-01 cs.AI cs.CV
PRISM: Predictive Representation of Interaction Style and Motion for Social Robot Navigation
National Chung Hsing University(国立中兴大学);Toyota Technological Institute(丰田工业大学)
PRISM通过被动观察推断行人交互特质,利用序数潜在空间和时间稳定性评分,在人群导航中降低碰撞率并小幅提升效率。
2026-09-17 cs.CV cs.RO
X-NavDP: Generalizing Navigation Diffusion Policy to Novel Behavior and Embodiments with Group Q-score Reweighted Matching
Fudan University(复旦大学);Shanghai AI Laboratory(上海人工智能实验室);Sun Yat-sen University(中山大学);Tsinghua University(清华大学)
该研究针对导航扩散策略泛化性不足的问题,提出GQRM框架对X-NavDP进行后训练,大幅提升了跨实体视觉导航的模拟与现实场景成功率。
2026-08-12 cs.RO
R-FCN-3000 at 30fps: Decoupling Detection and Classification
University of Maryland(马里兰大学);Fudan University(复旦大学);Gobasco AI Labs(Gobasco人工智能实验室)
我们提出了R-FCN-3000,一个大规模的实时对象检测器,其中对象检测和分类解耦。为了获得RoI的检测分数,我们将对象分数与细粒度分类分数相乘。我们的方法是一个修改的R-FCN架构中,位置敏感的过滤器共享不同的对象类执行本地化。对于细粒度分类,不需要这些位置敏感的过滤器。R-FCN-3000在ImageNet检测数据集上获得了34.9%的mAP,在每秒处理30张图像的情况下,性能优于YOLO-9000 18%。我们还表明,R-FCN-3000学习到的对象可推广到新的类,并且性能随着训练对象类的数量而增加-支持可以学习通用对象检测器的假设。代码将提供。
2017-12-05 cs.CV
TRAVEL: Training-Free Retrieval and Alignment for Vision-and-Language Navigation
George Mason University(乔治·马歇尔大学)
提出免训练模块化 VLN 方法 TRAVEL,利用 LLM 提取地标、检索并生成候选路径,再通过 VLM 匹配与动态规划对齐,在 R2R-Habitat 上优于语义地图方法。
2025-06-09 cs.AI cs.CL cs.CV
Score refinement for confidence-based 3D multi-object tracking
University of Tübingen(蒂宾根大学)
多目标跟踪是自主导航中的一个重要组成部分,因为它为决策提供了有价值的信息。许多研究人员通过过滤逐帧3D检测来解决3D多目标跟踪任务;然而,他们的重点主要是寻找有用的特征或适当的匹配度量。我们的工作集中在跟踪系统的一个被忽视的部分:分数细化和tracklet终止。我们表明,操纵的分数取决于时间的一致性,而终止的tracklet取决于tracklet分数提高跟踪结果。我们通过使用分数更新函数增加匹配的tracklet的分数并减少不匹配的tracklet的分数来做到这一点。与基于计数的方法相比,当在不同的数据集上利用各种检测器和过滤算法时,我们的方法始终产生更好的AMOTA和MOTA分数。AMOTA评分提高1.83分,MOTA评分提高2.96分。我们还使用我们的方法作为后期融合集成方法,它比基于投票的集成方法表现更好。它在nuScenes测试评估中获得了67.6的AMOTA评分,与其他最先进的跟踪器相当。代码可在以下网址公开获取:\url{https://github.com/cogsys-tuebingen/CBMOT}。
2021-07-09 cs.CV cs.RO
Bird's-Eye-View Scene Graph for Vision-Language Navigation
Zhejiang University(浙江大学)
针对全景观测限制三维几何感知的问题,本文提出 BEV Scene Graph,通过局部 BEV 与全局拓扑场景图联合决策,在多个 VLN 基准上取得最优性能。
2023-08-12 cs.AI cs.CV
GroundControl: Anticipating Navigation Failures in Vision-Language Agents via Trajectory-Consistent Uncertainty Estimates
University of Illinois at Chicago (UIC)(伊利诺伊大学芝加哥分校)
提出轨迹一致的不确定性估计方法GroundControl,通过卡尔曼滤波建模距离变化并结合轨迹特征,有效预测导航失败,在选择性风险-覆盖评估中优于基线。
2026-06-19 cs.RO
OpenBelief-Nav: Evidence-Preserving Object Memory for Open-Vocabulary Language-Guided Navigation
VinMotion, Inc.(VinMotion公司);University of Southern California(南加利福尼亚大学)
该研究针对开放词汇语言引导导航的对象记忆缺陷,提出OpenBelief-Nav模型,保留多源证据并支持灵活读出,在多数据集导航任务中优于基线方法,修正策略可提升目标确认成功率。
2026-08-17 cs.CV cs.RO
Fast Human Attention Prediction for Fixation-guided Active Perception in Autonomous Navigation
Norwegian University of Science and Technology (NTNU)(挪威科技大学)
提出GazeLNN,一种基于液态神经网络和MobileNetV3的轻量级扫描路径预测模型,在MIT低分辨率数据集上达到最优性能,计算成本降低99.40%,推理速度提升6倍,并集成到强化学习训练的主动相机-机器人控制策略中,实现自主导航中的注视引导感知。
2026-06-19 cs.CV cs.RO
WildOS: Open-Vocabulary Object Search in the Wild
Jet Propulsion Laboratory(喷气推进实验室);California Institute of Technology(加州理工学院);Swiss Federal Institute of Technology(瑞士联邦理工学院);ETH Zürich(苏黎世联邦理工学院);FieldAI Inc.(FieldAI公司);Stanford University(斯坦福大学);University of California Berkeley(加州大学伯克利分校)
WildOS通过结合安全几何探索与语义视觉推理,实现野外环境中的开放词汇物体搜索,显著提升导航效率和自主性。
2026-11-02 cs.CV cs.RO
ENCP: Episode-Normalized Conformal Prediction for Vision-and-Language Navigation
Monash University, Indonesia(蒙纳士大学印度尼西亚校区);SEACrowd
针对VLN中标准共形预测无法在依赖且变长片段上提供覆盖保证的问题,提出ENCP,通过残差置信度重缩放非一致性分数并每片段校准一个最大分数,在R2R和REVERIE上达到所有步级覆盖目标,提供模型无关的不确定性估计。
2026-09-16 cs.AI cs.LG cs.RO
AutoSpatial: Visual-Language Reasoning for Social Robot Navigation through Efficient Spatial Reasoning Learning
George Mason University(乔治·马歇尔大学);University of Maryland, College Park(马里兰大学学院公园分校)
本文提出AutoSpatial方法,通过结构化空间接地和大规模VQA对自动生成标签,提升VLMs在社交导航中的空间推理能力,实现更准确的空间感知、运动预测、推理、行动和解释。
2026-05-02 cs.RO
CoReLIN: Constraint-based Reasoning for Zero-shot Lifelong Interactive Navigation
Purdue University(普渡大学);Indian Institute of Technology, Kharagpur(印度理工学院卡哈拉格普尔分校);DEVCOM Army Research Lab(DEVCOM陆军研究实验室);National University of Singapore(新加坡国立大学)
提出CoReLIN框架,利用LLM和场景图推理,在终身交互式导航中通过移动物体开辟路径并完成任务,显著提升长期效率。
2026-07-01 cs.AI cs.CV cs.RO
ArtPlanner: Robust Legged Robot Navigation in the Field
ETH Zürich(苏黎世联邦理工学院)
由于DARPA地下挑战赛期间存在的高度复杂的环境,所有六个受资助的团队都依赖于足式机器人作为其机器人团队的一部分。他们能够跨越障碍物的独特运动技能需要特别考虑导航规划。在这项工作中,我们提出并检查ArtPlanner,在总决赛期间团队CERBERUS使用的导航计划。它基于一种基于采样的方法,该方法通过可达性抽象来确定有效姿势,并使用学习到的立足点分数来限制被认为是安全的区域。通过在仿真中训练的神经网络为所得到的规划图分配学习的运动成本,以最小化遍历时间并限制失败的风险。我们的方法实现了有界的计算时间的实时性能。我们提出了广泛的实验结果,在DARPA地下挑战赛的总决赛期间收集,在那里这种方法有助于团队CERBERUS赢得比赛。它为四只ANYmal四足动物提供了90分钟的自主操作导航,没有一次规划或运动失败。
2023-03-02 cs.RO
Immersive Explainability: Visualizing Robot Navigation Decisions through XAI Semantic Scene Projections in Virtual Reality
University of Bonn(波恩大学);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔人工智能与机器学习研究所);Center for Robotics(机器人中心);University of Mainz(美因茨大学);Fraunhofer Institute for Intelligent Analysis and Information Systems IAIS(弗劳恩霍夫智能分析与信息系统研究所)
本文提出一种融合 XAI 归因语义投影与激光雷达感知的 VR 界面,并通过 24 人受试者内实验证明其能提升非专家对机器人导航决策的理解、行为意识与可预测性。
2025-10-18 cs.RO
IN-Sight: Interactive Navigation through Sight
Robotic Systems Lab, ETH(苏黎世联邦理工学院机器人系统实验室);Smart Robotics Lab, TUM(慕尼黑工业大学智能机器人实验室);Intel Germany(英特尔德国)
针对现有视觉导航系统难以适配动态障碍、遇不可绕行障碍易失败的问题,提出自监督交互式导航方法IN-Sight,结合RGB-D观测与可微代价地图训练实现复杂环境规划,经仿真验证有效且可零样本迁移到足式机器人ANYmal。
2024-08-12 cs.CV cs.LG cs.RO
HorizonNet for visual terrain navigation
Linköping University(林雪平大学);Inception Institute of Artificial Intelligence(Inception人工智能研究院)
该研究针对沿海或群岛区域无人水面艇的位置估计问题,提出基于双CNN架构与MOSSE相关滤波器的视觉地形导航方法,在野外试验中实现了GPS级精度的位置估计。
2026-09-01 cs.CV cs.RO
Extending One-Stage Detection with Open-World Proposals
Georgia Institute of Technology(佐治亚理工学院);Facebook AI(Facebook人工智能)
在许多应用中,例如自动驾驶、手动操作或机器人导航,目标检测方法必须能够检测训练集中未见过的对象。开放世界检测(OWD)试图通过将检测性能推广到可见和不可见的类别来解决这个问题。最近的工作已经成功地生成了类不可知的建议,我们称之为开放世界建议(OWP),但这是以在检测模型中考虑两个任务时分类任务的大幅下降为代价的。这些工作通过利用对象评分线索研究了两阶段区域建议网络(RPN);然而,由于其简单性,运行时间以及定位和分类的解耦,我们通过完全卷积的一阶段检测网络(如FCOS)来研究OWP。我们表明,我们对FCOS的架构和采样优化可以将OWP性能提高6%,这标志着第一个无建议的一阶段检测网络实现了与基于RPN的两阶段网络相当的性能。此外,我们表明,固有的,解耦架构的FCOS保留分类性能的好处。虽然两阶段方法在新类别上的召回率下降了6%,但我们发现,当联合优化OWP和分类时,FCOS只下降了2%。
2022-01-12 cs.CV
PRIME: Perception Feedback with Situational Memory Embeddings in VLA Models
RWTH Aachen University(亚琛工业大学);Robert Bosch GmbH(罗伯特·博世有限公司)
PRIME通过情境记忆嵌入的感知反馈机制,以极小参数代价实现意图驱动的感知注意力,在Bench2Drive上取得最先进驾驶得分82.47和60%成功率。
2026-11-17 cs.CV cs.RO
TAME-Nav: Temporal Asymmetric Mixture-of-Experts Distillation for Agile and Versatile Robot Navigation
Shanghai Jiao Tong University(上海交通大学);Eastern Institute of Technology(东方理工大学);The Hong Kong Polytechnic University(香港理工大学);University of Science and Technology of China(中国科学技术大学)
本文提出TAME-Nav非对称师生导航框架,结合时间软混合专家与非对称域随机化,在仿真与真实四足机器人导航任务中,较基线实现更优性能,完成多场景试验仅1次轻微接触。
2026-10-12 cs.RO
DeepSocNav: Social Navigation by Imitating Human Behaviors
当前用于训练社会行为的数据集通常是从监控应用程序中借用的,这些应用程序从鸟瞰角度捕获视觉数据。这就把通过第一人称视角捕捉到的珍贵关系和视觉线索抛在了一边。在这项工作中,我们提出了一种策略,利用当前的游戏引擎,如Unity的力量,将预先存在的鸟瞰视图数据集转换为第一人称视图,特别是深度视图。使用这种策略,我们能够生成大量的合成数据,这些数据可用于预训练社交导航模型。为了测试我们的想法,我们提出了DeepSocNav,这是一个基于深度学习的模型,它利用所提出的方法来生成合成数据。此外,DeepSocNav包括一个自我监督策略,作为辅助任务。这包括预测智能体将面对的下一个深度帧。我们的实验显示了所提出的模型的好处,它能够在社交导航得分方面优于相关基线。
2021-07-19 cs.AI cs.CV cs.LG
LiteNWM: Efficient Latent World Models for Onboard Visual Navigation in the Wild
Nanjing University(南京大学);Imperial College London(帝国理工学院);Sony AI(索尼人工智能公司);Beijing University of Posts and Telecommunications(北京邮电大学)
针对现有生成式导航世界模型评估多候选方案成本高的问题,提出LiteNWM,通过共享视觉编码等设计提升效率,在离线评估、迁移实验及真实机器人测试中均显著优于NoMaD等方法,可用于物理机器人的未来感知规划与闭环导航。
2026-10-09 cs.RO
VLM-Social-Nav: Socially Aware Robot Navigation through Scoring using Vision-Language Models
George Mason University(乔治梅森大学);University of Maryland(马里兰大学)
该研究提出VLM-Social-Nav方法,基于视觉-语言模型(VLM)评分模块计算成本项,辅助规划器生成社交合规机器人动作,减少对大型数据集的依赖并提升适应性,在真实场景中平均成功率提升超27%、碰撞率降低超19%。
2024-11-25 cs.RO
Social-LLaVA: Enhancing Robot Navigation through Human-Language Reasoning in Social Spaces
George Mason University(乔治梅森大学);University of Maryland, College Park(马里兰大学学院公园分校)
针对社交机器人导航中感知到合规动作转化的推理缺口,研究构建了含4万条标注的SNEI视觉语言数据集,微调得到Social-LLaVA模型,其表现优于GPT-4V等先进模型,部署后可助力机器人实现类人社交导航推理。
2024-12-30 cs.CV cs.HC cs.RO
Closing the Navigation Compliance Gap in End-to-end Autonomous Driving
本文提出NAVI指标和NavControl数据集,通过轨迹评分规划器NaviHydra提升导航合规性,实现92.7 PDM和77.5 CM成绩。
2026-10-23 cs.CV
Exploring Hierarchical Consistency and Unbiased Objectness for Open-Vocabulary Object Detection
Yonsei University(延世大学);Korea Institute of Science and Technology (KIST)(韩国科学技术院)
本文提出一种新颖的伪标签框架,通过层次一致性校准和LoCLIP模型提升开放词汇目标检测的准确性与可靠性。
2026-04-25 cs.CV
UN-DETR: Promoting Objectness Learning via Joint Supervision for Unknown Object Detection
Beijing Institute of Technology(北京理工大学)
针对未知目标检测中目标性学习监督信号单一导致性能不佳的问题,提出基于Transformer的UN-DETR框架,通过实例存在分数联合监督、无偏查询选择等方法,在多个基准上实现了当前最优性能。
2024-12-13 cs.CV
FlashNav: Training Deployable Robot Navigation Policies in Seconds
Eastern Institute of Technology, Ningbo(宁波东方理工大学);The Hong Kong Polytechnic University(香港理工大学);National University of Singapore(新加坡国立大学);University of Science and Technology of China(中国科学技术大学);Shanghai Jiao Tong University(上海交通大学)
提出FlashNav框架,通过GPU加速和MDP对齐实现20秒内训练可部署的导航策略,在TurtleBot2和Unitree Go2上验证成功。
2026-10-02 cs.RO
NaviSTAR: Socially Aware Robot Navigation with Hybrid Spatio-Temporal Graph Transformer and Preference Learning
Purdue University(普渡大学);Beijing University of Chemical Technology(北京化工大学)
提出 NaviSTAR 社会感知导航基准,通过混合时空图 Transformer、偏好学习与离策略强化学习融合人群多模态信息,并在仿真和真实场景中验证其优于现有方法。
2023-09-26 cs.RO
The BARN Challenge 2023 -- Autonomous Navigation in Highly Constrained Spaces -- Inventec Team
Inventec Corporation(英业达公司)
本文介绍Inventec Team在BARN Challenge 2023中,基于LfLH控制器并引入有限状态机、前向碰撞检查及回溯安全检查,将导航得分提升4.76%,在仿真与真实赛段均获第二名。
2023-07-27 cs.RO
Integrating Robotic Navigation with Blockchain: A Novel PoS-Based Approach for Heterogeneous Robotic Teams
department of Computer & Information Science, Fordham University(计算机与信息科学系,福特汉姆大学)
本研究将区块链权益证明机制引入广域视觉导航,通过可靠性优先的贡献排序提升异构机器人团队在无GPS环境下的协作导航能力。
2025-05-21 cs.CR cs.RO
Tactical Rewind: Self-Correction via Backtracking in Vision-and-Language Navigation
University of Washington(华盛顿大学);Microsoft Research AI(微软研究院人工智能);Allen Institute for Artificial Intelligence(艾伦人工智能研究院)
我们提出了边界感知搜索与backTracking(FAST)导航器,一个通用的框架动作解码,实现了最先进的结果的房间到房间(R2R)的视觉和语言导航挑战安德森等。等(2018)。给定一个自然语言指令和一个以前看不见的环境的照片般逼真的图像视图,智能体的任务是尽可能快地从源位置导航到目标位置。虽然所有当前的方法都使用束搜索来做出局部动作决策或对整个轨迹进行评分,但我们在探索未观察到的环境时平衡了局部和全局信号。重要的是,这让我们可以在必要时使用全局信号进行回溯。将FAST框架应用于现有的最先进的模型实现了17%的相对增益,按路径长度(SPL)加权的成功率绝对增益为6%。
2019-04-02 cs.CL cs.CV cs.LG
PIVOT: Physically Informed Vision-Language Off-Road Traversability for Field Robot Navigation
PIVOT系统融合几何规划与视觉-语言模型语义推理,通过物理相关性加权评分,在越野导航中将自主性从59.6%提升至97.0%,减少人工干预,显著增强自主导航能力。
2026-09-21 cs.RO
Outlier detection by ensembling uncertainty with negative objectness
针对离群点检测中不确定性与负类识别混淆的问题,本文提出集成分布内不确定性和负目标性后验的新异常分数,并在密集预测架构中实现,显著提升图像级与像素级检测性能。
2024-09-08 cs.CV cs.LG
Competency-Aware Planning for Probabilistically Safe Navigation Under Perception Uncertainty
Department of EECS, UC Berkeley(电子工程与计算机科学系,伯克利大学)
本文提出PaRCE方法,通过估计模型对输入图像的整体和局部熟悉度,提升在感知不确定性下的导航安全性与效率。
2025-07-26 cs.AI cs.CV cs.RO
HALO: Human Preference Aligned Offline Reward Learning for Robot Navigation
University of Maryland, College Park(马里兰大学 College Park分校)
HALO是一种离线奖励学习算法,将人类导航直觉量化为视觉奖励函数,通过偏好排序训练奖励模型,并在真实机器人上显著提升导航成功率与轨迹质量。
2025-08-03 cs.RO
Multi-modal Discriminative Model for Vision-and-Language Navigation
Google AI Language(谷歌人工智能语言团队)
视觉和语言导航(VLN)是一种基于自然语言的任务,智能体必须在动态环境中的视觉场景中解释自然语言指令,以实现预定的导航目标。成功的智能体必须有能力解析不同语言风格的自然语言,将它们置于可能不熟悉的场景中,计划并对模糊的环境反馈做出反应。泛化能力受到人类注释数据量的限制。特别是,\emph{paired}视觉语言序列数据是昂贵的collection.We开发了一个评价如何以及指令解释一个给定的路径在VLN任务使用多模态对齐。我们的研究表明,只有一小部分来自\citet{Fried:2018:Speaker}的高质量增强数据(由我们的研究人员评分)对于训练VLN代理在以前看不见的环境中具有相似的性能是有用的。我们还表明,一个VLN代理热启动与预先训练的组件,从EQUIPMENT优于基准的成功率35.5的10%的相对措施,以前看不见的环境。
2019-05-31 cs.CL cs.CV
Room-Across-Room: Multilingual Vision-and-Language Navigation with Dense Spatiotemporal Grounding
Google Research(谷歌研究院);Brown University(布朗大学)
我们介绍了一个新的视觉和语言导航(VLN)数据集--房间跨房间(RXR)。RxR是多语言(英语,印地语和泰卢固语),并且比其他VLN数据集更大(更多路径和指令)。它强调了语言在VLN中的作用,通过解决路径中的已知偏差并引出更多对可见实体的引用。此外,指令中的每个字与指令创建者和验证者的虚拟姿势时间对齐。我们建立基线分数单语和多语言设置和多任务学习时,包括房间到房间的注释。我们还提供了一个模型的结果,该模型通过只关注在人类演示中参加的全景部分来从同步姿势轨迹中学习。RxR的大小、范围和细节极大地扩展了在模拟的、照片般逼真的环境中对具身语言代理的研究前沿。
2020-10-15 cs.AI cs.CL cs.CV
ARCGym: Benchmarking Deep Reinforcement Learning in Autonomous Robotic Colonoscopy
University of Copenhagen(哥本哈根大学)
ARCGym是用于自主机器人结肠镜检查的强化学习环境与基准,支持多种柔性内窥镜,实验表明自主导航仍具挑战性,近端插入致动是开放问题。
2026-09-22 cs.RO
Navigation-Guided Sparse Scene Representation for End-to-End Autonomous Driving
Zhijia Technology(智加科技)
提出仅用16个导航引导token作为稀疏场景表示的SSR框架,免除监督子任务并引入时间增强模块,在nuScenes和CARLA基准上显著优于UniAD和VAD-Base且大幅提升速度。
2025-03-01 cs.CV
RGB-D Semantic SLAM for Surgical Robot Navigation in the Operating Room
Johns Hopkins University(约翰斯·霍普金斯大学);Intuitive Surgical Inc.(直觉外科公司)
获得手术机器人系统的手术室(OR)的空间感知是能够实现旨在改进OR工作流程的智能应用的关键技术。在这项工作中,我们提出了一种使用多个RGB-D相机连接并注册到达芬奇Xi手术系统的OR场景的语义密集重建方法。我们开发了一种新的SLAM方法,用于动态OR环境中的机器人姿态跟踪和静态OR表对象的密集重建。我们通过收集具有相应光学跟踪轨迹的数据序列作为地面实况和手动注释的100帧分割掩模,在模拟OR中验证了我们的技术。平均绝对轨迹误差为$11.4\pm1.9$ mm,平均相对位姿误差为$1.53\pm0.48$度/秒。与单帧相比,通过使用我们的SLAM系统,分割DICE分数从0.814提高到0.902。我们的方法有效地产生了一个密集的或表重建在动态的临床环境,以及改进的语义分割对个别图像帧。
2022-04-12 cs.RO
GeNIE: A Generalizable Navigation System for In-the-Wild Environments
Department of Computer Science, School of Computing, National University of Singapore(计算机科学系、计算学院、新加坡国立大学)
本文提出 GeNIE 导航框架,通过基于 SAM2 的可通行性预测与路径融合提升复杂户外环境稳定性,并在 ICRA 2025 ERC 多国赛事中无人工干预夺冠。
2025-10-18 cs.AI cs.RO
Gaussian Mixture-Based Inverse Perception Contract for Uncertainty-Aware Robot Navigation
Department of Computer Science, Columbia University(计算机科学系,哥伦比亚大学);Department of Computer Science and Engineering, Texas A&M University(计算机科学与工程系,德克萨斯大学)
本文提出基于高斯混合的逆感知合同,通过联合椭球置信集表示不确定性,提升机器人导航的安全性和适应性。
2026-03-04 cs.RO
Using Lidar Intensity for Robot Navigation
University of Maryland, College Park(马里兰大学帕克分校)
本文提出 Multi-Layer Intensity Map,用多层激光雷达反射强度估计障碍物高度、密度和不透明度,并据此自适应膨胀障碍物,使真实机器人在狭窄密集环境中的导航成功率和轨迹质量显著提升。
2023-09-28 cs.RO
BotanicGarden: A High-Quality Dataset for Robot Navigation in Unstructured Natural Environments
Shanghai Jiao Tong University(上海交通大学);Harbin Institute of Technology(哈尔滨工业大学);Ghent University(根特大学)
针对非结构化自然环境导航数据不足的问题,本文构建BotanicGarden多传感器数据集,提供17.1公里轨迹、高精度运动与地图真值及语义标注。
2024-03-02 cs.RO
REST: Receding Horizon Explorative Steiner Tree for Zero-Shot Object-Goal Navigation
State Key Laboratory of Internet of Things for Smart City, University of Macau(智能城市物联网国家重点实验室,澳门大学);University of Michigan(密歇根大学)
REST通过构建开放词汇3D地图、生成以代理为中心的路径树以及利用LLM推理选择最佳路径,在多个基准测试中实现了高成功率和高效路径效率。
2026-07-17 cs.AI cs.CV cs.RO
Object-and-Action Aware Model for Visual Language Navigation
The University of Adelaide(阿德莱德大学);Harbin Institute of Technology, Weihai(哈尔滨工业大学(威海));Aipixel Inc.(Aipixel 公司)
视觉和语言导航(VLN)的独特之处在于,它需要在可视环境的基础上将相对通用的自然语言指令转化为机器人代理动作。这需要从两种截然不同的自然语言信息中提取价值。第一个是对象描述(例如,“桌子”,“门”),每个呈现为代理通过找到环境中可见的项目来确定下一个动作的提示,第二个是动作规范(例如,“直行”、“左转”),这允许机器人直接预测接下来的运动,而不依赖于视觉感知。然而,大多数现有的方法很少注意区分这些信息彼此在指令编码和混合在一起的文本对象/动作编码和视觉感知/候选视点的方向特征之间的匹配。在本文中,我们提出了一个对象和动作感知模型(OAAM),分别处理这两种不同形式的基于自然语言的指令。这使得每个过程能够灵活地将以对象为中心/以动作为中心的指令与其对应的视觉感知/动作取向相匹配。然而,由上述解决方案引起的一个附带问题是,指令中提到的对象可能在两个或更多个候选视点的方向上被观察到,因此0AAM可能不会将最短路径上的视点预测为下一动作。为了解决这个问题,我们设计了一个简单但有效的路径损耗来惩罚偏离地面真实路径的轨迹,实验结果证明了所提出的模型和路径损耗的有效性,以及它们在未知环境中与R2 R数据集上的50%SPL分数和R4 R数据集上的40%CLS分数相结合的优越性,优于以前的最先进技术。
2020-07-29 cs.CL cs.CV
CoSMO: Conformal Semantic Mapping for Open-World Safe Robot Navigation
Shanghai Jiao Tong University(上海交通大学);Shanghai Innovation Institute(上海创新研究院);Fudan University(复旦大学)
CoSMO是一种语义安全地图构建框架,通过将VLM嵌入转换为校准覆盖集与安全感知障碍物膨胀,在MP3D数据集和四足机器人实验中,分别减少61.6%语义碰撞、达到90.73%经验覆盖率,实现开放世界安全机器人导航。
2026-11-03 cs.RO
Enhancing Lightweight Vision Language Models through Group Competitive Learning for Socially Compliant Navigation
Hokkaido University(北海道大学);The University of Tokyo(东京大学)
本文提出群体竞争学习策略,通过协调全局语义与分布正则化,提升轻量级VLMs在社交导航中的推理与决策能力,实现高准确性和高效性。
2026-03-12 cs.RO
Semantically-enhanced Deep Collision Prediction for Autonomous Navigation using Aerial Robots
Norwegian University of Science and Technology(挪威科技大学)
本文提出一种适用于空中机器人的语义增强深度碰撞预测方法,结合语义增强变分自编码器与不确定性感知3D碰撞预测网络,在无地图、无完整位姿的杂乱细小障碍场景中实现自主导航,性能优于端到端基线方法。
2023-07-21 cs.RO
GoViG: Goal-Conditioned Visual Navigation Instruction Generation via Multimodal Reasoning
University of Washington(华盛顿大学);The Hong Kong Polytechnic University(香港理工大学);Microsoft Research(微软研究院);Carnegie Mellon University(卡内基梅隆大学)
本文提出GoViG任务,通过多模态推理生成基于初始和目标状态的视觉导航指令,采用自回归多模态大语言模型提升空间准确性和语言清晰度,提出两种多模态推理策略并构建R2R-Goal数据集验证方法有效性。
2026-04-29 cs.AI cs.CV
Adversarial Reinforced Instruction Attacker for Robust Vision-Language Navigation
Sun Yat-sen University(中山大学);University of Chinese Academy of Sciences(中国科学院大学)
语言教学在基于自然语言的导航任务中起着至关重要的作用。然而,有限的人工注释指令训练的导航器可能难以在不同的时间步长从复杂的指令中准确捕获关键信息,导致导航性能差。在本文中,我们利用训练一个更强大的导航仪,能够动态地提取关键因素的长指令,通过使用对抗性攻击范例。具体来说,我们提出了一个动态增强指令攻击(DR-攻击),它学会误导导航移动到错误的目标,通过破坏指令中的最有指导意义的信息在不同的时间步。通过将扰动生成公式化为马尔可夫决策过程,通过强化学习算法优化DR攻击器,以根据可学习的攻击分数在导航期间顺序地生成扰动指令。然后,扰动的指令,作为硬样本,用于提高导航仪的鲁棒性与有效的对抗训练策略和辅助自监督推理任务。视觉和语言导航(VLN)和导航对话历史(NDH)任务的实验结果表明,我们提出的方法比国家的最先进的方法的优越性。此外,可视化分析表明,所提出的DR攻击的有效性,它可以成功地攻击在不同的时间步长的指令中的关键信息。代码可在https://github.com/expectorlin/DR-Attacker上获得。
2021-07-23 cs.AI cs.CL cs.CV
DRL-TH: Jointly Utilizing Temporal Graph Attention and Hierarchical Fusion for UGV Navigation in Crowded Environments
DRL-TH通过结合时序图注意力和层次融合,提升无人地面车辆在拥挤环境中的导航性能和动态适应性。
2025-12-30 cs.AI cs.RO