AVLEN: Audio-Visual-Language Embodied Navigation in 3D Environments
University of California, Riverside(加州大学河滨分校);Mitsubishi Electric Research Labs(三菱电机研究实验室)
近年来,嵌入式视觉导航在两个不同的方向上取得了进展:(i)装备人工智能智能体以遵循自然语言指令,以及(ii)使可导航的世界多模态,例如,视听导航然而,现实世界不仅是多模态的,而且往往是复杂的,因此,尽管有这些进步,代理人仍然需要了解他们的行动中的不确定性,并寻求指导导航。为此,我们提出了AVLEN~ --一个交互式的视听语言具身导航代理。与视听导航任务类似,我们的具体代理的目标是通过导航3D视觉世界来本地化音频事件;然而,代理也可以寻求人类(Oracle)的帮助,其中以自由形式的自然语言提供帮助。为了实现这些能力,AVLEN使用多模态分层强化学习主干,该主干学习:(a)选择用于导航的音频线索或查询oracle的高级策略,以及(b)基于其视听和语言输入选择导航动作的低级策略。通过对导航任务的成功进行奖励来训练策略,同时最大限度地减少对oracle的查询次数。为了实证评估AVLEN,我们提出了语义视听导航任务的SoundSpaces框架上的实验。我们的研究结果表明,装备代理请求帮助导致性能的明显改善,特别是在具有挑战性的情况下,例如,当在训练期间或在干扰物声音存在的情况下听不到声音时。
2022-10-14 cs.AI cs.CL cs.CV
The Surprising Effectiveness of Visual Odometry Techniques for Embodied PointGoal Navigation
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-尚佩恩分校);Georgia Institute of Technology(佐治亚理工学院);Facebook AI Research(Facebook AI研究院)
对于个人机器人来说,可靠地导航到指定的目标是至关重要的。为了研究这个任务,PointGoal导航已经被引入到模拟的人工智能环境中。最新的进展解决了这个PointGoal导航任务,在照片逼真的模拟环境中具有近乎完美的准确性(99.6%的成功率),假设无噪声的自我中心视觉,无噪声的驱动,最重要的是,完美的定位。然而,在视觉传感器和驱动的现实噪声模型下,并且在没有访问“GPS和指南针传感器”的情况下,PointGoal导航的99.6%成功代理仅成功0.3%。在这项工作中,我们证明了令人惊讶的有效性视觉里程计的任务PointGoal导航在这个现实的设置,即,使用真实的噪声模型进行感知和驱动,无需使用GPS和Compass传感器。我们发现,将视觉里程计技术集成到导航策略中,大大提高了流行的Habitat PointNav基准的最新水平,将成功率从64.5%提高到71.7%,同时执行速度提高了6.4倍。
2021-08-26 cs.AI cs.CV cs.LG
UAS Navigation in the Real World Using Visual Observation
The Ohio State University(俄亥俄州立大学)
本文提出了一种新的端到端无人机系统(UAS)导航方法,在现实世界中的远程视觉导航。受人的视觉导航系统的双重过程的启发:环境理解和地标识别,我们制定了UAS导航任务分为两个相同的阶段。我们的系统结合了强化学习(RL)和图像匹配方法。首先,代理在指定的环境中使用RL学习导航策略。为了实现这一点,我们设计了一个交互式的UASNAV环境的培训过程。一旦智能体学习了导航策略,这意味着“熟悉环境”,我们让UAS在现实世界中飞行,使用图像匹配方法识别地标,并根据学习的策略采取行动。在导航过程中,UAS嵌入了单摄像头作为唯一的视觉传感器。我们证明了无人机系统可以学习导航到目的地数百米远的起点与最短路径在现实世界中的场景。
2022-08-25 cs.CV cs.RO
Semantic Visual Navigation by Watching YouTube Videos
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
在真实世界环境布局中的语义线索和统计优化可以提高在新环境中的导航效率。本文学习并利用这些语义线索,通过简单地观看YouTube视频,在新的环境中导航到感兴趣的对象。这是一个挑战,因为YouTube视频没有行动或目标的标签,甚至可能没有展示最佳行为。我们的方法通过在伪标记的转换四元组(图像,动作,下一个图像,奖励)上使用Q学习来解决这些挑战。我们表明,这种非政策Q学习被动数据是能够学习有意义的语义线索导航。这些线索,当使用在一个层次化的导航策略,导致在视觉上逼真的模拟ObjectGoal任务的效率提高。我们观察到15 - 83%的相对改善,端到端RL,行为克隆,和经典的方法,同时使用最小的直接交互。
2020-10-27 cs.AI cs.CV cs.LG
Deep Visual Navigation under Partial Observability
机器人如何在丰富多样的环境中成功导航,室内或室外,沿着办公室走廊或草地上的小径,在平地或楼梯上?为此,这项工作的目的是解决三个挑战:(i)复杂的视觉观察,(ii)局部视觉传感的部分可观察性,以及(iii)多模态机器人行为的本地环境和全球导航目标的条件。我们提出了训练一个神经网络(NN)控制器的本地导航通过模仿学习。为了解决复杂的视觉观察,我们通过CNN提取多尺度空间表示。为了解决部分可观测性,我们随着时间的推移聚合多尺度空间信息,并将其编码在LSTM中。为了学习多模态行为,我们为每个行为模式使用单独的记忆模块。重要的是,我们将多个神经网络模块集成到一个统一的控制器中,该控制器可以在复杂的部分可观察环境中实现强大的视觉导航性能。我们实现了控制器的四足机器人现场和三个具有挑战性的任务进行评估:对抗性的行人回避,盲点避障,电梯乘坐。实验结果表明,该神经网络结构显著提高了导航性能。
2022-05-30 cs.CV cs.LG cs.RO
Visual Cue Guided Video Planning for Generalizable Robot Navigation
Technical University of Munich(慕尼黑工业大学);Massachusetts Institute of Technology(麻省理工学院);Örebro University(厄勒布鲁大学)
提出CueNav,结合视觉提示引导的视频规划与逆动力学模型,实现长视界、具身感知的泛化机器人导航,显著提升迷宫和狭窄通道成功率。
2026-09-17 cs.AI cs.CV cs.LG
Neural Topological SLAM for Visual Navigation
Facebook AI Research(脸书人工智能研究院);Carnegie Mellon University(卡内基梅隆大学);UIUC(伊利诺伊大学厄巴纳-香槟分校)
本文研究了图像-目标导航问题,即在一个新的未知环境中导航到目标图像所指示的位置。为了解决这个问题,我们设计的空间拓扑表示,有效地利用语义和近似几何推理。我们的表示的核心是具有相关语义特征的节点,这些节点使用粗略的几何信息相互连接。我们描述了监督学习为基础的算法,可以建立,维护和使用这种表示下嘈杂的驱动。在视觉和物理逼真的模拟实验研究表明,我们的方法建立有效的表示,捕捉结构的错误,并有效地解决长期的导航问题。我们观察到超过50%的现有方法,研究这项任务的相对改善。
2020-05-28 cs.AI cs.CV cs.LG
Knowledge-driven Scene Priors for Semantic Audio-Visual Embodied Navigation
Tufts University(塔夫茨大学);Bosch Center for Artificial Intelligence(博世人工智能中心);Carnegie Mellon University(卡内基梅隆大学)
对于具身导航代理来说,对看不见的上下文的概括仍然是一个挑战。在语义视听导航(SAVi)任务的背景下,概括的概念应该包括概括到看不见的室内视觉场景以及概括到听不见的声音对象。然而,以前的SAVi任务定义不包括真正新颖的发声对象的评价条件,而不是诉诸于评价代理人对未知的声音剪辑的已知对象,同时,以前的SAVi方法不包括明确的机制,将领域知识的对象和区域语义。这些弱点限制了发展和评估模型的能力,以概括他们的经验教训。在这项工作中,我们介绍了使用知识驱动的场景先验的语义视听具身导航任务:我们结合语义信息从我们的新的知识图谱,编码对象区域关系,空间知识从双图编码器网络,和背景知识从一系列的预训练任务-所有在一个强化学习框架内的视听导航。我们还定义了一个新的视听导航子任务,代理评估新的发声对象,而不是闻所未闻的剪辑已知的对象。我们在SoundSpaces任务下,在Monclerat-Matterport 3D模拟环境中,在对看不见的区域和新颖的探测对象的概括中显示了强基线的改进。
2022-12-21 cs.AI cs.CV cs.RO
Differentiable SLAM-net: Learning Particle SLAM for Visual Navigation
National University of Singapore(新加坡国立大学)
同时定位与地图构建(SLAM)对于许多下游应用(例如视觉机器人导航)来说仍然具有挑战性,因为快速转弯、无特征的墙壁和较差的相机质量。我们引入了可区分SLAM网络(SLAM网)以及导航架构,使平面机器人导航在以前看不见的室内环境。SLAM-net将基于粒子滤波器的SLAM算法编码在可微计算图中,通过SLAM算法反向传播学习面向任务的神经网络组件。因为它可以为最终目标联合优化所有模型组件,所以SLAM网络在具有挑战性的条件下学习鲁棒性。我们在Habitat平台上使用不同的真实世界RGB和RGB-D数据集进行实验。SLAM-net在噪声条件下的性能明显优于广泛适应的ORB-SLAM。我们的SLAM-net导航架构大幅提高了2020年人居挑战PointNav任务的最新水平(成功率为37%至64%)。项目网址:http://sites.google.com/view/slamnet
2021-05-19 cs.AI cs.CV cs.LG
Learning Your Way Without Map or Compass: Panoramic Target Driven Visual Navigation
Columbia University(哥伦比亚大学);U.S. Army Research Laboratory(美国陆军研究实验室)
我们提出了一个机器人导航系统,使用模仿学习框架,成功地在复杂的环境中导航。我们的框架对真实环境进行预构建的3D扫描,并从预生成的专家轨迹中训练代理,以导航到给定目标全景和当前视觉输入的任何位置,而不依赖于地图,指南针,里程计或目标在运行时的相对位置。我们的端到端训练代理使用RGB和深度(RGBD)信息,可以处理多个房间(最多$40$)的大型环境(最多$1031m^2$),并推广到看不见的目标。我们表明,当与几个基线相比,我们的方法(1)需要更少的训练样本和更少的训练时间,(2)达到目标位置具有更高的精度,(3)产生更好的解决方案,更短的路径,为远程导航任务。
2020-09-25 cs.AI cs.CV cs.LG
Dynamical Audio-Visual Navigation: Catching Unheard Moving Sound Sources in Unmapped 3D Environments
Albert-Ludwigs-University Freiburg(弗赖堡阿尔伯特-路德维希大学)
最近的视听导航工作针对无噪声音频环境中的单一静态声音,并努力推广到听不见的声音。我们介绍了新的动态视听导航基准,其中一个具体的人工智能智能体必须抓住一个移动的声源在一个未映射的环境中存在的干扰和嘈杂的声音。我们提出了一种端到端的强化学习方法,该方法依赖于多模态架构,该架构融合了来自双耳音频信号和空间占用图的空间视听信息,以编码为我们新的复杂任务设置学习鲁棒导航策略所需的特征。我们证明,我们的方法优于当前最先进的技术,更好地推广到闻所未闻的声音和更好的鲁棒性,噪声场景上的两个具有挑战性的3D扫描的真实世界的数据集ESTA和Matterport3D,静态和动态的视听导航基准。我们的新基准将在http://dav-nav.cs.uni-freiburg.de上提供。
2022-01-12 cs.CV cs.LG cs.RO
Predicting Topological Maps for Visual Navigation in Unexplored Environments
InnoPeak Technology, Inc.(InnoPeak科技公司);Monash University(莫纳什大学);The University of Adelaide(阿德莱德大学)
我们提出了一个机器人学习系统的自主探索和导航在未开发的环境。我们的动机是这样一个想法,即使是一个看不见的环境可能是熟悉的,从以前的经验,在类似的环境。因此,我们的方法的核心是一个过程,用于构建,预测和使用概率布局图,以帮助基于目标的视觉导航。我们描述了一个导航系统,使用的布局预测,以满足高层次的目标我们提出的导航框架包括三个阶段:(1)感知和映射:构建多级3D场景图;(2)预测:预测未探索环境的概率3D场景图;(3)导航:用图表辅助导航。我们在Matterport 3D中测试了我们的框架,并在看不见的环境中展示了更多的成功和高效的导航。
2022-11-23 cs.CV cs.RO
Pushing it out of the Way: Interactive Visual Navigation
University of Washington(华盛顿大学);Allen Institute for AI(艾伦人工智能研究所)
我们已经观察到显着的进展,在视觉导航体现代理。研究视觉导航的一个常见假设是环境是静态的;这是一个限制性假设。智能导航可能涉及与环境交互,而不仅仅是向前/向后移动和向左/向右转弯。有时候,最好的导航方式就是把一些东西推开。在本文中,我们研究了交互式导航的问题,其中代理人学会改变环境,更有效地导航到他们的目标。为此,我们引入神经交互引擎(NIE)来明确预测代理的行为所引起的环境变化。通过建模的变化,而规划,我们发现,代理表现出显着的改善,他们的导航能力。更具体地说,我们考虑了两个下游任务中的物理功能,视觉丰富,AI 2-THOR环境:(1)到达目标,而目标的路径被封锁(2)移动一个对象到目标位置通过推动它。对于这两个任务,代理配备了NIE显着优于代理没有理解的行动的效果,表明我们的方法的好处。
2021-05-02 cs.AI cs.CV cs.RO
Virtual Testbed for Monocular Visual Navigation of Small Unmanned Aircraft Systems
Air Force Institute of Technology(空军理工学院)
单目视觉导航方法在过去十年中取得了重大进展,最近产生了几种实时解决方案,用于自主导航小型无人驾驶飞机系统,而无需依赖GPS。这对于可能涉及GPS信号降级或拒绝的环境的军事行动至关重要。然而,测试和比较视觉导航算法仍然是一个挑战,因为视觉数据是昂贵的收集。在进行户外测试之前,在虚拟环境中进行飞行测试是一个有吸引力的解决方案。这项工作提出了一个虚拟的测试平台进行模拟飞行测试,在现实世界的地形和分析的实时性能的视觉导航算法在31赫兹。创建该工具的目的是最终找到一种视觉里程计算法,该算法适用于在固定翼飞机上进一步进行GPS拒绝导航研究,尽管所有算法都是为其他模态设计的。该测试平台用于在固定翼平台上评估三种当前最先进的开源单眼视觉里程计算法:直接稀疏里程计、半直接视觉里程计和ORB-SLAM 2(禁用环路闭合)。
2020-07-01 cs.CV cs.RO
Semantic Audio-Visual Navigation
UT Austin(德克萨斯大学奥斯汀分校);Facebook AI Research(Facebook人工智能研究院)
最近的视听导航工作假设一个不断发声的目标,并限制了音频的作用,以信号的目标的位置。我们引入语义视听导航,其中环境中的对象使声音与其语义含义一致(例如,马桶冲水、门吱吱作响)和声学事件是零星的或持续时间短的。我们提出了一个基于transformer的模型来解决这个新的语义AudioGoal任务,将一个推断的目标描述符,捕获目标的空间和语义属性。我们的模型的持久的多模态记忆使它能够达到目标,即使很长一段时间后,声学事件停止。为了支持新任务,我们还扩展了SoundSpaces音频模拟,为Matterport3D中的一系列对象提供语义上的声音。我们的方法通过学习将语义、声学和视觉线索相关联,大大优于现有的视听导航方法。
2021-04-07 cs.CV cs.LG cs.RO
From Seeing to Moving: A Survey on Learning for Visual Indoor Navigation (VIN)
Arizona State University(亚利桑那州立大学)
视觉室内导航(VIN)任务已经引起了数据驱动的机器学习社区越来越多的关注,特别是最近报道的基于学习的方法的成功。由于这项任务的内在复杂性,研究人员试图从各种不同的角度来解决这个问题,其全部范围尚未在一份总体报告中得到体现。本调查首先总结了VIN任务的基于学习的方法的代表性工作,然后确定和讨论阻碍VIN性能的挥之不去的问题,以及激励未来的研究在这些关键领域值得探索的社会。
2022-07-02 cs.AI cs.CV cs.RO
Learning Pose Estimation for UAV Autonomous Navigation andLanding Using Visual-Inertial Sensor Data
California Institute of Technology(加州理工学院)
在这项工作中,我们提出了一种新的学习方法的自主导航和着陆的无人机(UAV)。我们开发了一种用于视觉-惯性里程计的深度神经架构的多模态融合。我们以端到端的方式训练模型,以从视觉和惯性测量流中估计当前车辆姿态。我们首先评估我们的估计的准确性,通过比较模型的预测,传统的算法在公开的EuRoC MAV数据集。结果表明,$25 \%$在估计精度上优于基线。最后,我们将该架构集成到Airsim的闭环飞行控制系统中-虚幻引擎的插件模拟器-并提供自主导航和着陆的仿真结果。
2020-04-09 cs.CV cs.LG cs.RO
VTNet: Visual Transformer Network for Object Goal Navigation
Australian National University(澳大利亚国立大学);CSIRO-DATA61(联邦科学与工业研究组织DATA61);University of Technology Sydney(悉尼科技大学)
对象目标导航的目的是根据对智能体的观察,引导智能体朝向目标对象。设计有效的视觉表示是决定导航行为的关键。在本文中,我们介绍了一个视觉Transformer网络(VTNet)学习信息的视觉表示在导航。VTNet是一种高效的结构,它体现了视觉表示的两个关键属性:首先,利用场景中所有对象实例之间的关系;其次,强调对象和图像区域的空间位置,以便可以学习方向导航信号。此外,我们还开发了一个预训练计划,将视觉表示与导航信号相关联,从而促进导航策略学习。简言之,VTNet将对象和区域特征与其位置线索嵌入为空间感知描述符,然后通过注意力操作将所有编码描述符合并,以实现导航的信息表示。给定这样的视觉表示,代理能够探索视觉观察和导航动作之间的相关性。例如,当视觉表示强调激活图的右侧时,智能体将优先考虑“向右转”而不是“向左转”。在人工环境AI 2-Thor中的实验表明,VTNet在看不见的测试环境中的性能明显优于最先进的方法。
2021-05-20 cs.CV
FloNa: Floor Plan Guided Embodied Visual Navigation
Beijing Institute of Technology(北京理工大学);Yangtze Delta Region Academy of Beijing Institute of Technology(北京理工大学长三角研究院);Beijing Racobit Electronic Information Technology Co., Ltd.(北京睿科比特电子信息技术有限公司)
本文提出新型导航任务FloNa,首次将平面图纳入具身视觉导航,并设计扩散策略框架FloDiff解决空间不一致与模态对齐挑战,在iGibson中验证了其有效性与效率。
2025-03-07 cs.AI cs.CV cs.RO
Analyzing Visual Representations in Embodied Navigation Tasks
Facebook AI Research (FAIR)(脸书人工智能研究院);Facebook Reality Labs (FRL)(脸书现实实验室)
深度强化学习的最新进展需要大量的训练数据,并且通常会导致通常过度专用于目标任务的表示。在这项工作中,我们提出了一种方法来研究这种专业化的潜在原因。我们使用最近提出的投影加权典型相关分析(PWCCA)来衡量在同一环境中学习的视觉表征的相似性,通过执行不同的任务。然后,我们利用我们提出的方法来研究任务相关的视觉表示学习相关,但不同的具身导航任务的依赖。令人惊讶的是,我们发现任务中的细微差异对SqueezeNet和ResNet架构的视觉表示没有可测量的影响。然后,我们经验证明,视觉表征上学到的一个任务可以有效地转移到一个不同的任务。
2020-03-12 cs.AI cs.CV cs.LG
Combining optimal control and learning for autonomous aerial navigation in novel indoor environments
University of California, Berkeley(加州大学伯克利分校)
该报告提出了一种结合最优控制和感知框架的微型飞行器(MAV)自主导航在新的室内封闭环境中,完全依赖于板载传感器数据。我们使用来自模拟器的特权信息在3D空间中生成最佳航点,我们的感知系统学习模仿。经过训练的基于学习的感知模块又能够单独从传感器数据(RGB + IMU)生成类似的避障航路点。我们证明了在iGibson模拟环境中的新场景的框架的功效。
2022-02-19 cs.RO
SAME: Learning Generic Language-Guided Visual Navigation with State-Adaptive Mixture of Experts
The University of Adelaide(阿德莱德大学);Adobe Research(奥多比研究院);UNC, Chapel Hill(北卡罗来纳大学教堂山分校);UNSW Sydney(新南威尔士大学悉尼分校)
针对不同粒度语言引导的视觉导航任务,研究提出SAME(状态自适应混合专家)模型,构建统一通用导航框架,实现可同时处理7种导航任务、性能媲美甚至超越单任务专用智能体的多功能导航智能体。
2024-12-07 cs.AI cs.CL cs.CV
Audio Visual Language Maps for Robot Navigation
University of Freiburg(弗赖堡大学);Google Research(谷歌研究院);University of Technology Nuremberg(纽伦堡工业大学)
虽然在世界中进行交互是一种多感官体验,但许多机器人仍然主要依赖视觉感知来在其环境中进行映射和导航。在这项工作中,我们提出了视听语言地图(AVLMaps),一个统一的三维空间地图表示存储跨模态的信息,从音频,视觉和语言线索。AVLMaps通过将多模态基础模型的特征融合到一个集中的3D体素网格中,集成了在互联网规模数据上预训练的多模态基础模型的开放词汇功能。在导航的上下文中,我们表明AVLMaps使机器人系统能够基于多模态查询在地图中索引目标,例如,地标的文本描述、图像或音频片段。特别是,音频信息的添加使机器人能够更可靠地消除目标位置的歧义。大量的模拟实验表明,AVLMaps使zero-shot多模态目标导航从多模态提示,并提供50%以上的召回在模糊的情况下。这些功能扩展到现实世界中的移动机器人-导航到涉及视觉,音频和空间概念的地标。视频和代码可在https://avlmaps.github.io上获得。
2023-03-27 cs.AI cs.CL cs.CV
MVP: Unified Motion and Visual Self-Supervised Learning for Large-Scale Robotic Navigation
Queensland University of Technology(昆士兰科技大学);Universidad Nacional de Ingeniería(国立工程大学)
自主导航出现在现实世界环境中的运动和局部视觉感知。然而,大多数成功的机器人运动估计方法(例如,VO、SLAM、SfM)和视觉系统(例如,CNN、视觉位置识别-VPR)通常分别用于映射和定位任务。相反,最近的基于强化学习(RL)的视觉导航方法依赖于GPS数据接收的质量,当直接将其用作大型环境中多个月间隔的遍历的地面实况时,这可能不可靠。在本文中,我们提出了一种新的运动和视觉感知的方法,称为MVP,统一这两个传感器的大规模,目标驱动的导航任务的方式。我们的基于MVP的方法可以更快地学习,并且比相应的仅视觉导航方法更准确和鲁棒性更强,可以应对极端环境变化和不良GPS数据。MVP在时间上将使用VPR获得的紧凑图像表示与优化的运动估计数据(包括但不限于来自VO或优化的雷达测距(RO)的那些)结合,以经由RL有效地学习自监督导航策略。我们评估我们的方法在两个大型的现实世界的数据集,牛津Robotcar和Nordland铁路,在一系列的天气(如阴天,夜晚,雪,太阳,雨,云)和季节性(如冬季,春季,秋季,夏季)的条件下使用新的CityLearn框架;一个交互式的环境,有效地训练导航代理。我们的实验结果,在没有GPS数据的牛津RobotCar数据集的遍历上,显示MVP可以分别使用VO和RO实现53%和93%的导航成功率,而仅视觉方法的导航成功率为7%。我们还报告了RL成功率和运动估计精度之间的权衡。
2020-03-02 cs.CV cs.LG cs.RO
A Decentralized Cooperative Navigation Approach for Visual Homing Networks
Fordham University(福特汉姆大学);Mepco Schlenk Engineering College(梅普科·施伦克工程学院);University of South Florida(南佛罗里达大学)
针对视觉归巢需家位置在视野内才能启动的局限,提出基于区块链的异构机器人大范围视觉导航方法及轻量级PoW共识机制,适用于低算力平台且支持弹性自适应路径选择。
2023-10-02 cs.CV cs.GR cs.RO
PRM-RL: Long-range Robotic Navigation Tasks by Combining Reinforcement Learning and Sampling-based Planning
Google Brain(谷歌大脑);University of New Mexico(新墨西哥大学)
我们提出了PRM-RL,远程导航任务完成的分层方法,结合基于采样的路径规划与强化学习(RL)。RL代理学习短距离,点对点的导航策略,捕获机器人动态和任务约束,而无需大规模拓扑结构的知识。接下来,基于采样的规划者提供连接机器人配置的路线图,这些配置可以由RL代理成功导航。相同的RL代理用于在规划的指导下控制机器人,从而实现远程导航。我们使用概率路线图(PRM)的抽样为基础的规划。RL代理是在连续状态和动作空间中使用基于特征的深度神经网络策略构建的。我们评估PRM-RL,无论是在模拟和机器人上,在两个导航任务与非平凡的机器人动力学:端到端的差分驱动室内导航在办公室环境中,在城市环境中的空中货物交付与负载位移的限制。我们的研究结果表明,在任务完成的RL代理自己和传统的抽样为基础的规划。在室内导航任务中,PRM-RL在嘈杂的传感器条件下成功完成了长达215米的轨迹,而空中货物交付在比训练中使用的环境大6300万倍的环境中完成了超过1000米的飞行,而没有违反任务限制。
2018-05-16 cs.AI cs.LG cs.RO
VINet: Visual and Inertial-based Terrain Classification and Adaptive Navigation over Unknown Terrain
Baidu USA(百度美国);University of Maryland, College Park(马里兰大学帕克分校)
我们提出了一个视觉和惯性为基础的地形分类网络(VINet)的机器人导航在不同的可穿越的表面。我们使用一种新的基于导航的标记方案的地形分类和概括未知的表面。我们提出的感知方法和自适应调度控制框架可以根据地形导航特性进行预测,并在已知和未知表面上的地形分类和导航控制上都有更好的性能。我们的VINet在已知地形上的监督设置下的准确率可以达到98.37%,与以前的方法相比,在未知地形上的准确率提高了8.51%。我们部署VINet的移动跟踪机器人的轨迹跟踪和导航在不同的地形,我们证明了10.3%的改进相比,基线控制器的RMSE。
2023-03-01 cs.CV cs.RO
LOViS: Learning Orientation and Visual Signals for Vision and Language Navigation
Michigan State University(密歇根州立大学)
对于遵循自然语言指令的导航代理来说,理解空间和视觉信息是必不可少的。目前基于Transformer的VLN代理纠缠的方向和视觉信息,这限制了从每个信息源的学习的增益。在本文中,我们设计了一个神经代理明确的方向和视觉模块。这些模块学习更有效地将空间信息和指示中提到的地标与视觉环境联系起来。为了加强智能体的空间推理和视觉感知,我们设计了特定的预训练任务,以在最终的导航模型中提供和更好地利用相应的模块。我们在Room2room(R2R)和Room4room(R4R)数据集上评估了我们的方法,并在这两个基准测试中获得了最先进的结果。
2022-09-26 cs.AI cs.CV
Ordinal Neural Collapse as a Representation Prior for Visual Navigation
Seoul National University(首尔大学)
针对视觉模仿学习中编码器学习到模糊、动作无关表征的问题,提出ORION方法,利用导航动作的序数结构显式组织表征空间,在仿真和真实环境中显著提升导航成功率。
2026-08-10 cs.CV cs.RO
Visual Navigation with Spatial Attention
Technion(以色列理工学院)
这项工作的重点是对象的目标视觉导航,旨在找到一个对象的位置从一个给定的类,在每一步中的代理提供了一个自我中心的RGB图像的场景。我们建议使用强化学习算法来学习代理的策略。我们的主要贡献是一个新的注意力概率模型的视觉导航任务。这种注意编码了关于观察对象的语义信息,以及关于它们的位置的空间信息。“什么”和“哪里”的这种组合允许代理有效地导航到所寻找的对象。注意力模型,以改善代理的政策,并实现国家的最先进的结果在常用的数据集。
2021-04-20 cs.CV cs.LG
Visual Pre-training for Navigation: What Can We Learn from Noise?
MIT(麻省理工学院)
提出基于合成噪声图像自监督预测随机裁剪的视觉预训练方法,学习可迁移至自然图像的表示,以高效引导导航策略学习,解决端到端导航数据效率低的问题。
2023-07-26 cs.AI cs.CV cs.LG
Bayesian Relational Memory for Semantic Visual Navigation
UC Berkeley(加州大学伯克利分校);Facebook AI Research(Facebook人工智能研究院);Technion(以色列理工学院);OpenAI
我们引入了一种新的内存架构,贝叶斯关系内存(BRM),以提高泛化能力的语义视觉导航代理在看不见的环境中,代理被赋予一个语义目标导航。BRM采用语义实体上的概率关系图的形式(例如,房间类型),这允许(1)从训练环境中事先捕获布局,即,先验知识,(2)估计测试时的后验布局,即,存储器更新和(3)有效的导航规划。我们开发了一个BRM代理组成的BRM模块,用于产生子目标和控制的目标条件运动模块。当在看不见的环境中进行测试时,BRM代理的性能优于没有显式利用概率关系内存结构的基线
2019-09-10 cs.CV cs.LG cs.RO
Touchdown: Natural Language Navigation and Spatial Reasoning in Visual Street Environments
ASAPP Inc.(ASAPP公司);Cornell University(康奈尔大学)
我们通过一个导航和空间推理任务来研究语言和视觉的联合推理问题。我们引入了着陆任务和数据集,其中代理必须首先在现实生活中的视觉城市环境中遵循导航指令,然后识别用自然语言描述的位置,以在目标位置找到隐藏的对象。数据包含9,326个英语指令和空间描述的示例,并配有演示。实证分析表明,数据提出了一个开放的挑战,现有的方法,和定性语言分析表明,数据显示更丰富的空间推理的使用相比,相关的资源。
2020-05-16 cs.AI cs.CL cs.CV
Deep Learning for Embodied Vision Navigation: A Survey
Monash University(莫纳什大学);University of Chinese Academy of Sciences(中国科学院大学);Sun Yat-sen University(中山大学);RMIT University(皇家墨尔本理工大学)
“虚拟视觉导航”问题要求智能体主要依靠第一人称观察在三维环境中进行导航。近年来,由于其在自动驾驶、真空吸尘器和救援机器人中的广泛应用,该问题引起了越来越多的关注。导航Agent应该具有视觉感知、地图绘制、规划、探索和推理等多种智能技能,构建一个能够观察、思考和行动的Agent是实现真正智能的关键。深度学习方法的显著学习能力使智能体能够完成具体的视觉导航任务。尽管如此,体现视觉导航仍然处于起步阶段,因为需要很多先进的技能,包括感知部分观察到的视觉输入,探索看不见的区域,记忆和建模看到的场景,理解跨模态指令,适应新的环境等。最近,体现视觉导航已经引起了社会的关注,并提出了许多工作来学习这些技能。本文试图通过提供一个全面的文献调查,建立一个轮廓,目前的作品在该领域的体现视觉导航。我们总结了基准和指标,回顾了不同的方法,分析了挑战,并强调了最先进的方法。最后,我们讨论了尚未解决的挑战,体现视觉导航领域,并在追求未来的研究方向。
2021-10-11 cs.CV cs.RO
Multimodal Large Language Model for Visual Navigation
Apple(苹果公司);University of North Carolina, Chapel Hill(北卡罗来纳大学教堂山分校)
该研究针对现有视觉导航依赖复杂提示工程的问题,提出结合历史收集器模型、无需复杂提示的微调多模态大语言模型方法,在HM3D数据集上训练后效果优于现有最优行为克隆方法并降低碰撞率。
2023-11-06 cs.CV cs.RO
Towards Unified World Models for Visual Navigation via Memory-Augmented Planning and Foresight
University of Washington(华盛顿大学);National University of Singapore(新加坡国立大学);Apple(苹果公司);Microsoft Research(微软研究院);Carnegie Mellon University(卡内基梅隆大学)
本文提出UniWM,一种整合视觉前瞻性与规划的统一世界模型,通过记忆机制提升导航鲁棒性和泛化能力,在多个基准测试中显著提升导航成功率。
2026-10-19 cs.AI cs.CV cs.RO
Unifying Map and Landmark Based Representations for Visual Navigation
UC Berkeley(加州大学伯克利分校)
这项工作提出了一个可视化导航,统一基于地图的空间推理和路径规划,在嘈杂的环境中,基于地标的强大的计划执行制定。我们提出的公式是从数据中学习的,因此能够利用世界的统计数据。这使得它能够在新的环境中有效地导航,只需要一组稀疏的注册图像作为空间构建表示的输入。我们的配方是基于三个关键的想法:一个学习的路径规划器,输出路径计划,以达到目标,一个功能合成引擎,预测功能的位置沿规划的路径,和一个学习的目标驱动的闭环控制器,可以按照这些合成功能的计划。我们测试我们的目标驱动的导航方法在模拟现实世界的环境中,并报告性能增益超过竞争力的基线方法。
2017-12-21 cs.CV cs.LG cs.RO
Zero-Shot Object Goal Visual Navigation With Class-Independent Relationship Network
Northwestern Polytechnical University(西北工业大学);School of Computer Science(计算机学院);Faculty of Computer Technology(计算机技术学院);Chinese People’s Liberation Army Unit 32620(中国人民解放军32620部队)
本文提出类无关关系网络(CIRN),通过相似度排序解耦导航能力与目标特征,利用图卷积网络学习对象关系,实现零样本目标视觉导航,在AI2-THOR中超越现有方法。
2024-03-14 cs.CV cs.RO
Graph Attention Memory for Visual Navigation
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
复杂环境下的视觉导航,传统的反应式策略或通用的递归策略是低效的。针对长期记忆问题,提出了一种由记忆构建模块、图注意模块和控制模块组成的图注意记忆结构。存储器构建模块以探索优先为原则,构建基于监督学习的拓扑图。然后,引导注意力特征提取与图形注意力模块。最后,基于深度强化学习的控制模块基于视觉观察和引导注意力特征做出决策。本文详细分析了GAM算法的收敛性。我们评估了基于GAM的导航系统在两个复杂的三维环境。实验结果表明,基于GAM的导航系统显著提高了学习效率,平均成功率优于所有基线。
2019-06-04 cs.AI cs.CV
Aerial World Model for Long-horizon Visual Generation and Navigation in 3D Space
Tsinghua University(清华大学)
ANWM是一种空域导航世界模型,通过预测未来视觉观察来提升无人机在大规模3D空间中的长视距导航性能。
2026-01-03 cs.AI cs.RO
Zero-shot object goal visual navigation
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Tongji University(同济大学)
目标视觉导航是一项具有挑战性的任务,其目的是引导机器人根据其视觉观察找到目标物体,并且目标仅限于训练阶段预先定义的类别。然而,在现实家庭中,可能存在许多机器人需要处理的目标类别,并且很难在训练阶段包含所有这些类别。为了解决这一挑战,我们研究了zero-shot目标视觉导航任务,其目的是引导机器人找到属于新类别的目标,而无需任何训练样本。为此,我们还提出了一种新的zero-shot对象导航框架,称为语义相似性网络(SSNet)。我们的框架使用检测结果和语义词嵌入之间的余弦相似度作为输入。这种类型的输入数据与类的相关性很弱,因此我们的框架能够将策略推广到新的类。在AI 2-THOR平台上的大量实验表明,该模型在zero-shot目标导航任务中的性能优于基准模型,证明了该模型的泛化能力。我们的代码可在https://github.com/pioneer-innovation/Zero-Shot-Object-Navigation上获取。
2023-02-20 cs.AI cs.CV
Deep Learning-Powered Visual SLAM Aimed at Assisting Visually Impaired Navigation
Institute of Computer Science, ZHAW School of Engineering(苏黎世应用科技大学工程学院计算机科学研究所);Department of Informatics, University of Zurich(苏黎世大学信息学系)
本文提出SELM-SLAM3框架,结合SuperPoint和LightGlue提升特征提取与匹配鲁棒性,在低纹理、运动模糊等挑战性条件下实现更精确的定位与跟踪,提升视障导航可靠性。
2026-04-09 cs.CV cs.RO
Visual SLAM-based Localization and Navigation for Service Robots: The Pepper Case
Universidad de Chile(智利大学);Advanced Mining Technology Center(先进采矿技术中心);Delft University of Technology(代尔夫特理工大学)
提出了一种基于Visual-SLAM的服务机器人定位导航系统。我们的系统是建立在ORB-SLAM单目系统的顶部,但通过在估计过程中加入车轮里程计来扩展。作为一个案例研究,所提出的系统进行了验证,使用胡椒机器人,其短程激光雷达和RGB-D相机不允许机器人在大环境中进行自定位。定位系统在两种不同的环境中使用Pepper进行导航任务测试:中型实验室和大型大厅。
2018-11-20 cs.CV cs.RO
Recursive Visual Imagination and Adaptive Linguistic Grounding for Vision Language Navigation
针对视觉语言导航中场景表示过细、视觉-语言对齐模糊的问题,提出结合递归视觉想象与自适应语言接地的导航策略,在VLN-CE和ObjectNav任务上性能超越现有最优方法。
2025-07-29 cs.CV cs.RO
Learning View and Target Invariant Visual Servoing for Navigation
George Mason University(乔治梅森大学)
深度强化学习的进步最近重新唤起了人们对基于数据驱动学习的导航方法的兴趣。在本文中,我们提出了本地移动机器人导航学习视点不变和目标不变视觉伺服;给定初始视图和目标视图或目标图像,我们训练深度卷积网络控制器以达到预期目标。我们提出了一个新的架构,这个任务依赖于建立初始和目标视图之间的对应关系和新的奖励结构的传统的反馈控制错误的动机的能力。该模型的优点是不需要标定和深度信息,在各种环境和目标下实现鲁棒的视觉伺服,无需任何参数微调。我们提出了全面的评估方法,并与其他深度学习架构以及视觉逼真的仿真环境中的经典视觉伺服方法进行了比较。该模型克服了传统视觉伺服方法的脆弱性,并取得了显着更高的泛化能力相比,以前的学习方法。
2020-03-04 cs.CV cs.RO
SSCNav: Confidence-Aware Semantic Scene Completion for Visual Semantic Navigation
本文重点介绍视觉语义导航,主动代理导航到一个特定的目标对象类别在一个未知的环境中产生的行动的任务。为了完成这个任务,算法应该同时定位和导航到类别的实例。与传统的点目标导航相比,该任务要求智能体在室内环境之前具有更强的上下文。我们介绍SSCNav,一种算法,明确地使用一个信任感知语义场景完成模块来完成场景和指导代理的导航规划模型的场景先验。给定对环境的部分观察,SSCNav首先推断出一个完整的场景表示,其中包含未观察场景的语义标签以及与其自身预测相关联的置信度图。然后,策略网络从场景完成结果和置信度图推断动作。实验结果表明,该场景补全模块提高了下游导航策略的效率。视频、代码和数据:https://sscnav.cs.columbia.edu/
2021-03-22 cs.CV cs.RO
Optimizing Gaze Direction in a Visual Navigation Task
Tampere University of Technology(坦佩雷理工大学)
在未知环境中的导航由多个可分离的子任务组成,例如收集有关周围环境的信息并导航到当前目标。在纯视觉导航的情况下,所有这些子任务都需要利用相同的视觉系统,因此需要一种最佳控制焦点方向的方法。我们提出了一个案例研究,在那里我们建模的主动传感问题,指导移动机器人的目光与三个机器视觉摄像头作为一个部分可观察的马尔可夫决策过程(POMDP)使用的互信息(MI)为基础的奖励函数。该解决方案的关键方面是摄像机可以动态地用于单目或立体配置。使用所提出的主动传感实现的好处与模拟和实验上一个真正的机器人证明。
2016-02-16 cs.CV cs.RO
CARE: Enhancing Safety of Visual Navigation through Collision Avoidance via Repulsive Estimation
Department of Electronic Engineering, Sogang University(电子工程系,首尔大学);Robotics Institute, Carnegie Mellon University(机器人研究所,卡内基梅隆大学)
提出CARE模块,通过RGB估计深度并计算斥力向量调整轨迹,无需微调或额外传感器,显著降低视觉导航碰撞率并提升探索距离。
2025-08-08 cs.CV cs.RO
Towards Generalisable Audio Representations for Audio-Visual Navigation
University of Sydney(悉尼大学)
在视听导航(AVN)中,智能体需要根据其听觉和视觉感知在复杂的3D环境中导航到不断发声的对象。虽然现有的方法试图提高导航性能与精确设计的路径规划或复杂的任务设置,没有改善的模型概括听不到的声音与任务设置不变。因此,我们提出了一个基于对比学习的方法来解决这个挑战,通过正规化的音频编码器,声音不可知的目标驱动的潜在表示可以从不同类别的各种音频信号学习。此外,我们考虑了两个数据增强策略来丰富训练声音。我们证明,我们的设计可以很容易地装备到现有的AVN框架,以获得立即的性能增益(13.4% $\uparrow$在SPL上的MP3D和12.2% $\uparrow$在SPL上的MP3D)。我们的项目可以在https://AV-GeN.github.io/上找到。
2022-06-01 cs.CV cs.LG cs.RO
PROBE: Predictive Robust Estimation for Visual-Inertial Navigation
Institute for Aerospace Studies, University of Toronto(多伦多大学航空航天研究所)
在未知、混乱的环境中导航仍然是机器人社区面临的一个重大挑战。光照变化、自相似纹理、运动模糊和移动物体都是最先进的基于视觉的导航算法的绊脚石。在本文中,我们提出了一种新的技术,提高定位精度的视觉惯性导航系统(VINS)。我们利用训练数据来学习在给定环境中相对于定位误差的视觉特征的质量的模型。该模型将来自视觉惯性预测器的预定义预测空间的每个视觉观测映射到标量权重上,然后使用该标量权重来缩放观测协方差矩阵。通过这种方式,我们的模型可以根据其质量调整每个观察的影响。我们讨论了我们选择的预测和报告的定位误差大幅减少4公里的数据从KITTI数据集,以及实验数据集组成的700米的室内和室外驾驶的小型地面漫游车配备了Skybotix VI传感器。
2019-08-05 cs.CV cs.RO
STRNet: Visual Navigation with Spatio-Temporal Representation through Dynamic Graph Aggregation
Sun Yat-sen University(中山大学);Insta360 Research(Insta360 研究院);Wuhan University(武汉大学)
本文提出一种统一的时空表示框架,通过融合图像序列和目标观测,提升机器人导航的视觉编码能力,改进导航性能并提供通用的视觉骨干网络。
2026-04-03 cs.CV cs.RO
Situational Fusion of Visual Representation for Visual Navigation
Stanford University(斯坦福大学);Facebook AI Research(脸书人工智能研究院)
一个复杂的视觉导航任务把一个代理在不同的情况下,要求不同范围的视觉感知能力。例如,为了“去最近的椅子”,智能体可能需要使用语义来识别客厅中的椅子,使用消失点线索沿着走廊走,并使用深度来避开障碍物。因此,利用适当的视觉感知能力的基础上的视觉环境的情境理解可以使这些导航模型在看不见的视觉环境。我们建议训练一个代理融合一个大的视觉表示,对应于不同的视觉感知能力。为了充分利用每个表示,我们开发了一个动作级表示融合方案,该方案从每个表示中预测动作候选,并自适应地将这些动作候选合并到最终动作中。此外,我们采用数据驱动的任务间亲和度正则化来减少冗余并提高泛化能力。与ImageNet预训练基线和其他融合方法相比,我们的方法在新的环境中显着提高了性能。
2021-08-03 cs.CV
Catch Me If You Hear Me: Audio-Visual Navigation in Complex Unmapped Environments with Moving Sounds
University of Freiburg(弗莱堡大学)
视听导航结合视觉和听觉,在未映射的环境中导航到声音发射源。虽然最近的方法已经证明了音频输入在检测和找到目标方面的好处,但它们专注于干净和静态的声源,并且难以推广到听不到的声音。在这项工作中,我们提出了一种新的动态视听导航基准,它需要在嘈杂和分散注意力的声音环境中捕捉移动声源,这带来了一系列新的挑战。我们引入了一种强化学习方法,该方法可以为这些复杂的设置学习一个强大的导航策略。为了实现这一目标,我们提出了一个架构,融合视听信息的空间特征空间学习相关的几何信息固有的本地地图和音频信号。我们证明了我们的方法在两个具有挑战性的3D扫描现实世界环境(即Matterport3D和Matterport3D)中,在移动声音、未听到的声音和嘈杂环境的所有任务中,都始终优于当前最先进的方法。该基准可在http://dav-nav.cs.uni-freiburg.de上获得。
2023-01-03 cs.CV cs.LG cs.RO
GoViG: Goal-Conditioned Visual Navigation Instruction Generation via Multimodal Reasoning
University of Washington(华盛顿大学);The Hong Kong Polytechnic University(香港理工大学);Microsoft Research(微软研究院);Carnegie Mellon University(卡内基梅隆大学)
本文提出GoViG任务,通过多模态推理生成基于初始和目标状态的视觉导航指令,采用自回归多模态大语言模型提升空间准确性和语言清晰度,提出两种多模态推理策略并构建R2R-Goal数据集验证方法有效性。
2026-04-29 cs.AI cs.CV