Pushing it out of the Way: Interactive Visual Navigation
University of Washington（华盛顿大学）；Allen Institute for AI（艾伦人工智能研究所）
我们已经观察到显着的进展，在视觉导航体现代理。研究视觉导航的一个常见假设是环境是静态的;这是一个限制性假设。智能导航可能涉及与环境交互，而不仅仅是向前/向后移动和向左/向右转弯。有时候，最好的导航方式就是把一些东西推开。在本文中，我们研究了交互式导航的问题，其中代理人学会改变环境，更有效地导航到他们的目标。为此，我们引入神经交互引擎（NIE）来明确预测代理的行为所引起的环境变化。通过建模的变化，而规划，我们发现，代理表现出显着的改善，他们的导航能力。更具体地说，我们考虑了两个下游任务中的物理功能，视觉丰富，AI 2-THOR环境：（1）到达目标，而目标的路径被封锁（2）移动一个对象到目标位置通过推动它。对于这两个任务，代理配备了NIE显着优于代理没有理解的行动的效果，表明我们的方法的好处。
2021-05-02 cs.AI cs.CV cs.RO
Navigating to Objects in Unseen Environments by Distance Prediction
ByteDance AI Lab（字节跳动人工智能实验室）
对象目标导航（ObjectNav）任务是在没有预先构建的地图的情况下将代理导航到不可见环境中的对象类别。在本文中，我们解决了这个任务，通过预测的距离，目标使用语义相关的对象作为线索。基于到目标对象的估计距离，我们的方法直接选择最佳中期目标，这些目标更有可能具有到目标的较短路径。具体来说，基于学习到的知识，我们的模型以鸟瞰语义地图作为输入，并估计从边界地图单元到目标对象的路径长度。通过估计的距离地图，智能体可以同时探索环境并基于简单的人类设计策略导航到目标对象。在视觉逼真的仿真环境中的实验结果表明，所提出的方法优于广泛的基线的成功率和效率。真实机器人实验也表明，我们的方法很好地推广到现实世界。https://www.youtube.com/watch?上的视频v=R79pWVGFKS4
2022-07-13 cs.CV cs.RO
Learning To Follow Directions in Street View
DeepMind（深度思维）
导航和理解现实世界仍然是机器学习的关键挑战，并激发了语言基础，规划，导航和计算机视觉等领域的各种研究。我们提出了一个预防以下的任务，需要所有上述内容，并结合了模拟环境的实用性与模糊，嘈杂的现实世界的数据的挑战。StreetNav是建立在谷歌街景之上，并提供视觉上准确的环境，代表真实的地方。智能体被给予驾驶指令，他们必须学会解释这些指令，以便在这种环境中成功导航。由于配备了驾驶指令的人类可以很容易地在以前看不见的城市中导航，我们设定了一个高标准，并测试我们训练有素的代理人的类似认知能力。虽然深度强化学习（RL）方法通常只在紧密遵循训练分布的数据上进行评估，但我们的数据集扩展到多个城市，并且具有清晰的训练/测试分离。这允许全面测试概括能力。本文介绍了StreetNav环境和任务，建立强大基线的模型，以及对任务和经过训练的代理的广泛分析。
2019-11-21 cs.AI cs.CL cs.CV
Explore and Explain: Self-supervised Navigation and Recounting
University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学）
本文提出一种新型具身智能体设置，结合带惩罚的自监督探索模块与全注意力字幕模型，研究环境与导航驱动的解释时机选择策略，在Matterport3D数据集上验证了导航、解释能力及二者交互的作用。
2020-07-14 cs.AI cs.CL cs.CV
Vision-based Navigation with Language-based Assistance via Imitation Learning with Indirect Intervention
University of Maryland, College Park（马里兰大学帕克分校）；Microsoft Research, Redmond（微软研究院雷德蒙德分院）
我们提出了基于视觉的导航与基于图像的协助（VNLA），一个接地的视觉语言任务，通过语言引导具有视觉感知的代理在逼真的室内环境中找到对象。该任务模拟了现实世界的场景，因为（a）请求者可能不知道如何导航到目标对象，因此仅通过指定高级别的最终目标来发出请求，以及（b）代理能够感知何时丢失并查询在任务中更有资格的顾问，以获得语言子目标以取得进展。为了模拟基于语言的援助，我们开发了一个通用的框架，称为模仿学习与间接干预（I3 L），并提出了一个解决方案，是有效的VNLA任务。实证结果表明，这种方法显着提高了成功率的学习代理超过其他基线在可见和不可见的环境。我们的代码和数据可在https://github.com/debadeepta/vnla上公开获取。
2019-04-06 cs.CL cs.CV cs.LG
Human-like compositional learning of visually-grounded concepts using synthetic environments
Nanyang Technological University（南洋理工大学）；Harvard University（哈佛大学）；Centre for Frontier AI Research, A*STAR（新加坡科技研究局前沿人工智能研究中心）
本文在3D合成环境中研究多模态强化学习智能体如何通过试错学习将限定词和介词等复杂概念与视觉目标组合基础化，并证明课程学习可减少15%训练回合、提升学习效率，使智能体能够分解未见指令并快速适应新视觉组合。
2025-04-09 cs.CV
Collaborative Visual Navigation
Peking University（北京大学）；SenseTime Research（商汤科技研究院）；ETH Zurich（苏黎世联邦理工学院）
多智能体系统（MAS）作为人工智能的一个基本问题，在多智能体强化学习（MARL）技术的推动下，取得了飞速的发展。然而，以前的MARL方法主要集中在网格世界或游戏环境中，MAS在视觉丰富的环境中仍然很少探索。为了缩小这一差距，强调感知在MAS中的关键作用，我们提出了一个大规模的3D数据集，CollaVN，多智能体视觉导航（MAVN）。在CollaVN中，需要多个代理在逼真的环境中协作导航以到达目标位置。不同的MAVN变量进行了探索，使我们的问题更一般。此外，提出了一种内存增强的通信框架。每个代理都配备了一个私有的外部存储器，用于永久存储通信信息。这使代理能够更好地利用他们过去的通信信息，实现更有效的协作和强大的长期规划。在我们的实验中，设计了几个基线和评估指标。我们还实证验证了我们提出的MARL方法在不同的MAVN任务设置的有效性。
2021-07-20 cs.AI cs.CV cs.RO
Embodied Navigation at the Art Gallery
University of Modena and Reggio Emilia（摩德纳与雷焦艾米利亚大学）
本研究构建发布了全新美术馆3D环境ArtGallery3D及对应PointGoal导航基准，实验证实现有具身导航方法难以适配该稀疏占用的开阔场景，将推动相关研究进展。
2022-04-19 cs.AI cs.CV cs.RO
Sari Sandbox: A Virtual Retail Store Environment for Embodied AI Agents
EEEI, University of the Philippines（电子工程学院，菲律宾大学）；AI Graduate Program, University of the Philippines（人工智能研究生项目，菲律宾大学）
该研究提出高保真3D零售仿真环境Sari Sandbox及配套人类演示数据集SariBench，支持VR人类交互与VLM驱动的具身智能体运行，填补零售领域具身智能训练环境空白，提供性能基准与优化方向。
2025-08-01 cs.CV
PersONAL: Towards a Comprehensive Benchmark for Personalized Embodied Agents
University of Padova（帕多瓦大学）；Fondazione Bruno Kessler（布鲁诺·科塞拉基金会）
该论文提出PersONAL基准，用于评估具身智能体在家庭环境中根据自然语言查询定位和导航至特定用户物体的能力，包含2000多个高质量片段，实验显示现有模型与人类表现差距显著。
2025-09-24 cs.CV cs.RO
CLEAR: Improving Vision-Language Navigation with Cross-Lingual, Environment-Agnostic Representations
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
视觉和语言导航（VLN）任务需要代理根据语言指令在环境中导航。在本文中，我们的目标是解决这一任务中的两个关键挑战：利用多语言指令来改善训练路径的基础，并在训练过程中看不到的新环境中导航。为了应对这些挑战，我们提出了CLEAR：跨语言和环境无关的表示。首先，我们的代理在Room-Across-Room数据集中学习三种语言（英语，印地语和泰卢固语）的共享和视觉对齐的跨语言语言表示。我们的语言表示学习由视觉信息对齐的文本对指导。其次，我们的代理学习环境不可知的视觉表示，通过最大限度地提高语义对齐的图像对（对象匹配的约束）从不同的环境之间的相似性。我们的环境无关的视觉表示可以减轻低层次视觉信息引起的环境偏见。从经验上讲，在Room-Across-Room数据集上，我们证明了我们的多语言代理在使用跨语言语言表示和与环境无关的视觉表示推广到看不见的环境时，在强基线模型的所有指标上都有很大的改进。此外，我们表明，我们学到的语言和视觉表征可以成功地转移到房间到房间和合作的视觉和对话导航任务，并提出详细的定性和定量的概括和接地分析。我们的代码可在https://github.com/jialuli-luka/CLEAR上获得
2022-07-05 cs.AI cs.CL cs.CV
InCrowd-VI: A Realistic Visual-Inertial Dataset for Evaluating SLAM in Indoor Pedestrian-Rich Spaces for Human Navigation
Institute of Applied Information Technology, Zurich University of Applied Sciences（苏黎世应用科技大学应用信息技术学院）；University of Zurich（苏黎世大学）
本文提出 InCrowd-VI 真实视觉-惯性数据集，涵盖室内行人密集场景，并通过评测 VO/SLAM 算法揭示其精度、漂移与实时性不足。
2024-12-17 cs.CV cs.RO
A New Path: Scaling Vision-and-Language Navigation with Synthetic Instructions and Imitation Learning
Google Research（谷歌研究院）；New York University（纽约大学）；Carnegie Mellon University（卡内基梅隆大学）；Apple（苹果公司）
本文提出利用合成导航指令和GAN生成新视角图像构建大规模VLN数据集，并通过模仿学习训练Transformer智能体，在RxR上显著超越现有RL方法。
2023-04-17 cs.CL cs.CV cs.LG
World-Consistent Data Generation for Vision-and-Language Navigation
State Key Lab (SKL) of Processors, Institute of Computing Technology (ICT), Chinese Academy of Sciences (CAS), Beijing, China, the University of Chinese Academy of Sciences, Beijing, China（中国科学院计算技术研究所（ICT）、中国科学院软件研究所（CAS）、北京，中国，中国科学院大学（UCAAS））
本文针对视觉与语言导航中的数据稀缺问题，提出了一种世界一致性数据生成框架WCGEN，通过点云技术和角度合成方法确保数据多样性与世界一致性，显著提升了智能体在未见环境中的泛化能力并取得最先进结果。
2025-06-25 cs.CV
SoundSpaces: Audio-Visual Navigation in 3D Environments
UT Austin（德克萨斯大学奥斯汀分校）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；Facebook Reality Labs（Facebook 现实实验室）；Facebook AI Research（Facebook 人工智能研究院）
在世界上四处移动自然是一种多感官体验，但今天的实体代理是聋子-仅限于他们对环境的视觉感知。我们为复杂的、声学上和视觉上逼真的3D环境引入了视听导航。通过视觉和听觉，智能体必须学会导航到发声物体。我们提出了一种多模态深度强化学习方法，用于从以自我为中心的视听观察流中端到端地训练导航策略，允许代理（1）发现由混响音频指示的物理空间的几何元素，以及（2）检测和跟踪发声目标。我们进一步介绍SoundSpaces：这是首个基于两组公开可用的3D环境（Matterport 3D和Matterport）的几何声学模拟的音频渲染数据集，我们为Habitat提供仪器以支持新的传感器，从而可以在真实世界的扫描环境阵列中插入任意声源。我们的研究结果表明，音频极大地有利于3D空间中的嵌入式视觉导航，我们的工作为具有视听感知的嵌入式AI的新研究奠定了基础。
2020-08-21 cs.CV cs.HC cs.SD
PanoGen: Text-Conditioned Panoramic Environment Generation for Vision-and-Language Navigation
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
本文提出 PanoGen，通过文本条件扩散模型与递归外绘生成多样化全景环境，用于 VLN 预训练和微调，在 Room-to-Room、Room-for-Room 和 CVDN 上取得新 SOTA。
2023-05-30 cs.AI cs.CL cs.CV
