通过立体视觉和中等层次视觉增强动态城市导航
Stereo4DWalker: Learning 4D-aware Embodied Urban Navigation from Internet Stereo Videos
AI总结：
本文提出StereoWalker，通过引入立体视觉和中等层次视觉模块，提升动态城市导航性能，仅用1.5%数据即可达到先进水平。
摘要：
基于语言和视觉的基础模型的成功促使了全端到端机器人导航基础模型（NFMs）的研究。NFMs直接将单目视觉输入映射到控制动作，并完全忽略中等层次视觉模块（跟踪、深度估计等）。虽然假设视觉能力会隐式出现的假设具有吸引力，但需要大量的像素到动作监督数据，这些数据难以获得。在动态和无结构的环境中，这一挑战尤为突出，因为稳健的导航需要精确的几何和动态理解，而单目视图中的深度尺度模糊进一步限制了准确的空间推理。在本文中，我们表明依赖单目视觉并忽略中等层次视觉先验是低效的。我们提出了StereoWalker，它通过立体输入和显式的中等层次视觉（如深度估计和密集像素跟踪）增强了NFMs。我们的直觉是显而易见的：立体输入消除了深度尺度的模糊，而现代中等层次视觉模型在动态场景中提供了可靠的几何和运动结构。我们还精心整理了一个大型立体导航数据集，通过自动动作标注从互联网立体视频中获取，以支持StereoWalker的训练并促进未来研究。通过我们的实验，我们发现中等层次视觉使StereoWalker在仅使用1.5%的训练数据时能够达到与最先进方法相当的性能，并在使用全部数据时超越了最先进方法。我们还观察到立体视觉在导航性能上优于单目输入。
英文摘要：
Despite rapid progress, embodied navigation in dynamic and unstructured urban environments remains brittle. Most existing approaches directly map monocular visual inputs to actions through end-to-end pixel-to-action training, assuming that accurate spatiotemporal (4D) scene understanding will emerge implicitly. While appealing, this paradigm requires large amounts of pixel-to-action supervision that are difficult to obtain. This challenge is amplified in dynamic, unstructured settings, where robust navigation requires precise 4D scene modeling. To address these limitations, we present Stereo4DWalker, a 4D-aware embodied navigation model that leverages stereo inputs and explicitly builds structured 4D representations of geometry and motion. These 4D structures are integrated into the navigation transformer through simple yet effective 4D-conditioned attention layers. To support scalable training, we curate a large-scale stereo navigation dataset with automatically annotated actions from Internet stereo videos. Our experiments show that Stereo4DWalker surpasses state-of-the-art performance using only 1.5% of the training data, highlighting the effectiveness of explicit 4D visual modeling for data-efficient and robust urban navigation.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
