arXivDaily arXiv每日学术速递 周一至周五更新
​通知:联邦节假日调休:哥伦布日 / 原住民日(Columbus Day / Indigenous Peoples' Day),今日(13日)无更新。
arXiv 2602.15899cs.ROeess.IV

SceneVGGT: 基于VGGT的在线3D语义SLAM用于室内场景理解和导航

SceneVGGT: VGGT-based online 3D semantic SLAM for indoor scene understanding and navigation

Pázmány Péter Catholic University(帕梅尼·彼得天主教大学);Eötvös Loránd University(欧多尼·洛兰德大学)

Anna Gelencsér-Horváth, Gergely Dinya, Dorka Boglárka Erős, Péter Halász, Islam Muhammad Muqsit, Kristóf Karacs

AI总结:

SceneVGGT基于VGGT实现高效的在线3D语义SLAM,用于室内场景理解和导航,通过滑动窗口管道实现长视频流处理,结合语义映射与SLAM,提升导航的鲁棒性和交互性。

摘要:

我们提出了SceneVGGT,一种结合SLAM与语义映射的时空3D场景理解框架,用于自主和辅助导航。基于VGGT,我们的方法通过滑动窗口管道扩展到长视频流。我们使用相机姿态变换对局部子地图进行对齐,从而在保持几何一致性的同时实现内存和速度高效的映射。通过VGGT跟踪头将2D实例掩膜提升到3D对象,维持时间一致的身份以进行变化检测。作为概念验证,对象位置被投影到估计的地板平面上以支持辅助导航。该管道的GPU内存使用始终低于17GB,无论输入序列的长度如何,并在ScanNet++基准上实现了具有竞争力的点云性能。总体而言,SceneVGGT确保了鲁棒的语义识别,并且速度快到足以支持具有音频反馈的交互式辅助导航。

英文摘要:

We present SceneVGGT, a spatio-temporal 3D scene understanding framework that combines SLAM with semantic mapping for autonomous and assistive navigation. Built on VGGT, our method scales to long video streams via a sliding-window pipeline. We align local submaps using camera-pose transformations, enabling memory- and speed-efficient mapping while preserving geometric consistency. Semantics are lifted from 2D instance masks to 3D objects using the VGGT tracking head, maintaining temporally coherent identities for change detection. As a proof of concept, object locations are projected onto an estimated floor plane for assistive navigation. The pipeline's GPU memory usage remains under 17 GB, irrespectively of the length of the input sequence and achieves competitive point-cloud performance on the ScanNet++ benchmark. Overall, SceneVGGT ensures robust semantic identification and is fast enough to support interactive assistive navigation with audio feedback.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑