arXivDaily arXiv每日学术速递 周一至周五更新
​通知:联邦节假日调休:哥伦布日 / 原住民日(Columbus Day / Indigenous Peoples' Day),今日(13日)无更新。
arXiv 2305.12427cs.CV

VL-Fields:迈向语言引导的神经隐式空间表示

VL-Fields: Towards Language-Grounded Neural Implicit Spatial Representations

University of Edinburgh(爱丁堡大学)

Nikolaos Tsagkas, Oisin Mac Aodha, Chris Xiaoxuan Lu

AI总结:

本文提出 VL-Fields,一种无需场景类别先验、融合几何与视觉-语言特征的神经隐式空间表示,在语义分割上比 CLIP-Fields 提升近 10%。

摘要:

我们提出了视觉-语言场(VL-Fields),这是一种神经隐式空间表示,能够支持开放词汇的语义查询。我们的模型通过从语言驱动的分割模型中蒸馏信息,将场景的几何结构与视觉-语言训练的潜在特征进行编码和融合。VL-Fields 在训练时不需要任何关于场景物体类别的先验知识,这使其成为机器人领域一种很有前景的表示方法。在语义分割任务中,我们的模型比类似的 CLIP-Fields 模型性能高出近 10%。

英文摘要:

We present Visual-Language Fields (VL-Fields), a neural implicit spatial representation that enables open-vocabulary semantic queries. Our model encodes and fuses the geometry of a scene with vision-language trained latent features by distilling information from a language-driven segmentation model. VL-Fields is trained without requiring any prior knowledge of the scene object classes, which makes it a promising representation for the field of robotics. Our model outperformed the similar CLIP-Fields model in the task of semantic segmentation by almost 10%.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑