Mono3DVG：单目图像中的3D视觉定位
Mono3DVG: 3D Visual Grounding in Monocular Images
AI总结：
本研究提出单目RGB图像3D视觉定位新任务，构建了带几何文本描述的Mono3DRefer数据集，提出基于Transformer的Mono3DVG-TR网络，通过深度预测器、双文本引导适配器等实现多模态融合，性能显著优于所有基线。
摘要：
我们提出了单目RGB图像中的3D视觉定位新任务，该任务利用同时包含外观与几何信息的语言描述完成定位。具体而言，我们构建了大规模数据集Mono3DRefer，其中包含带有对应几何文本描述的3D目标对象，这些描述由ChatGPT生成并经人工优化。为推动该任务发展，我们提出了Mono3DVG-TR，这是一种基于Transformer的端到端网络，它利用文本嵌入中的外观与几何信息开展多模态学习与3D目标定位。我们设计了深度预测器以显式学习几何特征，还提出了双文本引导适配器，用于优化被指代对象的多尺度视觉与几何特征。解码器基于深度-文本-视觉堆叠注意力机制，将目标级几何线索与视觉外观融合到可学习查询中。我们为Mono3DVG任务提供了全面的基准测试与若干有洞见的分析。大量对比实验与消融研究表明，我们的方法性能显著优于所有基线方法。数据集与代码将公开发布于：https://github.com/ZhanYang-nwpu/Mono3DVG。
英文摘要：
We introduce a novel task of 3D visual grounding in monocular RGB images using language descriptions with both appearance and geometry information. Specifically, we build a large-scale dataset, Mono3DRefer, which contains 3D object targets with their corresponding geometric text descriptions, generated by ChatGPT and refined manually. To foster this task, we propose Mono3DVG-TR, an end-to-end transformer-based network, which takes advantage of both the appearance and geometry information in text embeddings for multi-modal learning and 3D object localization. Depth predictor is designed to explicitly learn geometry features. The dual text-guided adapter is proposed to refine multiscale visual and geometry features of the referred object. Based on depth-text-visual stacking attention, the decoder fuses object-level geometric cues and visual appearance into a learnable query. Comprehensive benchmarks and some insightful analyses are provided for Mono3DVG. Extensive comparisons and ablation studies show that our method significantly outperforms all baselines. The dataset and code will be publicly available at: https://github.com/ZhanYang-nwpu/Mono3DVG.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
