Dr. Splat：通过直接语言嵌入注册实现三维高斯溅射的直接引用
Dr. Splat: Directly Referring 3D Gaussian Splatting via Direct Language Embedding Registration
AI总结：
Dr. Splat 提出一种直接注册语言嵌入到三维高斯的新方法，用于开放词汇三维场景理解，在分割、定位和选择任务上显著优于现有方法。
摘要：
我们提出了 Dr. Splat，一种利用三维高斯溅射进行开放词汇三维场景理解的新方法。与现有的依赖渲染过程的语言嵌入三维高斯溅射方法不同，我们的方法直接将语言对齐的 CLIP 嵌入与三维高斯关联，以实现整体的三维场景理解。我们方法的关键是一种语言特征注册技术，其中 CLIP 嵌入被分配给每条像素射线所穿过的显著高斯。此外，我们集成了在通用大规模图像数据上训练的乘积量化（PQ）来紧凑地表示嵌入，而无需逐场景优化。实验表明，我们的方法在三维感知基准测试中显著优于现有方法，例如开放词汇三维语义分割、三维对象定位和三维对象选择任务。视频结果请访问：https://drsplat.github.io/
英文摘要：
We introduce Dr. Splat, a novel approach for open-vocabulary 3D scene understanding leveraging 3D Gaussian Splatting. Unlike existing language-embedded 3DGS methods, which rely on a rendering process, our method directly associates language-aligned CLIP embeddings with 3D Gaussians for holistic 3D scene understanding. The key of our method is a language feature registration technique where CLIP embeddings are assigned to the dominant Gaussians intersected by each pixel-ray. Moreover, we integrate Product Quantization (PQ) trained on general large-scale image data to compactly represent embeddings without per-scene optimization. Experiments demonstrate that our approach significantly outperforms existing approaches in 3D perception benchmarks, such as open-vocabulary 3D semantic segmentation, 3D object localization, and 3D object selection tasks. For video results, please visit : https://drsplat.github.io/
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
