arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2408.06975cs.CVcs.AIcs.GR

SpectralGaussians：用于多光谱场景表示、可视化与分析的语义化光谱三维高斯泼溅

SpectralGaussians: Semantic, spectral 3D Gaussian splatting for multi-spectral scene representation, visualization and analysis

Fraunhofer IGD（弗劳恩霍夫应用研究促进协会图形数据处理研究所）；Delft University of Technology（代尔夫特理工大学）

Saptarshi Neil Sinha, Holger Graf, Michael Weinmann

阅读 PDF
arXiv 页面 ↗HTML 原文 ↗

AI总结：

本研究提出基于3DGS的SpectralGaussians跨光谱渲染框架，通过改进的物理渲染方法逐光谱估计反射率与光照，在多光谱场景表示、渲染及编辑任务上性能优于现有方法，拓展了相关应用场景。

摘要：

我们提出一种基于三维高斯泼溅（3D Gaussian Splatting，3DGS）的新型跨光谱渲染框架，可从配准后的多视角光谱图与分割图生成兼具真实感与语义意义的泼溅基元。这一扩展增强了多光谱场景的表示能力，可为场景底层材质与分割情况提供洞察。我们针对高斯泼溅引入了一种改进的基于物理的渲染方法，可逐光谱估计反射率与光照，从而提升精度与真实感。在全面的定量与定性评估中，我们证明，相较于其他近期基于学习的光谱场景表示方法（即XNeRF与SpectralNeRF）以及其他非光谱的前沿基于学习的方法，我们的方法性能更优。我们的工作还展现了光谱场景理解在风格迁移、图像修复、目标移除等精准场景编辑技术中的潜力。综上，我们的贡献解决了多光谱场景表示、渲染与编辑中的挑战，为各类应用提供了新的可能。

英文摘要：

We propose a novel cross-spectral rendering framework based on 3D Gaussian Splatting (3DGS) that generates realistic and semantically meaningful splats from registered multi-view spectrum and segmentation maps. This extension enhances the representation of scenes with multiple spectra, providing insights into the underlying materials and segmentation. We introduce an improved physically-based rendering approach for Gaussian splats, estimating reflectance and lights per spectra, thereby enhancing accuracy and realism. In a comprehensive quantitative and qualitative evaluation, we demonstrate the superior performance of our approach with respect to other recent learning-based spectral scene representation approaches (i.e., XNeRF and SpectralNeRF) as well as other non-spectral state-of-the-art learning-based approaches. Our work also demonstrates the potential of spectral scene understanding for precise scene editing techniques like style transfer, inpainting, and removal. Thereby, our contributions address challenges in multi-spectral scene representation, rendering, and editing, offering new possibilities for diverse applications.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

↑