无需校准，无需深度，无需问题：跨传感器视角合成与3D一致性
No Calibration, No Depth, No Problem: Cross-Sensor View Synthesis with 3D Consistency
AI总结：
本文提出了一种无需校准的跨传感器视角合成方法，通过匹配、密集化和3D点云整合技术，解决RGB-X数据对齐问题，提升大规模真实世界数据收集的效率。
摘要：
我们首次研究了跨不同模态的跨传感器视角合成。我们探讨了一个实际、基础且常被忽视的问题：获取对齐的RGB-X数据，其中大多数RGB-X先前工作假设此类配对存在，并专注于模态融合，但实际需要大量的工程努力进行校准。我们提出了一种匹配-密集化-整合方法。首先，我们进行RGB-X图像匹配，随后进行引导点密集化。使用所提出的置信度感知密集化和自匹配过滤，我们实现了更好的视角合成，并在3D高斯点云（3DGS）中整合它们。我们的方法不使用X传感器的3D先验，并仅假设几乎无成本的COLMAP用于RGB。我们的目标是去除各种RGB-X传感器的繁琐校准，并通过一种可扩展的解决方案推动跨传感器学习的普及，从而突破大规模真实世界RGB-X数据收集的瓶颈。
英文摘要：
We present the first study of cross-sensor view synthesis across different modalities. We examine a practical, fundamental, yet widely overlooked problem: getting aligned RGB-X data, where most RGB-X prior work assumes such pairs exist and focuses on modality fusion, but it empirically requires huge engineering effort in calibration. We propose a match-densify-consolidate method. First, we perform RGB-X image matching followed by guided point densification. Using the proposed confidence-aware densification and self-matching filtering, we attain better view synthesis and later consolidate them in 3D Gaussian Splatting (3DGS). Our method uses no 3D priors for X-sensor and only assumes nearly no-cost COLMAP for RGB. We aim to remove the cumbersome calibration for various RGB-X sensors and advance the popularity of cross-sensor learning by a scalable solution that breaks through the bottleneck in large-scale real-world RGB-X data collection.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
