CaRaFFusion：利用相机-雷达点云融合与零样本图像修复改进二维语义分割
CaRaFFusion: Improving 2D Semantic Segmentation with Camera-Radar Point Cloud Fusion and Zero-Shot Image Inpainting
- Huawei Sun ⋆ 1,2（华为（深圳）技术有限公司）
- Bora Kunter Sahin ⋆ 1,3（华为（深圳）技术有限公司）
- Georg Stettinger 1（华为（深圳）技术有限公司）
- Maximilian Bernhard 3（慕尼黑工业大学）
- Matthias Schubert 3（慕尼黑工业大学）
- Robert Wille 2（华为（深圳）技术有限公司）
机构由 AI 辅助整理，请以论文原文为准。
AI总结：
本文提出CaRaFFusion框架，通过将扩散模型与相机-雷达融合结合，利用雷达点生成并降噪伪掩码以修复图像，从而在恶劣天气下提升二维语义分割性能。
AI中文摘要：
在环境中对物体进行分割是自动驾驶和机器人领域的一项关键任务，因为它能使每个智能体更好地理解周围环境。尽管相机传感器能提供丰富的视觉细节，但它们在恶劣天气条件下较为脆弱。相比之下，雷达传感器在此类条件下仍保持稳健，但通常产生稀疏且含噪的数据。因此，一种有前景的方法是将来自两种传感器的信息进行融合。在本工作中，我们提出了一种新颖的框架，通过将扩散模型集成到相机-雷达融合架构中来增强仅使用相机的基线模型。我们利用雷达点特征，借助Segment-Anything模型生成伪掩码，并将投影后的雷达点作为点提示。此外，我们提出了一种降噪单元来对这些伪掩码进行去噪，随后利用去噪后的伪掩码生成修复图像，以补全原始图像中缺失的信息。我们的方法在Waterscenes数据集上将仅使用相机的分割基线在mIoU上提升了2.63%，并将我们的相机-雷达融合架构在mIoU上提升了1.48%。这证明了我们的方法在恶劣天气条件下利用相机-雷达融合进行语义分割的有效性。
英文摘要：
Segmenting objects in an environment is a crucial task for autonomous driving and robotics, as it enables a better understanding of the surroundings of each agent. Although camera sensors provide rich visual details, they are vulnerable to adverse weather conditions. In contrast, radar sensors remain robust under such conditions, but often produce sparse and noisy data. Therefore, a promising approach is to fuse information from both sensors. In this work, we propose a novel framework to enhance camera-only baselines by integrating a diffusion model into a camera-radar fusion architecture. We leverage radar point features to create pseudo-masks using the Segment-Anything model, treating the projected radar points as point prompts. Additionally, we propose a noise reduction unit to denoise these pseudo-masks, which are further used to generate inpainted images that complete the missing information in the original images. Our method improves the camera-only segmentation baseline by 2.63% in mIoU and enhances our camera-radar fusion architecture by 1.48% in mIoU on the Waterscenes dataset. This demonstrates the effectiveness of our approach for semantic segmentation using camera-radar fusion under adverse weather conditions.
