DA-Fusion: Deformable Attention-Based RGB-D Fusion Transformer for Unseen Object Instance Segmentation
Interdisciplinary Program in AI, Seoul National University（首尔国立大学人工智能跨学科项目）；Artificial Intelligence Institute, Seoul National University（首尔国立大学人工智能研究所）；Department of Computer Science, Seoul National University（首尔国立大学计算机科学系）
针对物流自动化中未见物体分割难题，提出基于可变形注意力的RGB-D融合Transformer（DA-Fusion），结合RGB与深度数据优势提升分割精度，引入OCBD数据集，实验证明其性能优于现有方法，适用于现实物流任务。
2026-07-21 cs.AI cs.CV
SARTM: Segment Any RGB Thermal Model with Language aided Distillation
Changchun Institute of Optics, Fine Mechanicsand Physics, Chinese Academy of Sciences University（长春光学精密机械与物理研究所，中国科学院大学）；School of Computing, Macquarie University（麦考瑞大学计算机学院）；School of Computer Science and Informatics, Cardiff University（卡迪夫大学计算机科学与信息学院）；Saw Swee Hock School of Public Health, National University of Singapore（新加坡国立大学 Saw Swee Hock 公共卫生学院）
本文针对SAM仅适用于RGB数据的局限，提出SARTM框架，通过LoRA微调SAM、引入CMKD模块与辅助分割头，在三个RGB-T基准上实现优于现有最优方法的分割性能。
2026-09-02 cs.AI cs.CV
Achieving RGB-D level Segmentation Performance from a Single ToF Camera
German Research Center for Artificial Intelligence（德国人工智能研究中心）；RPTU Kaiserslautern（凯泽斯劳滕莱茵兰-普法尔茨技术大学）；FAU Erlangen（埃尔朗根-纽伦堡大学）
本研究提出在多任务学习框架中利用深度特定卷积融合单个 ToF 相机的红外与深度模态，在车载分割数据集上以更低成本实现了与 RGB-D 相机相当的语义分割准确率。
2023-06-30 cs.AI cs.CV cs.LG
DFormer: Rethinking RGBD Representation Learning for Semantic Segmentation
Nankai University（南开大学）；National University of Defense Technology（国防科技大学）
提出DFormer，一种利用ImageNet-1K图像-深度对预训练骨干网络并采用RGB-D块编码的预训练框架，解决了RGB预训练骨干网络对深度图3D几何关系编码不匹配的问题，在RGB-D语义分割和显著目标检测上以不到一半的计算成本取得新SOTA。
2024-02-07 cs.CV
Review on Indoor RGB-D Semantic Segmentation with Deep Convolutional Neural Networks
Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；IMT Lille-Douai（里尔-杜埃国立高等矿业电信学校）；Institut Mines-Télécom（法国国立高等矿业电信学校联盟）
许多研究工作都集中在利用室内深度传感器的互补几何信息来执行深度卷积神经网络的视觉任务，特别是语义分割。这些工作处理被称为“RGB-D室内语义分割“的特定视觉任务。这项任务的挑战和解决方案不同于其标准RGB对应。这就产生了一个新的活跃的研究课题。本文的目的是介绍用于RGB-D室内语义分割的深度卷积神经网络领域。这篇评论介绍了最流行的公共数据集，提出了最近的贡献所采用的策略的分类，评估了当前最先进的性能，并讨论了剩余的挑战和未来工作的有希望的方向。
2021-05-25 cs.CV
RGBD20K: A Large-Scale Benchmark for RGB-D Semantic Segmentation
University of North Texas（北德克萨斯大学）
本文提出RGBD20K大规模RGB-D语义分割基准，含160类、2万对图像及高保真标注，并引入SPF融合方法，在多个基准上达到最先进性能。
2026-09-25 cs.CV
ACNet: Attention Based Network to Exploit Complementary Features for RGBD Semantic Segmentation
Zhejiang University（浙江大学）
与RGB语义分割相比，RGBD语义分割考虑了深度信息，可以获得更好的分割效果。然而，由于RGB和深度（D）图像的特征分布在不同场景中显著变化，因此当代分割器有效地利用RGBD信息仍然存在问题。在本文中，我们提出了一个注意力互补网络（ACNet），它有选择地从RGB和深度分支中收集特征。主要贡献在于注意力互补模块（ACM）和三个并行分支的架构。更准确地说，ACM是一个基于通道注意力的模块，它从RGB和深度分支中提取加权特征。该架构保留了原始RGB和深度分支的推断，并同时启用融合分支。基于上述结构，ACNet能够从不同渠道开发更多高质量的特征。我们在SUN-RGBD和NYUDv 2数据集上评估了我们的模型，并证明了我们的模型优于最先进的方法。特别地，使用ResNet 50在NYUDv 2测试集上实现了48.3%的mIoU得分。我们将在https://github.com/anheidelonghu/ACNet上发布基于PyTorch的源代码和经过训练的分割模型。
2019-05-24 cs.CV
DTFormer: Text-Guided Semantic Alignment for RGB-D Segmentation
Southeast University（东南大学）；Technical University of Munich（慕尼黑工业大学）；City University of Macau（澳门城市大学）；University of Science and Technology of China（中国科学技术大学）
DTFormer提出一种RGB-D-文本三模态语义分割框架，通过文本引导语义对齐模块将语言先验编码为语义原型并与多模态特征对齐，在多个基准上持续提升分割性能，兼具简洁高效。
2026-10-07 cs.CV
FEANet: Feature-Enhanced Attention Network for RGB-Thermal Real-time Semantic Segmentation
Wuyi University（五邑大学）；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳人工智能与机器人学会）；The Chinese University of Hong Kong（香港中文大学）；irobotix Co.,Ltd（3irobotix有限公司）
近年来，用于语义分割的RGB-T信息得到了广泛的研究。然而，大多数现有的RGB-T语义分割通常妥协的空间分辨率，以实现实时的【形】推理速度，这导致性能较差。为了更好地提取细节空间信息，我们提出了一个两阶段的增强注意力网络（FEANet）的RGB-T语义分割任务。具体来说，我们引入了一个增强注意力模块（FEAM），从通道和空间视图挖掘和增强多层次的功能。得益于FEAM模块，我们的FEANet可以保留空间信息，并将更多的注意力转移到融合RGB-T图像的高分辨率特征上。在城市场景数据集上进行的大量实验表明，我们的FEANet在客观指标和主观视觉比较方面优于其他最先进的（SOTA）RGB-T方法（全局mAcc +2.6%，全局mIoU +0.8%）。对于480 x 640 RGB-T测试图像，我们的FEANet可以在NVIDIA GeForce RTX 2080 Ti卡上以实时的【形】速度运行。
2021-10-18 cs.CV
Channel and Spatial Relation-Propagation Network for RGB-Thermal Semantic Segmentation
Peng Cheng Laboratory（鹏程实验室）；Harbin Institute of Technology（哈尔滨工业大学）
针对RGB-T语义分割中模态特有信息易造成跨模态污染的问题，提出仅传播模态共享信息的CSRPNet，搭配双路径级联特征细化模块，性能优于现有最优算法。
2023-08-24 cs.CV
IAM: Enhancing RGB-D Instance Segmentation with New Benchmarks
Sungkyunkwan University（成均馆大学）；Samsung Electronics（三星电子）
本文针对RGB-D实例分割数据集稀缺的问题，提出三个实例级基准，并评估多种基线模型，同时设计了一种简单有效的RGB-D数据集成方法，以推动更精细的场景理解。
2025-01-03 cs.CV
Depth-Adapted CNNs for RGB-D Semantic Segmentation
Université Bourgogne Franche-Comté（勃艮第-弗朗什孔泰大学）；CNRS（法国国家科学研究中心）；Shanghai Jiao Tong University（上海交通大学）
最近的RGB-D语义分割已经激发了研究兴趣，这要归功于从输入侧补充模态的可访问性。现有的作品通常采用双流架构，并行处理光度和几何信息，很少有方法明确利用深度线索的贡献来调整RGB图像上的采样位置。在本文中，我们提出了一种新的框架，将深度信息纳入RGB卷积神经网络（CNN），称为Z-ACN（深度自适应CNN）。具体来说，我们的Z-ACN生成一个2D深度自适应偏移量，它完全受到低级别特征的约束，以指导RGB图像上的特征提取。通过生成的偏移量，我们引入了两个直观有效的操作来取代基本的CNN运算符：深度自适应卷积和深度自适应平均池化。室内和室外语义分割任务上的大量实验证明了我们的方法的有效性。
2022-06-08 cs.CV
Joint Color-Spatial-Directional clustering and Region Merging (JCSD-RM) for unsupervised RGB-D image segmentation
Laboratoire Hubert Curien, Université Jean Monnet（让·莫奈大学于贝尔·居里实验室）
深度成像传感器的最新进展提供了对与颜色同步的深度（称为RGB-D图像）的容易访问。本文提出了一种无监督的室内RGB-D图像分割和分析方法。我们考虑一个统计图像生成模型的基础上的颜色和几何的场景。我们的方法包括一个联合颜色空间方向聚类方法，然后统计平面区域合并方法。我们在纽约大学深度数据库上评估了我们的方法，并将其与现有的无监督RGB-D分割方法进行了比较。结果表明，该方法与现有方法相比，计算时间更短。此外，它打开了有趣的视角，以无监督的方式融合颜色和几何形状。
2015-09-06 cs.CV
RedNet: Residual Encoder-Decoder Network for indoor RGB-D Semantic Segmentation
South China University of Technology（华南理工大学）
室内语义分割一直是计算机视觉中的难点。在本文中，我们提出了一个RGB-D残差编解码器架构，命名为红网，室内RGB-D语义分割。在RedNet中，残差模块作为基本构建块应用于编码器和解码器，并且跳过连接用于绕过编码器和解码器之间的空间特征。为了融合场景的深度信息，构造了一种融合结构，分别对RGB图像和深度图像进行推理，并在多个层次上融合它们的特征。为了有效地优化网络的参数，我们提出了一个“金字塔监督”的训练方案，它适用于监督学习在解码器的不同层，以应付梯度消失的问题。实验结果表明，所提出的RedNet（ResNet-50）在SUN RGB-D基准数据集上实现了47.8%的最先进的mIoU准确率。
2018-08-06 cs.CV
RGB-X Object Detection via Scene-Specific Fusion Modules
California Institute of Technology（加州理工学院）；Ford Motor Company（福特汽车公司）
本文提出一种基于场景特定融合模块的高效模块化RGB-X融合网络，通过融合预训练单模态模型，仅需小规模配准多模态数据和少量额外参数即可实现优于现有方法的RGB-热红外与RGB-门控目标检测。
2023-10-30 cs.AI cs.CV cs.RO
Privacy-Preserving Semantic Segmentation from Ultra-Low-Resolution RGB Inputs
University of Bonn（波恩大学）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习和人工智能研究所）；Center for Robotics（机器人中心）
本文提出一种全新联合学习框架，解决超低分辨率RGB输入下的语义分割难题，通过实验验证方法在隐私保护与分割性能间取得良好平衡，并在真实机器人任务中成功应用。
2026-04-04 cs.CV cs.RO
PDDM: Pseudo Depth Diffusion Model for RGB-PD Semantic Segmentation Based in Complex Indoor Scenes
State Key Laboratory of General Artificial Intelligence, Peking University, Shenzhen Graduate School（北京大学深圳研究生院通用人工智能国家重点实验室）
针对RGB-D语义分割中深度数据采集成本高、对齐难的问题，提出融合RGB与伪深度的PDDM模型及PDAM模块，在NYUv2、SUNRGB-D数据集上取得SOTA性能。
2025-03-24 cs.CV
Global-Local Propagation Network for RGB-D Semantic Segmentation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
深度信息在RGB-D语义分割任务中很重要，用于为彩色图像提供额外的几何信息。现有的方法大多采用多级融合策略将深度特征传播到RGB分支。然而，在非常深的阶段，以简单的逐元素添加方式的传播不能充分利用深度信息。我们提出了全局-局部传播网络（GLPNet）来解决这个问题。具体地说，局部上下文融合模块（L-CFM）被引入到元素级融合之前动态对齐两个模态，和全局上下文融合模块（G-CFM）被引入到传播的深度信息的RGB分支，通过联合建模的多模态全局上下文功能。大量的实验证明了所提出的融合模块的有效性和互补性。将两个融合模块嵌入到双流编码器-解码器结构中，我们的GLPNet在两个具有挑战性的室内场景分割数据集上实现了新的最先进性能，即，NYU-Depth v2和SUN-RGBD数据集。
2021-01-26 cs.CV
A Hyperspectral and RGB Dataset for Building Facade Segmentation
CSIRO’s Data61（澳大利亚联邦科学与工业研究组织Data61）；Australian National University（澳大利亚国立大学）
高光谱成像（HSI）提供了详细的光谱信息，并已被用于许多现实世界的应用。这项工作介绍了一个HSI数据集的建筑立面在轻工业环境中的不同建筑材料在一个场景中进行分类的目的。该数据集被称为轻工业建筑HSI（LIB-HSI）数据集。该数据集由9个类别和44个类组成。在这项研究中，我们研究了基于深度学习的语义分割算法对RGB和高光谱图像进行分类，以分类各种建筑材料，如木材，砖和混凝土。
2022-12-06 cs.CV
Depth-aware CNN for RGB-D Segmentation
University of Southern California（南加利福尼亚大学）
卷积神经网络（CNN）由于其固定的网格核结构而缺乏处理几何信息的能力。深度数据的可用性使得使用CNN的RGB-D语义分割能够取得进展。最先进的方法要么使用深度作为附加图像，要么处理3D体积或点云中的空间信息。这些方法具有高计算和存储成本。为了解决这些问题，我们通过引入两个直观，灵活和有效的操作：深度感知卷积和深度感知平均池化，提出了深度感知CNN。通过在信息传播过程中利用像素之间的深度相似性，几何形状被无缝地结合到CNN中。在不引入任何额外参数的情况下，这两种算子都可以轻松集成到现有的CNN中。大量的实验和消融研究具有挑战性的RGB-D语义分割基准验证了我们的方法的有效性和灵活性。
2018-03-19 cs.CV
RSFusionDet: Underwater RGB-Sonar Multimodal Object Detection
Harbin Engineering University（哈尔滨工程大学）；Hong Kong Polytechnic University（香港理工大学）
针对水下单模态目标检测的传感器成像缺陷，本文构建RSFusion数据集并提出RSFusionDet模型，通过CAFusion模块与OMHead、OMLoss实现跨模态特征融合与目标匹配，在RSFusion数据集上性能优于基线模型DINO。
2026-08-27 cs.CV
Multimodal Fusion of RGB and Complementary Modalities for Semantic Segmentation
School of Automation, Southeast University（东南大学自动化学院）；Technical University of Munich（慕尼黑工业大学）
针对多模态语义分割中不同传感器特征匹配差、融合不稳定的问题，提出双向极性感知跨模态融合（BPCF）模块，在6种模态配对的8个公开数据集上取得SOTA结果。
2026-10-14 cs.CV
Panoptic 3D Scene Reconstruction From a Single RGB Image
Technical University of Munich（慕尼黑工业大学）
从单个图像中理解3D场景是各种任务的基础，例如机器人、运动规划或增强现实。现有的从单个RGB图像进行3D感知的工作倾向于仅关注几何重建，或者关注具有语义分割或实例分割的几何重建。受2D全景分割的启发，我们提出将几何重建、3D语义分割和3D实例分割的任务统一到全景3D场景重建的任务中-从单个RGB图像，预测图像的相机截头体中场景的完整几何重建，以及语义和实例分割。因此，我们提出了一种新的方法，从一个单一的RGB图像的整体三维场景理解，学习提升和传播2D功能从输入图像的三维体积场景表示。我们证明，这种整体视图的联合场景重建，语义，和实例分割是有益的独立处理的任务，从而优于其他方法。
2022-05-16 cs.CV
SpiderMesh: Spatial-aware Demand-guided Recursive Meshing for RGB-T Semantic Segmentation
Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院（AIR））
针对复杂光照下 RGB-T 语义分割，提出 SpiderMesh 框架，结合需求引导掩码、递归网格化、M-CutOut 与半监督学习，在 MFNet 和 PST900 上达到最先进性能。
2023-09-27 cs.CV
Attention-based Dual Supervised Decoder for RGBD Semantic Segmentation
Nanjing University（南京大学）；Hubei University of Technology（湖北工业大学）
在RGBD语义分割中，编码器-解码器模型得到了广泛的应用，并且大多数编码器-解码器模型都是通过双流网络设计的。一般来说，从RGBD联合推理颜色和几何信息是有益的语义分割。然而，大多数现有的方法未能在编码器和解码器中全面利用多模态信息。在本文中，我们提出了一种新的基于注意力的双重监督解码器的RGBD语义分割。在编码器中，我们设计了一个简单而有效的基于注意力的多模态融合模块来提取和融合多层次的成对互补信息。为了学习更强大的深度表示和丰富的多模态信息，我们引入了双分支解码器，以有效地利用不同任务的相关性和互补线索。在NYUDv 2和SUN-RGBD数据集上的大量实验表明，我们的方法与最先进的方法相比具有更好的性能。
2022-03-15 cs.CV eess.IV
Pixel Difference Convolutional Network for RGB-D Semantic Segmentation
Tongji University（同济大学）；École normale supérieure, PSL Research University（巴黎高等师范学院，PSL研究大学）
由于深度数据的可用性，可以使用卷积神经网络来推进RGB-D语义分割。虽然对象不能简单地通过2D外观来区分，但通过局部像素差异和深度中的几何图案，在某些情况下可以很好地分离它们。考虑到固定的网格内核结构，CNN受限于缺乏捕获详细的细粒度信息的能力，因此无法实现精确的像素级语义分割。为了解决这个问题，我们提出了一个像素差卷积网络（PDCNet），通过聚合深度数据的局部范围和RGB数据的全局范围内的强度和梯度信息，分别捕获详细的内在模式。准确地说，PDCNet由深度分支和RGB分支组成。对于深度分支，我们提出了像素差分卷积（PDC），通过聚合强度和梯度信息来考虑深度数据中的局部和详细几何信息。对于RGB分支，我们贡献了一个轻量级的级联大内核（CLK）来扩展PDC，即CPDC，以享受RGB数据的全局上下文并进一步提升性能。因此，模态数据的局部和全局像素差异在信息传播过程中被无缝地并入PDCNet。在两个具有挑战性的基准数据集上进行实验，即，NYUDv2和SUN RGB-D表明，我们的PDCNet实现了语义分割任务的最先进的性能。
2023-02-23 cs.CV
HaarNet: Large-scale Linear-Morphological Hybrid Network for RGB-D Semantic Segmentation
University of Amsterdam（阿姆斯特丹大学）
HaarNet提出首个大规模线性-形态学混合网络，结合形态学Haar采样与参数化ReLU处理RGB-D数据，以更少参数达到与先进CNN相当的语义分割性能。
2023-10-11 cs.AI cs.CV
Robust Double-Encoder Network for RGB-D Panoptic Segmentation
University of Bonn（波恩大学）；University of Oxford（牛津大学）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习与人工智能研究所）
针对室内场景RGB-D全景分割需求，提出带ResidualExcite融合模块的双编码器编解码网络，可适配多类输入且性能优于主流方法。
2023-06-14 cs.CV
3D-SIS: 3D Semantic Instance Segmentation of RGB-D Scans
Technical University of Munich（慕尼黑工业大学）
我们介绍了3D-SIS，一种新的神经网络架构，用于商品RGB-D扫描中的3D语义实例分割。我们方法的核心思想是从几何和颜色信号中联合学习，从而实现准确的实例预测。我们观察到大多数计算机视觉应用程序都有多视图RGB-D输入，而不是只在2D帧上操作，我们利用它来构建一种用于3D实例分割的方法，该方法有效地将这些多模态输入融合在一起。我们的网络通过基于3D重建的姿态对齐将2D图像与体积网格相关联来利用高分辨率RGB输入。对于每个图像，我们首先用一系列2D卷积为每个像素提取2D特征;然后将得到的特征向量反向投影到3D网格中的相关体素。这种2D和3D特征学习的组合允许比最先进的替代方案显著更高精度的目标检测和实例分割。我们展示了合成和真实世界公共基准的结果，在真实世界数据上实现了超过13的mAP改进。
2019-04-29 cs.CV
Complementary Random Masking for RGB-Thermal Semantic Segmentation
Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）；School of Electrical Engineering, KAIST（韩国科学技术院电气工程学院）
针对RGB-热成像语义分割中网络过度依赖单一模态的问题，提出互补随机掩码与自蒸馏损失，在三个基准上达到最先进性能。
2024-03-04 cs.AI cs.CV cs.RO
Residual Spatial Fusion Network for RGB-Thermal Semantic Segmentation
Hangzhou Dianzi University（杭州电子科技大学）；Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东人工智能与数字经济实验室（深圳））；Zhejiang University（浙江大学）
针对RGB-T语义分割中模态差异被忽视的问题，提出残差空间融合网络RSFNet，采用非对称编码器、显著性伪标签监督及带结构重参数化的RSF模块，在MFNet和PST900上达到最先进性能并兼顾速度。
2023-06-17 cs.CV
Optimizing rgb-d semantic segmentation through multi-modal interaction and pooling attention
Kunming University of Science and Technology（昆明理工大学）
针对室内 RGB-D 语义分割中 RGB 与深度信息利用不足的问题，提出 MIPANet，通过 MIM 深层交互融合和 PAM 多阶段注意力增强，在 NYUDv2 与 SUN-RGBD 上取得优于现有方法的性能。
2023-12-06 cs.CV
BIMII-Net: Brain-Inspired Multi-Iterative Interactive Network for RGB-T Road Scene Semantic Segmentation
提出脑启发多迭代交互网络BIMII-Net，通过深度连续耦合神经网络、跨显式注意力融合及多层解码器，实现RGB-T道路场景语义分割，达到SOTA性能并展现强泛化能力。
2025-03-25 cs.CV
URNet: A Unified Reparameterized Network for Efficient RGB-D Semantic Segmentation
University of Technology Sydney（悉尼科技大学）；Nanjing University of Science and Technology（南京理工大学）；Honor Device Co., Ltd.（荣耀终端有限公司）；Shanghai Institute of Microsystem and Information Technology, CAS（中国科学院上海微系统与信息技术研究所）
针对现有RGB-D语义分割方法的不足，提出URNet，通过单编码器实现多模态特征提取与跨模态融合，采用RepBlock、LGA和PMD，在多基准上达到最优性能且高效。
2026-08-07 cs.CV
A Multimodal Hybrid Late-Cascade Fusion Network for Enhanced 3D Object Detection
Politecnico di Milano（米兰理工学院）
本文提出了一种多模态混合后期级联融合网络，通过结合RGB和3D激光雷达检测器，提升3D物体检测的性能，特别是在行人和自行车检测方面表现优异。
2025-04-25 cs.AI cs.CV cs.RO
TUNI: Unifying Pre-training and Fine-tuning with Modality-Aware Mutual Learning and Rectification for RGB-T Semantic Segmentation
School of Automation, Beijing Institute of Technology（自动化学院，北京理工大学）；School of Computer Science, Wuhan University（计算机学院，武汉大学）；Great Wall Motor（长城汽车）；School of Information and Electronic Engineering, Zhejiang University of Science and Technology（信息电子工程学院，浙江理工大学）
提出TUNI框架，通过模态感知互学习与矫正统一预训练和微调，解决RGB-T语义分割中多模态特征提取融合、模态依赖不平衡及热信息利用不足问题，在五个数据集上优于15种SOTA模型。
2026-06-16 cs.CV
PST900: RGB-Thermal Calibration, Dataset and Segmentation Network
University of Pennsylvania（宾夕法尼亚大学）
在这项工作中，我们提出了长波红外（LWIR）图像作为一个可行的支持模式，语义分割使用基于学习的技术。首先，我们提出了一个被动的校准目标和程序，这是便携式和易于使用的RGB热摄像机校准的问题。其次，我们提出了PST900，这是一个由894个同步和校准的RGB和热图像对组成的数据集，每个像素都有来自DARPA地下挑战赛的四个不同类别的人类注释。最后，我们提出了一种用于快速语义分割的CNN架构，该架构以独立利用RGB图像的方式结合RGB和热图像。我们将我们的方法与最先进的方法进行比较，并表明我们的方法在我们的数据集中优于它们。
2019-09-20 cs.CV cs.RO eess.IV
Variational Probabilistic Fusion Network for RGB-T Semantic Segmentation
University of Electronic Science and Technology of China（电子科技大学）；Sun Yat-sen University（中山大学）
针对RGB-T语义分割中的模态噪声、类别不平衡与模态偏差问题，提出VPFNet，通过变分特征融合采样并结合光照、类别先验实现鲁棒分割，在MFNet和PST900上达到SOTA性能。
2023-07-17 cs.CV
ClusterNet: 3D Instance Segmentation in RGB-D Images
Stanford University（斯坦福大学）
我们提出了一种实例级分割的方法，使用RGB-D数据作为输入，并提供有关场景中单个对象的位置，几何形状和数量的详细信息。这种理解水平是自主机器人的基础。它能够在现实世界的巨大不确定性下做出安全和稳健的决策。在我们的模型中，我们建议使用对象占用函数的一阶和二阶矩来表示对象实例。我们训练一个沙漏深度神经网络（DNN），其中输出中的每个像素投票对应对象中心的3D位置以及对象的大小和姿势。最后通过矩空间聚类实现实例分割。以对象为中心的训练损失在聚类的输出上定义。我们的方法优于国家的最先进的实例分割方法对我们的合成数据集。我们表明，我们的方法很好地概括了现实世界的数据，实现视觉上更好的分割结果。
2018-09-19 cs.AI cs.CV cs.LG
DFormerv2: Geometry Self-Attention for RGBD Semantic Segmentation
Nankai University（南开大学）
本文提出DFormerv2，将深度图作为几何先验而非用神经网络编码，通过从深度和图像块空间距离中提取几何线索来指导自注意力权重分配，在多个RGBD语义分割基准上取得卓越性能。
2025-04-07 cs.CV
RFBNet: Deep Multimodal Networks with Residual Fusion Blocks for RGB-D Semantic Segmentation
Shanghai Jiao Tong University（上海交通大学）
RGB-D语义分割方法常规地使用两个独立的编码器来从RGB和深度数据提取特征。然而，缺乏有效的融合机制来桥接编码器，以充分利用来自多个模态的互补信息。本文提出了一种新的自下而上的交互式融合结构来建模编码器之间的相互依赖性。该结构引入交互流来互连编码器。交互流不仅逐步聚合来自编码器的特定于模态的特征，而且还为它们计算互补特征。为了实例化这种结构，本文提出了一种残差融合块（RFB），以制定编码器的相互依赖性。RFB由两个剩余单元和一个带有门机构的融合单元组成。它为特定于模态的编码器学习互补特征，并提取特定于模态的特征以及跨模态特征。在RFB的基础上，提出了一种用于RGB-D语义分割的深度多模态网络RFBNet。在两个数据集上的实验证明了对相互依赖关系建模的有效性，并且RFBNet达到了最先进的性能。
2019-09-16 cs.CV
Small Obstacle Avoidance Based on RGB-D Semantic Segmentation
CloudMinds Technologies（达闼科技）
本文提出了一种新的避障系统的道路机器人配备RGB-D传感器，捕捉其前进的道路上的场景。该系统的目的是让道路机器人自动移动，即使是与现有解决方案经常错过的小障碍物也不会发生任何碰撞。对于每个输入的RGB-D图像，系统使用一个新的两级语义分割网络，然后进行形态学处理，以生成准确的语义地图，包括道路和障碍物。在此基础上，进行局部路径规划以避免可能的碰撞。此外，光流监督和运动模糊增强训练方案，以提高相邻帧之间的时间一致性，并克服相机抖动造成的干扰。各种实验表明，该架构在室内和室外的情况下都获得了很高的性能。
2019-08-30 cs.CV
Multimodal Spatio-temporal Graph Learning for Alignment-free RGBT Video Object Detection
针对RGBT视频目标检测依赖人工对齐的问题，提出MSGNet，通过APL实现初步非精确对齐，结合S-SGLM和HSTM（含T-SGLM、TSB）建模时空信息，在VT-VOD50和UVT-VOD2024上验证了有效性与优越性。
2025-04-16 cs.CV
Spatial Information Guided Convolution for Real-Time RGBD Semantic Segmentation
Nankai University（南开大学）；University of Sydney（悉尼大学）；University of Bath（巴斯大学）
已知3D空间信息对语义分割任务是有益的。大多数现有的方法将3D空间数据作为额外的输入，从而导致分别处理RGB和3D空间信息的双流分割网络。这种解决方案大大增加了推理时间，并严重限制了其实时的【形】应用范围。为了解决这个问题，我们提出了空间信息引导卷积（S-Conv），它允许有效的RGB特征和3D空间信息集成。S-Conv能够推断出由3D空间信息引导的卷积核的采样偏移，帮助卷积层调整感受野并适应几何变换。S-Conv还通过生成空间自适应卷积权重将几何信息纳入特征学习过程。在不影响参数数量和计算量的情况下，极大地增强了感知几何的能力。我们进一步将S-Conv嵌入到一个语义分割网络中，称为空间信息引导卷积网络（SGNet），从而在NYUDv 2和SNOGGBD数据集上实现了实时的【形】推理和最先进的性能。
2021-01-08 cs.CV
Hyperspectral vs. RGB for Pedestrian Segmentation in Urban Driving Scenes: A Comparative Study
School of Engineering, University of Galway（Galway大学工程学院）；Ryan Institute, University of Galway（Galway大学Ryan学院）；Valeo Vision Systems（Valeo视觉系统）
本研究比较了高光谱与RGB在城市驾驶场景中行人分割的效果，发现CSNR-JMIM方法在行人和骑手分割中均取得显著提升。
2025-08-15 cs.CV
Learning Flow-Guided Registration for RGB-Event Semantic Segmentation
Lehigh University（莱维大学）；Qualcomm AI Research（高通AI研究）；City University of Hong Kong（香港城市大学）
针对RGB-事件分割中的时空与模态错位问题，提出流引导双向配准框架BRENet，利用光流和事件时间特征生成像素配对，并引入MET表示，在四个数据集上验证了有效性。
2025-09-25 cs.CV
Learning RGB-D Feature Embeddings for Unseen Object Instance Segmentation
NVIDIA（英伟达）；University of Washington（华盛顿大学）
在杂乱的场景中分割看不见的物体是机器人在新环境中执行任务所需要掌握的一项重要技能。在这项工作中，我们提出了一种新的方法，看不见的对象实例分割通过学习RGB-D特征嵌入从合成数据。利用度量学习损失函数来学习以产生逐像素特征嵌入，使得来自相同对象的像素彼此接近，并且来自不同对象的像素在嵌入空间中分离。通过学习的特征嵌入，可以应用均值漂移聚类算法来发现和分割看不见的对象。我们进一步提高了分割精度与一个新的两阶段聚类算法。我们的方法表明，非真实感合成RGB和深度图像可用于学习特征嵌入，这些特征嵌入可以很好地转移到真实世界的图像中，用于看不见的对象实例分割。
2021-03-03 cs.CV cs.RO
Context-Aware Interaction Network for RGB-T Semantic Segmentation
Shanghai University（上海大学）；Wenzhou Institute of Shanghai University（上海大学温州研究院）
针对RGB-T语义分割中多层级信息交互未能有效探索模态间互补关系的问题，提出CAINet，通过CACR、GCM和DA模块结合辅助监督显式引导上下文交互，在MFNet和PST900数据集上达到SOTA性能。
2024-01-03 cs.CV
DCANet: Differential Convolution Attention Network for RGB-D Semantic Segmentation
Tongji University（同济大学）
结合RGB图像和相应的深度图在语义分割证明了在过去几年的有效性。现有的RGB-D模态融合方法要么缺乏非线性特征融合能力，要么对两种模态图像进行同等处理，而不考虑固有的分布间隙或信息损失。在这里，我们发现，深度图是合适的，以提供内在的细粒度模式的对象，由于其局部深度的连续性，而RGB图像有效地提供了一个全局视图。在此基础上，我们提出了一个像素差分卷积注意（DCA）模块，考虑深度数据的几何信息和局部范围的相关性。此外，我们将DCA扩展到集成差分卷积注意力（EDCA），它传播长距离上下文依赖关系，并无缝地结合RGB数据的空间分布。DCA和EDCA通过像素差异动态调整卷积权重，分别实现局部和远程自适应。提出了一种基于DCA和EDCA的双分支网络-差分卷积网络（DCANet），用于融合双模态数据的局部和全局信息。因此，强调了RGB和深度数据的各自优势。我们的DCANet被证明在两个具有挑战性的基准数据集上为RGB-D语义分割设置了新的最先进的性能，即，NYUDv 2和SUN-RGBD。
2022-10-13 cs.CV eess.IV
Bi-directional Cross-Modality Feature Propagation with Separation-and-Aggregation Gate for RGB-D Semantic Segmentation
Peking University（北京大学）；SenseTime Research（商汤科技研究院）；The Chinese University of Hong Kong（香港中文大学）
深度信息已被证明是RGB-D图像的语义分割中的有用线索，用于提供RGB表示的几何对应物。大多数现有的作品简单地假设深度测量是准确的，并且与RGB像素对齐，并且将问题建模为跨模态特征融合，以获得更好的特征表示，从而实现更准确的分割。然而，这可能不会导致令人满意的结果，因为实际深度数据通常是有噪声的，这可能会随着网络的深入而恶化准确性。在本文中，我们提出了一个统一的和高效的跨模态引导编码器，不仅有效地重新校准RGB特征响应，而且还通过多个阶段提取准确的深度信息，并交替聚合两个重新校准的表示。所提出的架构的关键是一个新的分离和聚合门控操作，联合过滤和重新校准两个表示之前，跨模态聚合。同时，引入双向多步传播策略，一方面帮助两种模态之间的信息传播和融合，另一方面在长期传播过程中保持它们的特异性。此外，我们提出的编码器可以很容易地注入到以前的编码器-解码器结构，以提高其性能的RGB-D语义分割。我们的模型在室内和室外具有挑战性的数据集上始终优于最先进的模型。代码可以在https://charlescxk.github.io/上找到
2020-07-17 cs.CV
Learning Common Representation from RGB and Depth Images
Sapienza University of Rome（罗马第一大学）；Naver Labs Europe（Naver欧洲实验室）
我们提出了一种新的深度学习架构，用于从RGB-D图像进行语义分割和深度预测。我们基于RGB和深度特征融合修改了现有技术，其中假设这两种模式在训练和测试时都可用。我们提出了一种新的架构，其中的功能融合被替换为一个共同的深度表示。结合编码器-解码器类型的网络，该架构可以基于它们的共同表示来联合学习用于语义分割和深度估计的模型。受多视图学习的启发，这种表示提供了几个重要的优点，例如在测试时使用一种可用的模态来重建丢失的模态。在RGB-D情况下，这使得能够实现跨模态场景，例如使用深度数据进行语义分割，并使用RGB图像进行深度估计。我们在两个公开的RGB-D数据集上证明了所提出的网络的有效性。实验结果表明，该方法在语义分割和深度估计两个任务中都取得了较好的效果。
2018-12-17 cs.AI
ShapeConv: Shape-aware Convolutional Layer for Indoor RGB-D Semantic Segmentation
Shandong University（山东大学）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Tel Aviv University（特拉维夫大学）；Alibaba Group（阿里巴巴集团）
RGB-D语义分割在过去的几年里引起了越来越多的关注。现有的方法大多采用齐次卷积算子来消耗RGB和深度特征，忽略了它们的内在差异。事实上，RGB值捕获投影图像空间中的光度外观属性，而深度特征编码局部几何形状以及更大上下文中的基础（周围）。与基相比，形状可能更内在，与语义的联系更强，因此对分割精度更关键。受此启发，我们引入了一个形状感知卷积层（ShapeConv）来处理深度特征，其中深度特征首先被分解为形状分量和基础分量，接下来引入两个可学习的权重来独立地与它们合作，最后在这两个分量的重新加权组合上应用卷积。ShapeConv与模型无关，可以轻松集成到大多数CNN中，以取代用于语义分割的普通卷积层。对三个具有挑战性的室内RGB-D语义分割基准进行了广泛的实验，即，NYU-Dv 2（-13，-40）、SUN RGB-D和SID证明了我们的ShapeConv在五种流行架构上使用时的有效性。此外，使用ShapeConv的CNN的性能得到了提升，而不会在推理阶段引入任何计算和内存增加。原因在于，在ShapeConv中用于平衡形状和基础分量之间重要性的学习权重在推理阶段变成常数，因此可以融合到下面的卷积中，从而产生与具有普通卷积层的网络相同的网络。
2021-08-24 cs.CV
Evaluating the Impact of Point Cloud Colorization on Semantic Segmentation Accuracy
Xi’an Jiaotong-Liverpool University（西交利物浦大学）；CSIRO Mineral Resources（联邦科学与工业研究组织矿产资源部）
针对点云语义分割中RGB颜色误差影响未被量化的问题，提出统计方法评估两类颜色不准确对基于图像的点云分割的影响，发现其均会显著降低精度，为后续算法设计提供参考。
2024-10-09 cs.AI cs.CV cs.LG
HDBFormer: Efficient RGB-D Semantic Segmentation with A Heterogeneous Dual-Branch Framework
针对室内RGB-D语义分割中RGB与深度图像信息融合的挑战，提出异构双分支框架HDBFormer，分别用不同编码器处理两模态特征并通过MIIM交互，在NYUDepthv2和SUN-RGBD数据集上实现SOTA性能。
2025-04-18 cs.CV
