CIR-Net: Cross-modality Interaction and Refinement for RGB-D Salient Object Detection
Beijing Jiaotong University（北京交通大学）；Nanyang Technological University（南洋理工大学）；Sun Yat-sen University（中山大学）；University of Chinese Academy of Sciences（中国科学院大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Peng Cheng Laboratory（鹏城实验室）
针对RGB-D显著目标检测（SOD）任务中如何有效地捕获和利用跨通道信息的问题，提出了一种基于跨通道交互和细化的卷积神经网络（CNN）模型CIR-Net。对于跨模态交互，1）提出了渐进式注意力引导的整合单元以在编码器级中充分整合RGB-D特征表示，以及2）提出了收敛聚合结构，其经由解码器级中的重要性门控融合单元将RGB和深度解码特征流到对应的RGB-D解码流中。对于跨模态细化，我们在编码器和解码器之间插入细化中间件结构，其中RGB，深度和RGB-D编码器特征通过连续使用自模态注意力细化单元和跨模态加权细化单元来进一步细化。最后，在解码器阶段，利用逐步细化的特征预测显著图。在六个流行的RGB-D SOD基准上进行的大量实验表明，我们的网络在定性和定量方面都优于最先进的显着性检测器。
2022-10-06 cs.CV
Multimodal Fusion of RGB and Complementary Modalities for Semantic Segmentation
School of Automation, Southeast University（东南大学自动化学院）；Technical University of Munich（慕尼黑工业大学）
针对多模态语义分割中不同传感器特征匹配差、融合不稳定的问题，提出双向极性感知跨模态融合（BPCF）模块，在6种模态配对的8个公开数据集上取得SOTA结果。
2026-10-14 cs.CV
Toward Reliable RGB-D Semantic Segmentation: Handling Missing Modalities via Condition Dropout
研究针对RGB-D语义分割中模态缺失问题，提出条件丢弃（ConD）持续训练范式，从预训练模型出发，通过特定模拟输入、冻结及训练复制编码器等操作，提升模型在缺失模态下的鲁棒性，完整模态时也有增益。
2026-07-23 cs.AI cs.CV
Complementary Random Masking for RGB-Thermal Semantic Segmentation
Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）；School of Electrical Engineering, KAIST（韩国科学技术院电气工程学院）
针对RGB-热成像语义分割中网络过度依赖单一模态的问题，提出互补随机掩码与自蒸馏损失，在三个基准上达到最先进性能。
2024-03-04 cs.AI cs.CV cs.RO
MAC: ModAlity Calibration for Object Detection
Carnegie Mellon University（卡内基梅隆大学）
提出模态校准（MAC）方法，利用源模态先验知识与零标注配对数据，将非RGB目标模态输入校准至预训练RGB检测模型，实现高效且性能相当或更优的目标检测。
2023-10-14 cs.CV cs.MM cs.RO
Cross-modal State Space Modeling for Real-time RGB-thermal Wild Scene Semantic Segmentation
School of Automation, Beijing Institute of Technology（自动化学院，北京理工大学）；School of Information and Electronic Engineering, Zhejiang University of Science and Technology（信息电子工程学院，浙江工业大学）；School of Computer Science and Engineering, Nanyang Technological University（计算机科学与工程学院，南洋理工大学）
本文提出CM-SSM，一种基于跨模态状态空间建模的RGB-热红外语义分割架构，通过CM-SS2D和CM-SSA模块实现线性复杂度，在CART和PST900数据集上以更少参数和计算成本达到最先进性能。
2025-06-22 cs.CV cs.RO
SwinNet: Swin Transformer drives edge-aware RGB-D and RGB-T salient object detection
Anhui University（安徽大学）
卷积神经网络（CNN）擅长于提取特定感受野内的纹理特征，而Transformers则可以对全局的长程依赖特征进行建模。Swin Transformer吸收了Transformer的优点和CNN的优点，表现出较强的特征表示能力。在此基础上，我们提出了一种用于RGB-D和RGB-T显着目标检测的跨模态融合模型SwinNet。该方法以Swin Transformer为驱动，提取层次特征;以注意力机制为辅助，弥合两种模态之间的鸿沟;以边缘信息为引导，锐化显著对象的轮廓。具体而言，两码流Swin Transformer编码器首先提取多模态特征，然后提出空间对齐和通道重校准模块，优化层内跨模态特征。为了澄清模糊边界，边缘引导解码器在边缘特征的指导下实现跨模态融合。该模型在RGB-D和RGB-T数据集上的表现优于最先进的模型，表明它提供了对跨模态互补任务的更多见解。
2022-04-12 cs.CV
TUNI: Unifying Pre-training and Fine-tuning with Modality-Aware Mutual Learning and Rectification for RGB-T Semantic Segmentation
School of Automation, Beijing Institute of Technology（自动化学院，北京理工大学）；School of Computer Science, Wuhan University（计算机学院，武汉大学）；Great Wall Motor（长城汽车）；School of Information and Electronic Engineering, Zhejiang University of Science and Technology（信息电子工程学院，浙江理工大学）
提出TUNI框架，通过模态感知互学习与矫正统一预训练和微调，解决RGB-T语义分割中多模态特征提取融合、模态依赖不平衡及热信息利用不足问题，在五个数据集上优于15种SOTA模型。
2026-06-16 cs.CV
RGB-T Object Detection via Group Shuffled Multi-receptive Attention and Multi-modal Supervision
Northwestern Polytechnical University（西北工业大学）；Xi’an ASN Technology Group Co. Ltd（西安爱生技术集团有限公司）；Northwest A & F University（西北农林科技大学）
本文提出组混洗多感受注意力模块与多模态监督方法，有效提取融合RGB与热红外特征并解决联合标注不公平问题，在KAIST和DroneVehicle基准上实现了最先进精度与竞争性效率。
2024-05-29 cs.CV
Learning A Robust RGB-Thermal Detector for Extreme Modality Imbalance
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
针对现实场景中模态退化导致的极端模态不平衡问题，提出基础-辅助检测器架构，结合模态交互模块与伪退化策略，有效提升模型鲁棒性并将 Missing Rate 降低 55%。
2025-05-28 cs.CV
RGBX-DiffusionDet: A Framework for Multi-Modal RGB-X Object Detection Using DiffusionDet
School of Electrical and Computer Engineering, Ben Gurion University of the Negev, Beer Sheva, Israel（电气与计算机工程学院，内盖夫本· Gurion大学，贝尔谢巴，以色列）
RGBX-DiffusionDet通过自适应多模态编码器融合RGB与X数据，提升多模态目标检测性能，实现高效且紧凑的特征嵌入。
2025-07-23 cs.CV
Veila: Panoramic LiDAR Generation from a Monocular RGB Image
Veila提出条件扩散框架，通过置信度感知条件、几何跨模态对齐和全景特征一致性，从单目RGB生成全景LiDAR，提升生成保真度与跨模态一致性，并增强下游分割性能。
2025-08-05 cs.CV cs.RO
M2RNet: Multi-modal and Multi-scale Refined Network for RGB-D Salient Object Detection
Nankai University（南开大学）；Peking University（北京大学）
显著目标检测是计算机视觉的一个基本课题。以往的基于RGB-D的特征融合方法存在多模态特征融合不兼容和多尺度特征聚合不足的问题。为了解决这两个难题，我们提出了一种新的多模态和多尺度细化网络（M2 RNet）。该网络有三个基本组成部分。嵌套的双重注意模块（NDAM）明确地利用RGB和深度流的组合特征。相邻交互式聚合模块（AIAM）逐步整合高、中、低三层的邻居特征。联合混合优化损失（JHOL）使预测具有突出的轮廓。大量的实验表明，我们的方法优于其他国家的最先进的方法。
2021-09-16 cs.CV
Hierarchical Cross-modal Transformer for RGB-D Salient Object Detection
School of Computer Science, Southeast University（东南大学计算机科学与工程学院）
大多数现有的RGB-D显着目标检测（SOD）方法遵循基于CNN的范式，由于CNN的自然局部性，该范式无法对跨空间和模态的长距离依赖性进行建模。本文提出了一种新的多模态Transformer，即分层交叉模态Transformer（HCT）。与以前的多模态Transformers直接连接来自两个模态的所有补丁不同，我们分层地探索跨模态互补性，以尊重未对齐区域中的模态间隙和空间差异。具体来说，我们建议使用通道内自我注意力来探索互补的全局上下文，并测量空间对齐的通道间注意力本地捕获跨通道的相关性。此外，我们提出了一个特征金字塔模块的Transformer（FPT），以提高信息的跨尺度集成，以及一致性互补模块，解开多模态集成路径，提高融合自适应性。在大量公共数据集上进行的综合实验验证了我们设计的有效性以及对最先进模型的一致改进。
2023-02-16 cs.CV
CNN-based RGB-D Salient Object Detection: Learn, Select and Fuse
City University of Hong Kong（香港城市大学）
本文的目标是提出一个系统的RGB-D显著目标检测的解决方案，该方案在统一的框架下解决了以下三个方面：特定于情态的表示学习、互补线索选择和跨情态补语融合。为了学习有区别的模态特定的功能，我们提出了一个分层的跨模态蒸馏方案，其中学习良好的源模态提供监督信号，以促进新模态的学习过程。为了更好地提取互补线索，我们制定了一个残差函数，以自适应地将互补从成对的模态。此外，一个自顶向下的融合结构被构造为充分的跨模态的相互作用和跨级别的传输。实验结果表明，该方法在zero-shot显著性检测和新模态的预训练中具有较好的效果，在选择和融合跨模态/跨层次补语方面具有一定的优势.
2019-09-20 cs.CV
Modality-Guided Subnetwork for Salient Object Detection
Université Bourgogne Franche-Comté（勃艮第-弗朗什-孔泰大学）；Shanghai Jiao Tong University（上海交通大学）；Université Côte d’Azur（蔚蓝海岸大学）
最近基于RGBD的显著性检测模型引起了研究的关注。深度线索，如边界线索，表面法线，形状属性等，有助于识别具有复杂场景的显著对象。然而，大多数RGBD网络需要输入端的多模态，并通过双流设计分别馈送它们，这不可避免地导致深度传感器和计算的额外成本。为了解决这些不便，本文提出了一种新的融合设计命名为模态引导子网络（MGSnet）。它具有以下优越的设计：1）我们的模型适用于RGB和RGBD数据，如果不可用，则动态估计深度。考虑到深度预测网络的内部工作原理，我们建议从RGB输入中估计伪几何图-基本上模仿多模态输入。2)我们的MGSnet for RGB SOD可实现实时推理，但与其他RGB模型相比，其性能达到了最先进的水平。3)MGS的灵活和轻量级设计有助于集成到RGBD双流模型中。引入的融合设计实现了跨模态交互，以实现进一步的进展，但成本最低。
2021-10-25 cs.CV
RGB-D Salient Object Detection with Cross-Modality Modulation and Selection
Nanyang Technological University（南洋理工大学）；Beijing Jiaotong University（北京交通大学）；Dalian University of Technology（大连理工大学）；Chinese Academy of Sciences（中国科学院）
我们提出了一种有效的方法，逐步整合和完善的跨模态互补性的RGB-D显着目标检测（SOD）。该网络主要解决了两个具有挑战性的问题：1）如何有效地整合RGB图像及其相应深度图的互补信息，以及2）如何自适应地选择更多显著性相关的特征。首先，我们提出了一个跨模态特征调制（cross-modality feature modulation，cmFM）模块，通过将深度特征作为先验来增强特征表示，该模块对RGB-D数据的互补关系进行建模。其次，我们提出了一个自适应特征选择（AFS）模块来选择显著性相关的功能和抑制劣质的。AFS模块利用多模态空间特征融合，考虑通道特征的自模态和跨模态相互依赖性。第三，我们采用了一个显着性引导的位置边缘注意力（sg-PEA）模块，以鼓励我们的网络更多地关注显着性相关的区域。上述模块作为一个整体，称为cmMS块，有助于以由粗到细的方式细化显着性特征。结合自下而上的推理，改进的显着性特征可以实现准确和边缘保留的SOD。大量的实验表明，我们的网络在六个流行的RGB-D SOD基准测试中优于最先进的显着性检测器。
2020-07-14 cs.CV
RA-SOD: Reliability-Aware RGB-T Salient Object Detection under Modality Degradation
State Key Laboratory of Robotics and Systems, Harbin Institute of Technology（哈尔滨工业大学机器人技术与系统国家重点实验室）；School of Computer Science, University of Sydney（悉尼大学计算机科学学院）
针对RGB-T显著目标检测中模态退化导致融合不可靠的问题，提出可靠性感知框架RA-SOD，通过可靠性条件化表示、不确定性引导细化及像素级模态竞争机制，在四个基准上取得最优性能。
2026-09-14 cs.CV
RGB-D Salient Object Detection Based on Discriminative Cross-modal Transfer Learning
在这项工作中，我们建议利用卷积神经网络，以提高深度引起的显着目标检测的性能，通过捕捉深度模态的高级代表性特征。我们将深度诱导的显著性检测公式化为基于CNN的跨模态传输问题，以弥合CNN的“数据饥饿”性质与深度模态中无法获得足够的标记训练数据之间的差距。在所提出的方法中，我们通过训练RGB显着性检测网络来有效地利用来自源模态的辅助数据，以获得目标模态的特定于任务的预理解层。同时，我们通过预训练一个模态分类网络来利用深度特定信息，该网络在优化过程中鼓励模态特定的表征。因此，它可以使RGB和深度模态的特征表示尽可能具有区别性。这两个模块独立地进行预训练，然后拼接以初始化和优化最终的深度诱导显著性检测模型。实验证明了所提出的新的预训练策略的有效性，以及所提出的方法比其他国家的最先进的方法显着和一致的改进。
2017-05-31 cs.CV
Beyond Symmetric Fusion: Exploiting Task-Dependent Modality Strengths for RGB-Event Small Object Detection
该研究针对现有RGB-事件检测器的对称融合设计缺陷，提出AERODet模型，通过SURE和TDSR实现任务相关的模态利用，在FRED和NeRDD数据集上取得最优性能，FRED挑战性拆分提升10.7 mAP点。
2026-08-04 cs.CV
Dual Swin-Transformer based Mutual Interactive Network for RGB-D Salient Object Detection
City University of Hong Kong（香港城市大学）
显著性目标检测是在给定场景中预测人类关注区域的任务。融合深度信息在这项任务中已被证明是有效的。该问题的主要挑战是如何聚合RGB模态和深度模态的互补信息。然而，传统的深度模型严重依赖于CNN特征提取器，并且长期上下文依赖性通常被忽略。在这项工作中，我们提出了双Swin-Transformer为基础的相互作用的网络。我们采用Swin-Transformer作为RGB和深度模态的特征提取器，对视觉输入中的长程依赖关系进行建模。在将两个分支的特征融合成一个之前，应用基于注意力的模块来增强来自每个模态的特征。我们设计了一个基于自我注意的跨通道交互模块和一个门控通道注意模块来利用两个通道之间的互补信息。对于显着性解码，我们创建不同的阶段增强密集连接，并保持解码记忆，同时考虑多层次的编码功能。考虑到深度图不准确的问题，我们将早期阶段的RGB特征收集到跳过卷积模块中，以便从RGB模态到最终显著性预测提供更多指导。此外，我们添加边缘监督来规范特征学习过程。在五个标准RGB-D SOD基准数据集上进行的四种评价指标的综合实验证明了所提出的DTMINet方法的优越性。
2022-06-07 cs.CV
MambaSOD: Dual Mamba-Driven Cross-Modal Fusion Network for RGB-D Salient Object Detection
the University of Hong Kong（香港大学）；Chongqing University（重庆大学）；Chongqing University of Posts and Telecommunications（重庆邮电大学）
本文提出MambaSOD，首次将Mamba引入RGB-D显著目标检测，通过双Mamba特征提取器和跨模态融合Mamba以线性复杂度建模长距离依赖并有效融合RGB与深度互补信息，在六个数据集上超越十六个SOTA模型。
2024-10-19 cs.CV
Multi-Modal Attention-based Fusion Model for Semantic Segmentation of RGB-Depth Images
Sharif University of Technology（谢里夫理工大学）
三维场景理解是计算机视觉和机器人应用中的一个重要需求。RGB深度图像的语义分割是3D场景理解中的高级任务之一。随着RGB-D相机的可用性，期望通过利用深度特征以及外观特征来提高场景理解过程的准确性。由于深度图像与光照无关，因此它们可以提高RGB图像的语义标记质量。考虑这两种模态的共同特征和特定特征提高了语义分割的性能。RGB深度语义分割的主要问题之一是如何融合或组合这两种模态，以实现每种模态的更多优点，同时计算效率高。最近，遇到深度卷积神经网络的方法已经通过早期、晚期和中期融合策略达到了最先进的结果。在本文中，提出了一种有效的编码器-解码器模型与基于注意力的融合块，以整合这两种模态的特征图之间的相互影响。该块显式地提取这些模态的级联特征图之间的相互依赖性，以利用来自RGB深度图像的更强大的特征图。在NYU-V2、SUN RGB-D和Stanford 2D-3D-Semantic三个主要挑战数据集上的广泛实验结果表明，该网络在计算成本和模型大小方面优于最先进的模型。实验结果也说明了所提出的轻量级的基于注意力的融合模型在准确性方面的有效性。
2019-12-25 cs.CV cs.MM
REALM: An RGB- and Event-Aligned Latent Manifold for Cross-Modal Perception
University of Toronto, Robotics Institute（多伦多大学机器人研究所）；University of Toronto, Department of Computer Science（多伦多大学计算机科学系）
REALM通过将事件表示投影到预训练的RGB基础模型潜在空间，实现跨模态感知，利用LoRA技术解锁冻结RGB主干的几何和语义先验，实现零样本应用复杂解码器。
2026-09-21 cs.AI cs.CV cs.RO
Multi-interactive Dual-decoder for RGB-thermal Salient Object Detection
Anhui University（安徽大学）
RGB-热显著性目标检测（SOD）的目的是分割可见光图像和相应的热红外图像中共同的显著区域，我们称之为RGBTSOD。现有的方法没有充分挖掘和利用图像内容的不同模态和多类型线索的互补性，这对实现准确的结果起着至关重要的作用。在本文中，我们提出了一种多交互双解码器来挖掘和建模多种类型的交互，以获得准确的RGBT SOD。具体来说，我们首先将两种模态编码成多级多模态特征表示。然后，我们设计了一种新的双解码器，进行多层次的功能，两个模态和全局上下文的相互作用。有了这些相互作用，我们的方法在具有挑战性的情况下，即使在存在无效模态的情况下也能很好地工作。最后，我们在公开的RGBT和RGBD SOD数据集上进行了大量的实验，结果表明，该方法取得了优异的性能，对最先进的算法。源代码已在https://github.com/lz118/Multi-interactive-Dual-decoder上发布。
2021-06-04 cs.CV
Modality-Specific Hierarchical Enhancement for RGB-D Camouflaged Object Detection
College of Computer and Data Science, Fuzhou University（福州大学计算机与数据科学学院）
本文提出MHENet框架，通过引入纹理和几何层次增强模块及自适应动态融合模块，提升RGB-D伪装物体检测的性能，实验表明其优于16种现有方法。
2026-04-03 cs.CV
mRI: Multi-modal 3D Human Pose Estimation Dataset using mmWave, RGB-D, and Inertial Sensors
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
估计3D人体姿势和运动的能力，也称为人体姿势估计（HPE），使许多基于家庭的健康监测应用成为可能，例如远程康复训练。已经出现了几种可能的解决方案，使用从RGB相机、深度传感器、毫米波（mmWave）雷达和可穿戴惯性传感器等传感器。尽管HPE之前在数据集和基准方面做出了努力，但很少有数据集利用多种模式并专注于基于家庭的健康监测。为了弥补这一差距，我们提出了mRI，这是一个多模态3D人体姿态估计数据集，具有毫米波，RGB-D和惯性传感器。我们的数据集由来自20名进行康复训练的受试者的超过160 k个同步帧组成，并支持HPE和动作检测的基准。我们使用我们的数据集进行了大量的实验，并描绘了每种模态的强度。我们希望MRI的发布能够促进姿势估计、多模态学习和动作理解的研究，更重要的是促进基于家庭的健康监测的应用。
2022-10-15 cs.CV
Cross-Modal Attentional Context Learning for RGB-D Object Detection
Sun Yat-sen University（中山大学）
从同时感测的光度（RGB）和深度通道识别物体是机器视觉应用中的一个基本而实际的问题，如机器人抓取和自动驾驶。在本文中，我们通过开发跨模态注意上下文（CMAC）学习框架来解决这个问题，该框架能够充分利用RGB和深度数据中的上下文信息。与现有的RGB-D目标检测框架相比，我们的方法有几个吸引人的属性。首先，它由基于注意力的全局上下文模型组成，用于利用自适应上下文信息并将该信息合并到基于区域的CNN（例如，快速RCNN）框架来实现改进的目标检测性能。其次，我们的CMAC框架还包含一个细粒度的对象部分注意力模块，利用多个歧视性的对象部分内的每个可能的对象区域的优越的局部特征表示。在极大地提高RGB-D目标检测的准确性的同时，有效的跨模态信息融合以及注意力上下文建模，我们提出的模型提供了一个可解释的可视化方案。实验结果表明，该方法在所有公共基准测试中均显着提高了最新技术水平。
2018-10-30 cs.CV
Bi-directional Cross-Modality Feature Propagation with Separation-and-Aggregation Gate for RGB-D Semantic Segmentation
Peking University（北京大学）；SenseTime Research（商汤科技研究院）；The Chinese University of Hong Kong（香港中文大学）
深度信息已被证明是RGB-D图像的语义分割中的有用线索，用于提供RGB表示的几何对应物。大多数现有的作品简单地假设深度测量是准确的，并且与RGB像素对齐，并且将问题建模为跨模态特征融合，以获得更好的特征表示，从而实现更准确的分割。然而，这可能不会导致令人满意的结果，因为实际深度数据通常是有噪声的，这可能会随着网络的深入而恶化准确性。在本文中，我们提出了一个统一的和高效的跨模态引导编码器，不仅有效地重新校准RGB特征响应，而且还通过多个阶段提取准确的深度信息，并交替聚合两个重新校准的表示。所提出的架构的关键是一个新的分离和聚合门控操作，联合过滤和重新校准两个表示之前，跨模态聚合。同时，引入双向多步传播策略，一方面帮助两种模态之间的信息传播和融合，另一方面在长期传播过程中保持它们的特异性。此外，我们提出的编码器可以很容易地注入到以前的编码器-解码器结构，以提高其性能的RGB-D语义分割。我们的模型在室内和室外具有挑战性的数据集上始终优于最先进的模型。代码可以在https://charlescxk.github.io/上找到
2020-07-17 cs.CV
Modal-Adaptive Gated Recoding Network for RGB-D Salient Object Detection
Nankai University（南开大学）；Tianjin University of Finance and Economics（天津财经大学）
基于RGB-D信息的多模态显著性目标检测模型在现实世界中具有较好的鲁棒性。然而，它仍然是不平凡的，以更好地自适应平衡有效的多模态信息的特征融合阶段。在这封信中，我们提出了一种新的门控编码网络（GRNet）来评估这两种模式的信息有效性，并平衡它们的影响。我们的框架分为三个阶段：感知阶段，重新编码混合阶段和特征集成阶段。首先，采用感知编码器提取多层次的单模态特征，为多模态语义对比分析奠定基础。然后，提出了一种模态自适应门单元（MGU）来抑制无效信息，并将有效的模态特征传递到重新编码混合器和混合分支解码器。重编码混合器负责对均衡后的多模态信息进行重编码和混合。最后，混合分支解码器在一个可选的边缘引导流（OEGS）的指导下完成多层次的特征融合。八个流行的基准测试的实验和分析验证了我们的框架表现良好，对9个国家的最先进的方法。
2021-11-09 cs.CV
Mitigating the Impact of Prominent Position Shift in Drone-based RGBT Object Detection
针对无人机RGBT目标检测中微小目标在不同模态间位置偏移导致监督信号缺失、特征不匹配的问题，提出基于Mean Teacher的CBC模块和SWCA模块，有效提升检测性能，在相关数据集上取得优异结果。
2025-02-13 cs.CV
Optimizing rgb-d semantic segmentation through multi-modal interaction and pooling attention
Kunming University of Science and Technology（昆明理工大学）
针对室内 RGB-D 语义分割中 RGB 与深度信息利用不足的问题，提出 MIPANet，通过 MIM 深层交互融合和 PAM 多阶段注意力增强，在 NYUDv2 与 SUN-RGBD 上取得优于现有方法的性能。
2023-12-06 cs.CV
RTFDNet: Fusion-Decoupling for Robust RGB-T Segmentation
independent researchers（独立研究人员）
RTFDNet通过融合与解耦机制提升RGB-T分割的鲁棒性，采用三分支编码器-解码器结构，结合协同特征融合、跨模态解耦正则化和区域解耦正则化，实现高效独立推理。
2026-03-10 cs.CV
Learning Common and Specific Features for RGB-D Semantic Segmentation with Deconvolutional Networks
Nanyang Technological University（南洋理工大学）；University of Technology Sydney (UTS)（悉尼科技大学）；NVIDIA Corporation（英伟达公司）
在本文中，我们解决的问题RGB-D语义分割的室内图像。我们利用反卷积网络，可以预测像素级的类标签，并开发了一种新的结构，用于多模态的反卷积。我们提出了一种新的特征变换网络来桥接卷积网络和去卷积网络。在特征转换网络中，我们通过发现它们之间的共同特征来关联两种模态，并通过发现模态特定特征来表征每种模态。通过这些共同的特征，我们不仅将两种模态紧密地联系在一起，而且还允许它们相互借用特征来增强共享信息的表示。通过特定的功能，我们捕捉到了仅在一种模式下可见的视觉模式。该网络在NYU深度数据集V1和V2上实现了具有竞争力的分割精度。
2016-08-03 cs.CV
RFBNet: Deep Multimodal Networks with Residual Fusion Blocks for RGB-D Semantic Segmentation
Shanghai Jiao Tong University（上海交通大学）
RGB-D语义分割方法常规地使用两个独立的编码器来从RGB和深度数据提取特征。然而，缺乏有效的融合机制来桥接编码器，以充分利用来自多个模态的互补信息。本文提出了一种新的自下而上的交互式融合结构来建模编码器之间的相互依赖性。该结构引入交互流来互连编码器。交互流不仅逐步聚合来自编码器的特定于模态的特征，而且还为它们计算互补特征。为了实例化这种结构，本文提出了一种残差融合块（RFB），以制定编码器的相互依赖性。RFB由两个剩余单元和一个带有门机构的融合单元组成。它为特定于模态的编码器学习互补特征，并提取特定于模态的特征以及跨模态特征。在RFB的基础上，提出了一种用于RGB-D语义分割的深度多模态网络RFBNet。在两个数据集上的实验证明了对相互依赖关系建模的有效性，并且RFBNet达到了最先进的性能。
2019-09-16 cs.CV
Point-aware Interaction and CNN-induced Refinement Network for RGB-D Salient Object Detection
Beijing Jiaotong University（北京交通大学）；Shandong University（山东大学）；Institute of Information Science, Beijing Jiaotong University（北京交通大学信息科学研究所）；Southern University of Science and Technology（南方科技大学）；City University of Hong Kong（香港城市大学）
针对现有RGB-D显著目标检测方法在全局长距离依赖建模上的不足，提出融合CNN辅助Transformer的PICR-Net，通过跨模态点感知交互与CNN诱导精炼模块提升检测性能，在5个数据集上取得有竞争力的结果。
2024-12-07 cs.CV
MiPa: Mixed Patch Infrared-Visible Modality Agnostic Object Detection
ETS Montreal（蒙特利尔理工学院）
针对单一共享编码器学习RGB与IR时的模态不平衡问题，提出MiPa混合块训练及块级模态不可知模块，使推理仅需单模态即可在RGB/IR检测基准上取得竞争力。
2024-08-02 cs.CV
S2A:Semantic-to-Spatial Alignment for Alignment-Free RGB-T Salient Object Detection
Jiangxi Normal University（江西师范大学）
针对无对齐RGB-T显著目标检测中空间错位导致特征污染的问题，提出S2A框架，通过语义到空间对齐范式，结合全局引导分层融合、跨模态通道注意力和空间可变形交叉注意力，在多个基准上取得优异性能。
2026-09-24 cs.CV
Specificity-preserving RGB-D Saliency Detection
School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院）；CVL, ETH Zurich（苏黎世联邦理工学院计算机视觉实验室）；School of Computer Science and Engineering, Northwestern Polytechnical University（西北工业大学计算机科学与工程学院）；School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）；Institute of High Performance Computing, Agency for Science, Technology and Research（新加坡科技研究局高性能计算研究院）
RGB和深度图像上的显著目标检测（SOD）由于其有效性和现在可以方便地捕获深度线索的事实而吸引了越来越多的研究兴趣。现有的RGB-D SOD模型通常采用不同的融合策略从两种模态（\ie、RGB和深度）中学习共享的表示，而很少有方法明确考虑如何保留模态特定的特征。在这项研究中，我们提出了一个新的框架，称为SPNet}（特异性保持网络），它有利于SOD的性能，通过探索共享的信息和模态特定的属性（\eg，特异性）。具体来说，我们建议采用两个模态特定的网络和一个共享的学习网络，分别生成个人和共享的显着性预测图。为了有效地融合共享学习网络中的跨模态特征，我们提出了一个交叉增强集成模块（CIM），然后将融合后的特征传播到下一层，用于集成跨级别信息。此外，为了捕获丰富的互补多模态信息以提高SOD性能，我们提出了一个多模态特征聚合（MFA）模块，将来自每个单独解码器的特定于模态的特征集成到共享解码器中。通过使用跳过连接，编码器和解码器层之间的分层特征可以被完全组合。大量的实验表明，我们的~ \ours ~优于六个流行的RGB-D超氧化物歧化酶和三个老化的目标检测基准的尖端方法。该项目可在https://github.com/taozh2017/SPNet上公开获取。
2022-01-09 cs.CV
Middle-level Fusion for Lightweight RGB-D Salient Object Detection
Xidian University（西安电子科技大学）；Aberystwyth University（阿伯里斯特威斯大学）
现有的轻量级RGB-D显著性目标检测（SOD）模型大多基于双流结构或单流结构。前者首先使用两个子网络分别从RGB和深度图像中提取单峰特征，然后将其融合用于SOD。后者直接从输入的RGB-D图像中提取多模态特征，然后重点利用跨级别的补充信息。然而，双流结构的模型不可避免地需要更多的参数，单流结构的模型不能很好地利用跨模态的互补信息，因为它们忽略了模态差异。为了解决这些问题，本文提出采用中间层融合结构来设计轻量级RGB-D SOD模型，首先采用两个子网络分别提取低层和中间层单峰特征，然后将这些提取的中间层单峰特征在后续子网络中进行融合，以提取相应的高层多峰特征。与现有的模型不同，该结构可以有效地利用跨模态的互补信息，同时大大减少网络的参数。为此，设计了一种新的轻量级SOD模型，该模型包含一个信息感知的多模态特征融合（IMFF）模块和一个轻量级的特征级和决策级特征融合（LFDF）模块，前者用于有效地捕获跨模态互补信息，后者用于以较少的参数在不同阶段聚合特征级和决策级显著性信息。我们提出的模型只有3.9M参数，运行速度为33 FPS。在多个基准数据集上的实验结果验证了该方法的有效性和优越性。
2021-06-05 cs.CV
Spectral-Aware Global Fusion for RGB-Thermal Semantic Segmentation
Carnegie Mellon University（卡内基梅隆大学）
针对单RGB语义分割在复杂场景下性能受限、RGB与热红外模态融合存在差异的问题，提出SGFNet，从光谱视角建模高频模态特征交互实现融合，在MFNet和PST900数据集上取得SOTA性能。
2025-05-21 cs.CV
RegisterBridgeMM: A Register-Centric Framework for RGB-Infrared Object Detection
Jilin University（吉林大学）；Taiyuan University of Technology（太原理工大学）；Shenzhen University（深圳大学）
针对RGB-红外目标检测的跨模态融合难题，提出以寄存器为核心的RegisterBridgeMM框架，通过三阶段寄存器生命周期实现高效融合，在四个基准数据集上取得最高mAP50-95性能。
2026-08-06 cs.CV
ProtoHGF-Net: Prototype HyperGraph Fusion with Intra-modal Calibration for RGBT Object Detection
Zhejiang Normal University（浙江师范大学）；National University of Defense Technology（国防科技大学）
针对现有RGBT目标检测方法密集跨模态交互易引入背景干扰的问题，提出ProtoHGF-Net框架，通过原型级语义交互与教师掩码校准蒸馏技术，在三个公开数据集上取得最优性能。
2026-08-13 cs.CV
LGFN: Lightweight Gated RGB-Polarization Fusion with Modality-Availability Conditioning for Camouflaged Object Detection
Foshan University（佛山大学）；China University of Mining and Technology-Beijing（中国矿业大学（北京））
提出LGFN轻量级门控RGB-偏振融合框架，通过模态路由和条件化门控处理伪装目标检测，在PCOD_1200上取得最优性能，并显著降低计算开销。
2026-09-22 cs.CV
Scribble-Supervised RGB-T Salient Object Detection
Anhui University（安徽大学）；Hefei University（合肥学院）
显著性目标检测分割场景中的吸引人的目标。RGB和热模态提供了互补的信息，涂鸦注释减轻了大量的人力劳动。基于上述事实，我们提出了一个涂鸦监督的RGB-T显著目标检测模型。通过扩展、预测、聚集和监督四步解决方案，解决了涂鸦监督方法的标签稀疏挑战。为了扩展涂鸦注释，我们分别收集前景涂鸦在RGB和热图像中穿过的超像素。扩展的多模态标签提供粗略的对象边界。为了进一步优化扩展的标签，我们提出了一个预测模块，以减轻边界的尖锐性。为了发挥两种模态的互补作用，我们将两者结合成聚合伪标签。在涂鸦注释和伪标签的监督下，我们的模型在重新标记的RGBT-S数据集上实现了最先进的性能。此外，该模型被应用于RGB-D和视频涂鸦监督应用程序，实现了一贯的优异性能。
2023-03-17 cs.CV
Multi-Scale Iterative Refinement Network for RGB-D Salient Object Detection
China University of Petroleum, Beijing Campus (CUP)（中国石油大学（北京））
利用RGB-D信息的广泛研究已被用于显著目标检测。然而，显着的视觉线索出现在不同的尺度和分辨率的RGB图像由于语义差距在不同的功能水平。同时，在跨模态深度图像和多尺度版本中也存在类似的显著模式。在RGB-D显著目标检测任务中，跨模态融合和多尺度细化仍然是一个悬而未决的问题。在本文中，我们首先引入自顶向下和自底向上的迭代细化架构，以利用多尺度特征，然后设计基于注意力的融合模块（ABF），以解决跨模态相关性。我们在七个公共数据集上进行了广泛的实验。实验结果表明了我们设计的方法的有效性
2022-01-24 cs.CV
Does Thermal Really Always Matter for RGB-T Salient Object Detection?
Beijing Jiaotong University（北京交通大学）；City University of Hong Kong（香港城市大学）；Southern University of Science and Technology（南方科技大学）；University of Chinese Academy of Sciences（中国科学院大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Peng Cheng Laboratory（鹏城实验室）；City University of Hong Kong Shenzhen Research Institute（香港城市大学深圳研究院）
近年来，RGB-T显著目标检测（SOD）受到了持续的关注，这使得通过引入热图像来识别弱光等环境中的显著物体成为可能。然而，现有的RGB-T SOD模型大多集中在如何进行跨模态特征融合，忽略了热图像是否真的总是在SOD任务的问题。从该任务的定义和性质出发，重新思考了热模态的内涵，并提出了一种解决RGB-T SOD任务的网络TNet。本文引入了一个全局光照估计模块来预测图像的全局照度得分，从而调节两种模态所起的作用。此外，考虑到热通道的作用，我们在编码阶段和解码阶段建立了不同的跨通道交互机制。一方面，在编码阶段引入语义约束提供器，丰富了热图像的语义，使热模态更适合SOD任务。另一方面，我们在解码阶段引入了两阶段定位和互补模块，将热特征中的对象定位线索和内部完整性线索转移到RGB模态。在三个数据集上进行的大量实验表明，与20种最先进的方法相比，所提出的TNet具有竞争力的性能。
2022-10-09 cs.CV
RSFusionDet: Underwater RGB-Sonar Multimodal Object Detection
Harbin Engineering University（哈尔滨工程大学）；Hong Kong Polytechnic University（香港理工大学）
针对水下单模态目标检测的传感器成像缺陷，本文构建RSFusion数据集并提出RSFusionDet模型，通过CAFusion模块与OMHead、OMLoss实现跨模态特征融合与目标匹配，在RSFusion数据集上性能优于基线模型DINO。
2026-08-27 cs.CV
Attention-based Multi-modal Fusion Network for Semantic Scene Completion
Tsinghua University（清华大学）；Sun Yat-sen University（中山大学）
本文提出了一种名为基于注意力的多模态融合网络（AMFNet）的端到端3D卷积网络，用于从单视图RGB-D图像推断体积3D场景的占用和语义标签的语义场景完成（SSC）任务。与以往只使用从RGB-D图像中提取的语义特征的方法相比，所提出的AMFNet通过利用从RGB-D图像中推断2D语义分割的经验以及空间维度上的可靠深度线索来学习同时执行有效的3D场景完成和语义分割。它是通过采用一个多模态融合架构，从二维语义分割和三维语义完成网络授权的剩余注意力块。我们在合成的SUNCG-RGBD数据集和真实的NYUv 2数据集上验证了我们的方法，结果表明，我们的方法在合成的SUNCG-RGBD数据集和真实的NYUv 2数据集上分别实现了2.5%和2.6%的增益。
2020-04-16 cs.CV
Multi-level Cross-modal Interaction Network for RGB-D Salient Object Detection
University of Electronic Science and Technology of China（电子科技大学）；Nanjing University of Science and Technology（南京理工大学）；CETC Special Mission Aircraft System Engineering Co.,Ltd（中国电子科技集团特种任务飞机系统工程有限公司）
具有丰富空间信息的深度线索已被证明有利于提高显著目标检测（SOD），而深度质量直接影响随后的SOD性能。但由于其采集设备的限制，不可避免地会获得一些低质量的深度线索，从而抑制了SOD的性能。此外，现有的方法往往将RGB图像和深度信息直接融合或简单融合，无法有效利用两个源之间复杂的相关性。此外，很少有方法设计一个合适的模块来充分融合多层次特征，导致跨层次特征交互不足。为了解决这些问题，我们提出了一种新的多层次跨模态交互网络（MCINet）的RGB-D为基础的SOD。我们的MCI-Net包括两个关键组件：1）跨模态特征学习网络，用于学习RGB图像和深度线索的高级特征，有效地利用两个源之间的相关性; 2）多级交互集成网络，集成多级跨模态特征以提高SOD性能。在六个基准数据集上的大量实验证明了我们的MCI-Net优于14种最先进的方法，并验证了我们的MCI-Net中不同组件的有效性。更重要的是，我们的MCI-Net显着提高了SOD性能，并具有更高的FPS。
2021-03-08 cs.CV
M$^4$-SAM: Multi-Modal Mixture-of-Experts with Memory-Augmented SAM for RGB-D Video Salient Object Detection
Hangzhou Dianzi University（杭州电子科技大学）；Shandong University（山东大学）；Anqing Normal University（安庆师范学院）；Shanghai University（上海大学）
M$^4$-SAM通过引入模态感知MoE-LORA、分层特征融合和伪引导初始化，提升SAM2在RGB-D视频显著目标检测中的性能，实现零样本检测。
2026-05-12 cs.CV
MultiMAE: Multi-modal Multi-task Masked Autoencoders
Swiss Federal Institute of Technology Lausanne (EPFL)（洛桑联邦理工学院）
我们提出了一种预训练策略，称为多模态多任务掩码自编码器（MultiMAE）。它在两个关键方面不同于标准的Masked Autoencoding：I）它可以可选地接受输入中除了RGB图像之外的其他信息模态（因此“多模态”），以及II）其训练目标相应地包括预测除了RGB图像之外的多个输出（因此“多任务”）。我们利用掩蔽（跨图像块和输入模态）使训练MultiMAE易于处理，并确保网络确实学习了跨模态预测编码。我们表明，这种预训练策略导致了一个灵活，简单，高效的框架，改善了向下游任务的传输结果。特别是，当除RGB图像外的其他信息可用或除RGB外没有其他信息可用时，可以灵活地使用相同的精确预训练网络-在所有配置中都会产生与基线竞争或明显优于基线的结果。为了避免需要具有多种模态和任务的训练数据集，我们完全使用伪标记来训练MultiMAE，这使得该框架广泛适用于任何RGB数据集。实验在多个传输任务（图像分类、语义分割、深度估计）和数据集（ImageNet、ADE 20 K、Taskonomy、Hypersim、NYUv 2）上进行。结果表明，该模型在跨模态/任务预测编码和转移方面具有令人印象深刻的能力。
2022-04-04 cs.CV cs.LG
PanoSAMic: Panoramic Image Segmentation from SAM Feature Encoding and Dual View Fusion
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；RPTU Kaiserslautern-Landau（科斯拉特-兰道大学）
PanoSAMic通过整合预训练的Segment Anything模型编码器和双视角融合模块，解决全景图像分割中的失真和边缘不连续问题，实现多模态下的高精度分割。
2026-04-24 cs.CV
HalluciDet: Hallucinating RGB Modality for Person Detection Through Privileged Information
ETS Montreal（蒙特利尔理工学院）；LIVIA（LIVIA实验室）
提出HalluciDet模型，通过利用预训练RGB检测器中的特权信息降低检测损失，实现无需RGB数据的红外到可见光图像翻译，显著提升跨模态行人检测精度。
2024-03-22 cs.AI cs.CV
