Modality-Buffet for Real-Time Object Detection
University of Freiburg（弗莱堡大学）；Toyota Research Institute（丰田研究院）
使用轻量级硬件进行视频中的实时的【形】目标检测是许多机器人任务的关键组成部分。使用不同模态和具有不同计算复杂性的检测器提供不同的权衡。一种选择是拥有一个非常轻量级的模型，可以针对每个帧同时从所有模态进行预测。然而，在某些情况下（例如，在静态场景中），可能更好的是具有更复杂但更精确的模型，并且从先前对在处理时进入的帧的预测中进行推断。我们将此任务制定为顺序决策问题，并使用强化学习（RL）生成一个策略，该策略从RGB输入中决定从不同对象检测器的组合中选择哪个检测器进行下一次预测。RL代理的目标是最大化每个图像的预测准确性。我们在Waymo开放数据集上评估了这种方法，并表明它超过了每个单个检测器的性能。
2020-11-17 cs.CV cs.LG cs.RO
CaTDet: Cascaded Tracked Detector for Efficient Object Detection from Video
Stanford University（斯坦福大学）；Nvidia Corporation（英伟达公司）
检测视频中的对象是一项计算密集型任务。在本文中，我们提出了CaTDet，系统加速目标检测，利用视频中的时间相关性。CaTDet由两个DNN模型组成，形成级联检测器，以及一个额外的跟踪器，用于根据历史检测预测感兴趣的区域。我们还提出了一个新的度量，平均延迟（mD），这是专为延迟关键的视频应用。在KITTI数据集上的实验表明，CaTDet将操作计数减少了5.1- 8.7倍，平均精度（mAP）与单模型Faster R-CNN检测器相同，并产生0.3帧的额外延迟。在CityPersons数据集上，CaTDet实现了13.0倍的操作减少，mAP损失为0.8%。
2019-02-19 cs.CV cs.LG
CascadeV-Det: Cascade Point Voting for 3D Object Detection
Beijing Institute of Technology（北京理工大学）
本文提出CascadeV级联投票策略，通过实例感知投票和级联点分配模块改进无锚三维目标检测，在SUN RGB-D和ScanNet上取得领先性能。
2024-01-15 cs.CV
Visual Modality Prompt for Adapting Vision-Language Object Detectors
ETS Montreal（蒙特利尔理工学院）；International Laboratory on Learning Systems (ILLS)（国际学习系统实验室）
本文提出ModPrompt视觉提示策略，通过编码器-解码器与模态提示解耦残差，将YOLO-World和Grounding DINO适配到红外、深度模态，并在保留零样本能力的同时达到接近全量微调的效果。
2025-03-14 cs.AI cs.CV cs.LG
Cascade-DETR: Delving into High-Quality Universal Object Detection
ETH Zürich（苏黎世联邦理工学院）；The Hong Kong University of Science and Technology（香港科技大学）
针对Transformer目标检测方法跨域竞争力弱、定位精度不足的问题，提出Cascade-DETR，通过级联注意力层和IoU查询评分机制提升性能，还构建了UDB10跨域基准，在多数据集上取得显著提升。
2023-07-20 cs.AI cs.CV
Cascade Attentive Dropout for Weakly Supervised Object Detection
Jiangnan University（江南大学）
弱监督目标检测（WSOD）的目的是分类和定位对象，只有图像级的监督。许多WSOD方法采用多实例学习作为初始模型，容易收敛到最具区分力的目标区域而忽略整个目标，从而降低模型检测性能。本文提出了一种新的级联注意力丢弃策略来解决部分支配问题，并改进了全局上下文模块。我们有目的地丢弃通道和空间维度中的注意元素，并捕获像素间和通道间的依赖关系，以诱导模型更好地理解全局上下文。在具有挑战性的PASCAL VOC 2007基准上进行了广泛的实验，达到了49.8%的mAP和66.0%的CorLoc，优于最先进的技术。
2020-11-20 cs.CV cs.LG eess.IV
HRTransNet: HRFormer-Driven Two-Modality Salient Object Detection
Hefei University（合肥学院）；Anhui University（安徽大学）
高分辨率Transformer（HRFormer）可以保持高分辨率表示并共享全局感受野。该算法对显著目标检测（SOD）具有较好的适应性，输入输出分辨率相同。然而，双模态SOD需要解决两个关键问题。一个问题是双模态融合。另一个问题是HRFormer输出的融合。为了解决第一个问题，一个补充的模态被注入到主模态通过使用全局优化和注意力机制选择和净化的输入级的模态。为了解决第二个问题，双向短连接融合模块被用来优化HRFormer的输出特征，从而在输出层面上增强对象的详细表示。该模型首先引入一个辅助流来提取补充模态的特征提取。然后，在每个多分辨率分支的开始处将特征注入到主模态中。接下来，应用HRFormer来实现转发传播。最后通过特征内和特征间交互Transformers对不同分辨率的输出特征进行聚合。所提出的模型的应用结果在驱动双模态SOD任务，例如，RGB-D、RGB-T和光场SOD.https://github.com/liuzywen/HRTransNet
2023-01-08 cs.CV
Towards Holistic Scene Understanding: Feedback Enabled Cascaded Classification Models
Cornell University（康奈尔大学）
场景理解包括许多相关的子任务，例如场景分类、深度估计、目标检测等。众所周知，这些子任务中的每一个都非常困难，并且已经存在用于其中许多子任务的最先进的分类器。这些分类器对相同的原始图像进行操作，并提供相关的输出。希望有一种算法可以捕获这种相关性，而不需要对任何分类器的内部工作进行任何改变。我们提出的反馈使能级联分类模型（FE-CCM），共同优化所有的子任务，而只需要一个“黑盒子”的接口，为每个子任务的原始分类。我们使用两层级联的分类器，它们是原始分类器的重复实例化，第一层的输出作为输入馈送到第二层。我们的训练方法涉及到一个反馈步骤，允许后来的分类器提供早期分类器的信息，其中错误模式focuson. We表明，我们的方法显着提高了性能，在所有的子任务领域的场景理解，在那里我们考虑深度估计，场景分类，事件分类，目标检测，几何标记和显着性检测。我们的方法还提高了两个机器人应用程序的性能：一个对象抓取机器人和一个对象发现机器人。
2011-10-24 cs.AI cs.CV cs.RO
3D Cascade RCNN: High Quality Object Detection in Point Clouds
University of Science and Technology of China（中国科学技术大学）；JD AI Research（京东人工智能研究院）
2D目标检测的最新进展是Cascade RCNN，它利用一系列级联检测器来逐步提高建议质量，以实现高质量的目标检测。然而，还没有证据支持构建用于3D目标检测的这种级联结构，这是具有高度稀疏的LiDAR点云的具有挑战性的检测场景。在这项工作中，我们提出了一个简单而有效的级联架构，名为3D Cascade RCNN，它基于级联范例中的体素化点云分配多个检测器，逐步追求更高质量的3D对象检测器。此外，我们定量地定义了每个对象的3D限界框内的点的稀疏水平作为点完整性得分，该得分被利用作为每个建议的任务权重来指导每个阶段检测器的学习。其背后的精神是为具有相对完整点分布的高质量提案分配更高的权重，而对具有非常稀疏点的提案进行降权，这些点在训练过程中经常会产生噪音。这种完整性感知重新加权的设计优雅地升级了级联范例，以更好地适用于稀疏输入数据，而不增加任何FLOP预算。通过在KITTI数据集和Waymo Open Dataset上的广泛实验，我们验证了我们提出的3D Cascade RCNN与最先进的3D目标检测技术相比的优越性。源代码可在\url{https://github.com/caiqi/Cascasde-3D}上公开获得。
2022-11-15 cs.CV
DeepInteraction: 3D Object Detection via Modality Interaction
Fudan University（复旦大学）；Alibaba DAMO Academy（阿里巴巴达摩院）；NTU（南洋理工大学）；University of Surrey（萨里大学）
现有的高性能3D目标检测器通常依赖于多模态融合策略。然而，这种设计从根本上受到限制，由于忽略了模态特定的有用信息，并最终阻碍了模型的性能。为了解决这一限制，在这项工作中，我们引入了一种新的模态交互策略，其中学习和维护各个模态表示，使其独特的特性被利用在目标检测。为了实现这一策略，我们设计了一个DeepInteraction架构，其特征在于多模态表示交互编码器和多模态预测交互解码器。在大规模nuScenes数据集上的实验表明，我们提出的方法往往大大优于所有现有技术。至关重要的是，我们的方法在竞争激烈的nuScenes目标检测排行榜上排名第一。
2022-12-08 cs.CV
Cross-Modality Fusion Transformer for Multispectral Object Detection
Tsinghua University（清华大学）
多光谱图像对可以提供组合信息，使目标检测应用在开放世界中更加可靠和鲁棒。为了充分利用不同的模态，本文提出了一种简单而有效的跨模态特征融合方法，称为跨模态融合Transformer（CFT）。与之前基于CNN的作品不同，在Transformer方案的指导下，我们的网络学习远程依赖关系，并在特征提取阶段集成全局上下文信息。更重要的是，通过利用Transformer的自我注意力，该网络可以自然地同时进行模态内和模态间融合，并鲁棒地捕获RGB和Thermal域之间的潜在相互作用，从而显著提高多光谱目标检测的性能。在多个数据集上的大量实验和消融研究表明，我们的方法是有效的，并达到了最先进的检测性能。我们的代码和模型可在https://github.com/DocF/multispectral-object-detection上找到。
2022-10-04 cs.CV eess.IV
CDNet is all you need: Cascade DCN based underwater object detection RCNN
Dalian University of Technology（大连理工大学）
目标检测是计算机视觉领域一个非常重要的基础研究方向，也是计算机视觉领域其他高级任务的基本方法。它在目标跟踪、视频行为识别、水下机器人视觉等实际应用中得到了广泛的应用。Cascade-RCNN和Deformable Convolution Network都是经典的、优秀的目标检测算法。在这份报告中，我们评估我们的级联DCN为基础的方法在水下光学图像和声学图像数据集与不同的工程技巧和增强。
2021-11-25 cs.CV eess.IV
Robust Multimodal 3D Object Detection via Modality-Agnostic Decoding and Proximity-based Modality Ensemble
Korea University（高丽大学）
针对现有多模态3D目标检测过度依赖LiDAR、抗噪性差的问题，提出MEFormer框架，通过模态无关解码与邻近式模态集成实现鲁棒检测，在nuScenes验证集达SOTA性能。
2024-08-19 cs.CV
HiddenObject: Modality-Agnostic Fusion for Multimodal Hidden Object Detection
提出基于Mamba的模态无关融合框架HiddenObject，整合RGB、热成像和深度数据，有效解决多模态环境下的隐藏目标检测问题，并在多个基准数据集上取得领先性能。
2025-09-12 cs.AI cs.CV
Fusion-Mamba for Cross-modality Object Detection
Beihang University（北航大学）；East China Normal University（东华师范大学）；Tencent Youtu Lab（腾讯优图实验室）；Eastern Institute of Technology（东部技术研究所）
本文提出 Fusion-Mamba 块，利用改进的 Mamba 在隐状态空间中关联跨模态特征以减少模态差异，并在多个数据集上取得领先的目标检测性能。
2024-04-14 cs.AI cs.CV
Modality Prompts for Arbitrary Modality Salient Object Detection
Xidian University（西安电子科技大学）；University of Sheffield（谢菲尔德大学）
本文提出模态自适应Transformer（MAT），通过模态提示和通道-空间混合动态融合策略，解决任意模态显著目标检测中模态差异多样与模态数量不确定的挑战。
2024-05-06 cs.CV
Background Learnable Cascade for Zero-Shot Object Detection
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
Zero-shot检测（ZSD）是大规模目标检测的关键，其目的是同时定位和识别看不见的目标。ZSD仍然存在一些挑战，包括减少背景和不可见对象之间的模糊性，以及改善视觉和语义概念之间的一致性。在这项工作中，我们提出了一个新的框架名为背景可学习级联（BLC），以提高ZSD的性能。BLC的主要贡献如下：（i）我们提出了一种称为Cascade Semantic R-CNN的多级级联结构，以逐步改进ZSD的视觉和语义之间的对齐;（ii）我们开发了语义信息流结构，并将其直接添加到Cascade Semantic RCNN的每个阶段之间，以进一步改进语义特征学习;（iii）提出了背景可学习区域建议网络（BLRPN）来学习用于背景类的合适的词向量，并将该学习到的向量用于级联语义R CNN中，这种设计使得\Background“可学习”，并减少了背景类和不可见类之间的混淆。我们广泛的实验表明，BLC获得了显着的性能改进的MS-COCO国家的最先进的方法。
2020-10-09 cs.CV
Mitigating the Impact of Prominent Position Shift in Drone-based RGBT Object Detection
针对无人机RGBT目标检测中微小目标在不同模态间位置偏移导致监督信号缺失、特征不匹配的问题，提出基于Mean Teacher的CBC模块和SWCA模块，有效提升检测性能，在相关数据集上取得优异结果。
2025-02-13 cs.CV
Object Detection for Understanding Assembly Instruction Using Context-aware Data Augmentation and Cascade Mask R-CNN
Gwangju Institute of Science and Technology (GIST)（光州科学技术院）
理解装配指令有可能提高机器人的任务规划能力，并使先进的机器人应用。为了从二维装配指令图像中识别出关键部件，我们主要对包含大量指令信息的语音气泡区域进行分割。为此，我们应用Cascade Mask R-CNN并开发了一种用于语音气泡分割的上下文感知数据增强方案，该方案通过考虑汇编指令的上下文随机组合图像切割。我们表明，所提出的增强方案实现了更好的分割性能相比，现有的增强算法，通过增加可训练数据的多样性，同时考虑组件位置的分布。此外，我们表明，深度学习可以通过检测装配指令中的基本对象（如工具和零件）来帮助理解装配指令。
2021-01-08 cs.CV cs.RO
DOD-SA: Infrared-Visible Decoupled Object Detection with Single-Modality Annotations
针对红外-可见光目标检测需双模态标注成本高的问题，提出采用单模态标注的DOD-SA框架，通过CoSD-TSNet、PaST策略及PLA解决模态错位，实现高效解耦检测。
2026-08-28 cs.CV
CMA-Net: A Cascaded Mutual Attention Network for Light Field Salient Object Detection
在过去的几年中，已经提出了许多深度学习方法来解决从RGB图像中分割显著对象的任务。然而，这些依赖于单一模态的方法无法在广泛使用的光场显著目标检测（SOD）数据集上实现最先进的性能，SOD数据集收集大规模自然图像并提供多模态，例如多视图、微透镜图像和深度图。近年来提出的光场SOD方法虽然提高了检测精度，但仍存在预测粗糙物体结构和推理速度慢的问题。为此，我们提出了CMA-Net，它由两个新的级联相互注意模块组成，旨在融合来自全聚焦和深度模态的高级特征。我们提出的CMA-Net在两个广泛应用的光场基准数据集上优于30种SOD方法。此外，提出的CMA-Net能够以53 fps的速度进行推理。大量的定量和定性实验说明了我们的CMA网络的有效性和效率。
2021-12-07 cs.CV
Semi-Supervised and Long-Tailed Object Detection with CascadeMatch
Nanyang Technological University（南洋理工大学）；Apple Inc.（苹果公司）
本文提出一种基于伪标签的级联网络检测器CascadeMatch，通过自适应伪标签挖掘机制和集成伪标签训练缓解确认偏置，在长尾目标检测任务上超越了现有半监督方法，并能处理稀疏标注问题。
2023-05-24 cs.CV
MV2DFusion: Leveraging Modality-Specific Object Semantics for Multi-Modal 3D Detection
Institute of Artificial Intelligence, Beihang University（北京航空航天大学人工智能学院）
本文提出MV2DFusion多模态三维检测框架，通过图像与点云查询生成器结合模态特定目标语义，实现稀疏高效融合，在nuScenes和Argoverse2上达到最先进性能，尤其擅长远距离检测。
2025-07-03 cs.CV
Multi-Task Cross-Modality Attention-Fusion for 2D Object Detection
Infineon Technologies AG（英飞凌科技公司）；Technical University of Munich（慕尼黑工业大学）
针对自动驾驶中恶劣天气下图像检测受限及雷达-相机异构融合难题，提出MCAF-Net与雷达预处理、自由空间分割联合训练，在nuScenes上取得SOTA并增强夜间与恶劣天气鲁棒性。
2023-07-17 cs.AI cs.CV cs.MM
Cascade R-CNN: Delving into High Quality Object Detection
UC San Diego（加州大学圣迭戈分校）
在目标检测中，需要交集大于并集（IoU）阈值来定义正和负。用低IoU阈值（例如0.5）训练的对象检测器通常产生噪声检测。然而，检测性能往往会随着IoU阈值的增加而降低。两个主要因素对此负责：1）由于正样本呈指数消失，训练期间过拟合，以及2）检测器最佳的IoU与输入假设之间的推理时间不匹配。提出了一种多级目标检测架构，级联R-CNN，以解决这些问题。它由一系列检测器组成，这些检测器通过不断增加的IoU阈值进行训练，从而对接近的误报更具选择性。检测器是逐步训练的，利用检测器的输出是用于训练下一个更高质量检测器的良好分布的观察。逐步改进的假设保证了所有检测器都有一组相同大小的正样本，减少了过拟合问题。在推理时应用相同的级联过程，使得假设与每个阶段的检测器质量之间更接近匹配。Cascade R-CNN的简单实现在具有挑战性的COCO数据集上超过了所有单模型对象检测器。实验还表明，Cascade R-CNN广泛适用于各种检测器架构，实现了独立于基线检测器强度的一致增益。该代码将在https://github.com/zhaoweicai/cascade-rcnn上提供。
2017-12-03 cs.CV
Modality-Agnostic Prompt Learning for Multi-Modal Camouflaged Object Detection
Information Science and Technology College, Dalian Maritime University（大连海事大学信息科学与技术学院）；Beijing University of Technology（北京理工大学）；Dalian University of Technology（大连理工大学）
本文提出一种模态无关的提示学习框架，用于多模态伪装物体检测，通过数据驱动内容域与知识驱动提示域的交互，生成统一提示以提升SAM模型性能，并引入轻量级Mask Refine模块以提高检测精度。
2026-04-14 cs.CV
Modality-Decoupled RGB-Thermal Object Detector via Query Fusion
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学深圳分校）
本文提出了一种通过查询融合实现模态解耦的RGB热物体检测框架，以提升在极端条件下的检测鲁棒性。
2026-01-13 cs.CV
Cascade R-CNN: High Quality Object Detection and Instance Segmentation
University of California, San Diego（加州大学圣地亚哥分校）
在目标检测中，交集大于并集（IoU）阈值经常用于定义正/负。用于训练检测器的阈值定义其\textit{quality}。虽然常用的阈值0.5会导致噪声（低质量）检测，但检测性能经常会因阈值较大而降低。这种高质量检测的悖论有两个原因：1）过度拟合，由于大阈值的正样本消失，以及2）检测器和测试假设之间的推理时间质量不匹配。提出了一种多阶段目标检测架构，级联R-CNN，由一系列使用增加的IoU阈值训练的检测器组成，以解决这些问题。检测器被顺序地训练，使用检测器的输出作为下一个的训练集。这种恢复逐渐提高了假设的质量，保证了所有检测器的正训练集大小相等，并最大限度地减少了过拟合。同样的级联应用于推理，以消除假设和检测器之间的质量不匹配。Cascade R-CNN的实现在COCO数据集上实现了最先进的性能，并显着提高了通用和特定目标检测数据集的高质量检测，包括VOC，KITTI，CityPerson和WiderFace。最后，Cascade R-CNN被推广到实例分割，与Mask R-CNN相比有了非平凡的改进。为了方便未来的研究，两个实现可在\url{https://github.com/zhaoweicai/cascade-rcnn}（咖啡馆）和\url{https://github.com/zhaoweicai/Detectron-Cascade-RCNN}（Detectron）。
2019-06-24 cs.CV
Training Effective Node Classifiers for Cascade Classification
Australian Centre for Visual Technologies（澳大利亚视觉技术中心）；School of Computer Science, The University of Adelaide（阿德莱德大学计算机科学学院）
级联分类器广泛应用于实时目标检测中。与设计用于低总体分类出错率的常规分类器不同，要求级联的每个节点中的分类器实现极高的检测率和适度的假阳性率。虽然有几个报告的方法，解决这个要求的背景下，目标检测，有没有原则性的特征选择方法，明确考虑到这个不对称的节点学习目标。我们在这里提供这样一个算法。我们证明了有偏极大极小概率机的一个特例与Wu等人（2005）的线性非对称分类器（LAC）具有相同的公式。然后，我们设计了一个新的升压算法，直接优化LAC的成本函数。所得到的完全校正的升压算法是通过凸优化中的列生成技术实现的。目标检测的实验结果验证了提出的Boosting算法作为级联目标检测中节点分类器的有效性，并显示出优于现有技术的性能。
2013-01-10 cs.CV cs.LG stat.ML
Learning Chained Deep Features and Classifiers for Cascade in Object Detection
The Chinese University of Hong Kong（香港中文大学）
Cascade是一种广泛使用的方法，它在早期阶段拒绝明显的负样本，以学习更好的分类器和更快的推理。本文提出了链式级联网络（CC-Net）。在该CC-Net中，在一个阶段的级联分类器由先前阶段的分类分数辅助。进一步提出了特征链，使得当前级联阶段的特征学习使用先前阶段的特征作为先验信息。多个阶段的链式ConvNet特征和分类器在端到端网络中联合学习。通过这种方式，在后一阶段的特征和分类器在前一阶段的特征和分类器的帮助下处理更困难的样本。它在PASCAL VOC 2007和ImageNet等基准测试中的检测性能得到了一致的提升。结合更好的区域建议，CC-Net导致PASCAL VOC 2007上81.1%的mAP的最新结果。
2017-02-23 cs.CV
CIR-Net: Cross-modality Interaction and Refinement for RGB-D Salient Object Detection
Beijing Jiaotong University（北京交通大学）；Nanyang Technological University（南洋理工大学）；Sun Yat-sen University（中山大学）；University of Chinese Academy of Sciences（中国科学院大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Peng Cheng Laboratory（鹏城实验室）
针对RGB-D显著目标检测（SOD）任务中如何有效地捕获和利用跨通道信息的问题，提出了一种基于跨通道交互和细化的卷积神经网络（CNN）模型CIR-Net。对于跨模态交互，1）提出了渐进式注意力引导的整合单元以在编码器级中充分整合RGB-D特征表示，以及2）提出了收敛聚合结构，其经由解码器级中的重要性门控融合单元将RGB和深度解码特征流到对应的RGB-D解码流中。对于跨模态细化，我们在编码器和解码器之间插入细化中间件结构，其中RGB，深度和RGB-D编码器特征通过连续使用自模态注意力细化单元和跨模态加权细化单元来进一步细化。最后，在解码器阶段，利用逐步细化的特征预测显著图。在六个流行的RGB-D SOD基准上进行的大量实验表明，我们的网络在定性和定量方面都优于最先进的显着性检测器。
2022-10-06 cs.CV
Cross-Modality Knowledge Distillation Network for Monocular 3D Object Detection
Zhejiang University（浙江大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
利用基于LiDAR的检测器或真实LiDAR点数据来指导单目3D检测已经带来了显著的改进，例如，伪激光雷达方法。然而，现有的方法通常采用非端到端的训练策略，没有充分利用LiDAR信息，LiDAR数据的丰富潜力没有得到很好的开发。在本文中，我们提出了跨模态知识蒸馏（CMKD）网络的单目3D检测，有效地和直接地转移知识从激光雷达模态图像模态的功能和响应。此外，我们通过从大规模未标记数据中提取知识，进一步扩展CMKD作为半监督训练框架，并显着提高性能。在提交之前，CMKD将$1^{st}$列为单眼3D探测器中的一种，与之前的最先进方法相比，KITTI $test$集和Waymo $val$集都有显著的性能提升。
2022-11-14 cs.CV
ModalPatch: A Plug-and-Play Module for Robust Multi-Modal 3D Object Detection under Modality Drop
University of Alberta, Canada（阿尔伯塔大学）；The University of Tokyo, Japan（东京大学）
ModalPatch是一种插拔式模块，通过利用传感器数据的时间特性实现感知连续性，提升多模态3D目标检测在模态缺失情况下的鲁棒性和准确性。
2026-03-03 cs.CV
Unifying Voxel-based Representation with Transformer for 3D Object Detection
The Chinese University of Hong Kong（香港中文大学）；The University of Hong Kong（香港大学）；MEGVII Technology（旷视科技）；SmartMore（思谋科技）
在这项工作中，我们提出了一个统一的框架，多模态三维目标检测，命名为UVTR。所提出的方法旨在统一体素空间中的多模态表示，以实现准确和鲁棒的单模态或跨模态3D检测。为此，首先设计模态特定空间以表示体素特征空间中的不同输入。与以前的工作不同，我们的方法保留了体素空间没有高度压缩，以减轻语义歧义，并使空间连接。为了充分利用来自不同传感器的输入，提出了跨模态交互，包括知识传递和模态融合。通过这种方式，很好地利用了点云中的几何感知表达式和图像中的上下文丰富特征，以获得更好的性能和鲁棒性。Transformer解码器用于从具有可学习位置的统一空间中有效地采样特征，这有助于对象级交互。总的来说，UVTR提出了在一个统一的框架中表示不同模态的早期尝试。它超越了以前的工作，在单一或多模态条目。所提出的方法在nuScenes测试集中实现了目标检测和后续目标跟踪任务的领先性能。代码可在https://github.com/dvlab-research/UVTR上公开获取。
2022-10-13 cs.CV
Representation Space Constrained Learning with Modality Decoupling for Multimodal Object Detection
school of reliability and systems engineering, Beihang University（可靠性与系统工程学院，北京航空航天大学）
本文提出RSC-MD方法，通过模态解耦和表示空间约束学习解决多模态目标检测中的融合退化问题，提升各模态的优化效果。
2025-11-19 cs.CV
RGB-D Salient Object Detection with Cross-Modality Modulation and Selection
Nanyang Technological University（南洋理工大学）；Beijing Jiaotong University（北京交通大学）；Dalian University of Technology（大连理工大学）；Chinese Academy of Sciences（中国科学院）
我们提出了一种有效的方法，逐步整合和完善的跨模态互补性的RGB-D显着目标检测（SOD）。该网络主要解决了两个具有挑战性的问题：1）如何有效地整合RGB图像及其相应深度图的互补信息，以及2）如何自适应地选择更多显著性相关的特征。首先，我们提出了一个跨模态特征调制（cross-modality feature modulation，cmFM）模块，通过将深度特征作为先验来增强特征表示，该模块对RGB-D数据的互补关系进行建模。其次，我们提出了一个自适应特征选择（AFS）模块来选择显著性相关的功能和抑制劣质的。AFS模块利用多模态空间特征融合，考虑通道特征的自模态和跨模态相互依赖性。第三，我们采用了一个显着性引导的位置边缘注意力（sg-PEA）模块，以鼓励我们的网络更多地关注显着性相关的区域。上述模块作为一个整体，称为cmMS块，有助于以由粗到细的方式细化显着性特征。结合自下而上的推理，改进的显着性特征可以实现准确和边缘保留的SOD。大量的实验表明，我们的网络在六个流行的RGB-D SOD基准测试中优于最先进的显着性检测器。
2020-07-14 cs.CV
VCP-DCN: Beyond Visual Concealed Property via Depth Collaborative Network for Camouflaged Object Detection
Xidian University（西安电子科技大学）
针对现有伪装目标检测方法忽略深度域隐蔽目标模态特性的问题，提出VCP-DCN网络，通过SPE、MDA、DAI模块逐步实现多模态对齐、交互与融合，在三个权威数据集上验证了有效性。
2026-07-31 cs.CV
Efficient RGB-T Object Detection via Sparse Cross-Modality Fusion
Harbin Institute of Technology（哈尔滨工业大学）
提出稀疏融合机制，先快速扫描图像识别候选区域，再对稀疏候选进行特征融合，实现高效RGB-T目标检测，在降低计算成本的同时保持高精度。
2026-06-29 cs.AI cs.CV
RA-SOD: Reliability-Aware RGB-T Salient Object Detection under Modality Degradation
State Key Laboratory of Robotics and Systems, Harbin Institute of Technology（哈尔滨工业大学机器人技术与系统国家重点实验室）；School of Computer Science, University of Sydney（悉尼大学计算机科学学院）
针对RGB-T显著目标检测中模态退化导致融合不可靠的问题，提出可靠性感知框架RA-SOD，通过可靠性条件化表示、不确定性引导细化及像素级模态竞争机制，在四个基准上取得最优性能。
2026-09-14 cs.CV
Cascade Region Proposal and Global Context for Deep Object Detection
Hikvision Research Institute（海康威视研究院）
基于深度区域的目标检测器由区域建议步骤和深度目标识别步骤组成。在本文中，我们对这两个步骤进行了重大改进。对于区域建议，我们提出了一种新的轻量级级联结构，可以有效地提高RPN建议的质量。对于对象识别，我们通过一些修改重新实现了全局上下文建模，并获得了性能提升（在ILSVRC 2016验证集上获得了4.2%的mAP增益）。此外，我们广泛应用了预训练的思想，并显示了它在这两个步骤中的重要性。结合常见的训练和测试技巧，我们大幅提高了Faster R-CNN基线。特别是，我们在PASCAL VOC 2012测试集上获得了87.9%的mAP，在ILSVRC 2016测试集上获得了65.3%，在COCO测试标准集上获得了36.8%。
2017-10-30 cs.CV
Modality Translation for Object Detection Adaptation Without Forgetting Prior Knowledge
ETS Montreal（蒙特利尔理工学院）；LIVIA（LIVIA实验室）
本文提出 ModTr，通过直接优化检测损失的小型转换网络将 IR 图像转为 RGB 风格，使原有检测模型无需微调即可适配新模态并保留先验知识。
2024-07-31 cs.AI cs.CV
Cross-modality Discrepant Interaction Network for RGB-D Salient Object Detection
Beijing Jiaotong University（北京交通大学）；Meituan（美团）；City University of Hong Kong（香港城市大学）
深度图的普及和推广为显著目标检测（SOD）带来了新的生机和活力，大量的RGB-D SOD算法被提出，主要集中在如何更好地融合RGB图像和深度图的跨模态特征。对于特征编码器中的跨模态交互，现有方法要么不加区别地对待RGB和深度模态，要么习惯性地将深度线索作为RGB分支的辅助信息。与之不同的是，我们重新考虑了两种模态的状态，并提出了一种新的跨模态差异交互网络（CDINet）的RGB-D SOD，根据不同层的特征表示差异模型的依赖性的两种模态。为此，设计了两个组件来实现有效的跨模态交互：1）RGB诱导的细节增强（RDE）模块利用RGB模态在低级编码器阶段增强深度特征的细节。2)深度诱导语义增强（DSE）模块将深度特征的对象定位和内部一致性传递到高级编码器阶段的RGB分支。此外，我们还设计了一种密集解码重建（DDR）结构，它通过结合多层次的编码器特征来构建一个语义块，以提升特征解码中的跳过连接。在五个基准数据集上进行的大量实验表明，我们的网络在定量和定性方面都优于$15$最先进的方法。我们的代码可在https://rmcong.github.io/proj_CDINet.html上公开获取。
2021-08-04 cs.CV
Optimally Training a Cascade Classifier
NICTA（澳大利亚国家信息与通信技术研究院）；Australian National University（澳大利亚国立大学）；Beihang University（北京航空航天大学）；University of Adelaide（阿德莱德大学）
级联分类器广泛应用于实时目标检测中。与设计用于低总体分类出错率的常规分类器不同，要求级联的每个节点中的分类器实现极高的检测率和适度的假阳性率。虽然有几个报告的方法，解决这个要求的背景下，对象检测，有没有一个原则性的特征选择方法，明确考虑到这个不对称的节点学习目标。我们在这里提供这样一个算法。我们证明了一个特殊的情况下，有偏极大极小概率机具有相同的配方作为线性非对称分类器（LAC）的\cite{wu2005linear}。然后，我们设计了一个新的升压算法，直接优化LAC的成本函数。所得到的完全校正的升压算法是通过凸优化中的列生成技术实现的。目标检测的实验结果验证了提出的Boosting算法作为级联目标检测中节点分类器的有效性，并显示出优于现有技术的性能。
2010-08-23 cs.CV
MiPa: Mixed Patch Infrared-Visible Modality Agnostic Object Detection
ETS Montreal（蒙特利尔理工学院）
针对单一共享编码器学习RGB与IR时的模态不平衡问题，提出MiPa混合块训练及块级模态不可知模块，使推理仅需单模态即可在RGB/IR检测基准上取得竞争力。
2024-08-02 cs.CV
Cascaded Zoom-in Detector for High Resolution Aerial Images
ÉTS Montreal（蒙特利尔高等工程技术学院）
在航空图像中检测物体是具有挑战性的，因为它们通常由拥挤的小物体组成，这些小物体不均匀地分布在高分辨率图像上。密度裁剪是一种广泛使用的方法，以改善这种小目标检测，其中拥挤的小对象区域被提取和处理在高分辨率。然而，这通常是通过添加其他可学习的组件来实现的，从而使标准检测过程中的训练和推理复杂化。在本文中，我们提出了一种高效的级联放大（CZ）检测器，它将检测器本身重新用于密度指导的训练和推理。在训练过程中，密度作物被定位，标记为新类，并用于增强训练数据集。在推理过程中，密度作物首先与基类对象一起被检测到，然后输入第二阶段的推理。这种方法很容易集成到任何检测器中，并且不会像航空图像检测中流行的均匀裁剪方法那样在标准检测过程中产生显著变化。在具有挑战性的VisDrone和DOTA数据集的航拍图像上的实验结果验证了所提出的方法的优点。拟议的CZ检测器还提供了VisDrone数据集上均匀裁剪和其他密度裁剪方法的最新结果，将小物体的检测mAP提高了3个点以上。
2023-03-15 cs.AI cs.CV
Active Learning for Cascaded Object Detection: Balancing Coverage and Uncertainty in Table Extraction Pipelines
L3i, La Rochelle Université（拉罗谢尔大学L3i实验室）；Yooz（Yooz公司）
针对级联表格提取流水线中TSR标注成本高的问题，提出基于不确定性牧群（UHerding）的主动学习方法，通过RankFusion和CAPA两种流水线感知扩展，在多个数据集上优于基线方法。
2026-07-02 cs.AI cs.CV
DEYOLO: Dual-Feature-Enhancement YOLO for Cross-Modality Object Detection
College of Artificial Intelligence, Nankai University（南开大学人工智能学院）；Engineering Research Center of Trusted Behavior Intelligence, Ministry of Education, Nankai University（南开大学教育部可信行为智能工程研究中心）
提出 DEYOLO 跨模态目标检测网络，通过 DECA、DEPA 双特征增强及双向解耦聚焦模块减少 RGB-IR 干扰，在 M3FD 和 LLVIP 上显著优于现有 SOTA。
2024-12-06 cs.CV
C-RPNs: Promoting Object Detection in real world via a Cascade Structure of Region Proposal Networks
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）；University of Technology Sydney（悉尼科技大学）；National Engineering Laboratory for Video Technology - Shenzhen Division（视频技术国家工程实验室-深圳分部）
最近，在目标检测公共基准（即，Pascal VOC）。然而，由于数据严重不平衡，现实世界中的目标检测仍然具有挑战性。现实世界中的图像主要是由简单的样本，如广泛的背景和一些容易识别的对象，例如。虽然Faster R-CNN等两阶段检测器在目标检测中取得了很大的成功，但由于在提取区域建议时没有考虑挖掘硬样本，因此它们在实际目标检测中的适应性较差。为了解决这个问题，我们提出了一个级联框架的区域建议网络，简称为C-RPN。C-RPN的本质是在提取区域建议的同时，采用多阶段挖掘硬样本，学习更强的分类器。同时，提出了一个特征链和一个分数链，以帮助学习更多的歧视性表示的建议。设计了级联级的损失函数，通过反向传播对级联分类器进行训练。我们提出的方法已经在Pascal VOC和几个具有挑战性的数据集上进行了评估，如BSBDV 2017，CityPersons等。与当前最先进的错误分析和全面改进相比，我们的方法取得了有竞争力的结果，验证了其在现实世界中检测的有效性。
2019-08-19 cs.CV
Tensor Factorization for Leveraging Cross-Modal Knowledge in Data-Constrained Infrared Object Detection
Mitsubishi Electric Research Laboratories（三菱电机研究实验室）；Rochester Institute of Technology（罗切斯特理工学院）
本文提出TensorFact张量分解方法，通过RGB预训练与少量红外参数微调，在保持并提升RGB性能的同时，使FLIR ADAS v1上的mAP 50提升约4%。
2023-09-28 cs.CV cs.LG
Rethinking Multi-Modal Object Detection from the Perspective of Mono-Modality Feature Learning
Institute of Artificial Intelligence, State Key Laboratory of Virtual Reality Technology and Systems, Beihang University（人工智能研究院、虚拟现实技术与系统国家重点实验室、北京航空航天大学）
针对多模态联合训练导致的单模态学习不足与融合退化问题，提出M²D-LIF框架，通过单模态蒸馏和局部光照感知融合提升RGB-IR检测性能。
2025-07-28 cs.CV
Modality-Guided Subnetwork for Salient Object Detection
Université Bourgogne Franche-Comté（勃艮第-弗朗什-孔泰大学）；Shanghai Jiao Tong University（上海交通大学）；Université Côte d’Azur（蔚蓝海岸大学）
最近基于RGBD的显著性检测模型引起了研究的关注。深度线索，如边界线索，表面法线，形状属性等，有助于识别具有复杂场景的显著对象。然而，大多数RGBD网络需要输入端的多模态，并通过双流设计分别馈送它们，这不可避免地导致深度传感器和计算的额外成本。为了解决这些不便，本文提出了一种新的融合设计命名为模态引导子网络（MGSnet）。它具有以下优越的设计：1）我们的模型适用于RGB和RGBD数据，如果不可用，则动态估计深度。考虑到深度预测网络的内部工作原理，我们建议从RGB输入中估计伪几何图-基本上模仿多模态输入。2)我们的MGSnet for RGB SOD可实现实时推理，但与其他RGB模型相比，其性能达到了最先进的水平。3)MGS的灵活和轻量级设计有助于集成到RGBD双流模型中。引入的融合设计实现了跨模态交互，以实现进一步的进展，但成本最低。
2021-10-25 cs.CV
Towards Universal Physical Attacks On Cascaded Camera-Lidar 3D Object Detection Models
University of British Columbia（不列颠哥伦比亚大学）
我们在自动驾驶汽车的背景下，对级联多模态深度学习网络（DNN）提出了一种通用的、物理上可实现的对抗攻击。DNN在3D目标检测方面已经取得了很高的性能，但众所周知，它们容易受到对抗攻击的攻击。这些攻击已经在RGB图像域和最近在点云域中进行了大量研究，但很少同时在这两个域中进行-这是本文要填补的空白。我们使用单个3D网格和可微分渲染来探索扰动网格的几何形状和纹理如何降低DNN对对抗攻击的鲁棒性。我们攻击了一个突出的级联多模态DNN，即Frustum-Pointnet模型。使用流行的KITTI基准测试，我们证明了所提出的通用多模态攻击成功地将模型检测汽车的能力降低了近73%。这项工作可以帮助理解级联RGB点云DNN学习的内容及其对对抗攻击的脆弱性。
2021-01-31 cs.CV eess.IV
A framework for robust object multi-detection with a vote aggregation and a cascade filtering
Warsaw University of Technology（华沙理工大学）；Lingaro Sp. z o.o.（Lingaro有限责任公司）
本文提出了一个框架设计的多目标检测的目的和调整的产品搜索的市场货架上的应用。该框架使用一个单一的反馈回路和模式识别机制来展示最先进的本地功能的最高有效性。在每个对象仅使用一个图案并且不需要手动参数调整的情况下，可以实现具有低误检测机会的高检测率。该方法结合了众所周知的本地功能和基本的匹配过程，以创建一个可靠的投票空间。进一步的步骤包括度量变换，图形投票空间表示，两阶段投票聚合过程和级联的验证过滤器。
2015-12-29 cs.CV
Cascade RetinaNet: Maintaining Consistency for Single-Stage Object Detection
CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
近年来的研究试图通过对单级检测器采用级联的思想来提高检测性能。本文通过分析发现，不一致性是制约系统性能的主要因素。细化的锚点与从先前位置提取的特征相关联，并且分类器被未对准的分类和定位所混淆。进一步指出了级联方式的两个主要设计原则：提高分类置信度与定位性能的一致性和保持不同阶段之间的特征一致性。然后提出了一种名为Cas-RetinaNet的多级对象检测器，用于减少失调。它由连续的阶段训练与增加IoU阈值，以提高相关性，和一个新的特征一致性模块，以减轻特征不一致。实验表明，我们提出的Cas-RetinaNet在不同的模型和输入尺度上实现了稳定的性能增益。具体来说，我们的方法在具有挑战性的MS COCO数据集上将RetinaNet从39.1 AP提高到41.1 AP，而没有任何额外的功能。
2019-07-16 cs.CV
