UP-DETR: Unsupervised Pre-training for Object Detection with Transformers
South China University of Technology（华南理工大学）；Tencent Wechat AI（腾讯微信AI）
本文提出 UP-DETR，通过随机查询块检测预训练任务、冻结 CNN 主干及注意力掩码，解决 DETR 数据需求大、收敛慢的问题，并提升多任务性能。
2023-07-24 cs.CV
Decoupled DETR: Spatially Disentangling Localization and Classification for Improved End-to-End Object Detection
Multimedia Laboratory, The Chinese University of HongKong（香港中文大学多媒体实验室）；SenseTime Research（商汤科技研究院）；Centre for Perceptual and Interactive Intelligence Limited（感知与交互智能中心有限公司）；Shanghai AI Laboratory（上海人工智能实验室）
针对DETR中分类与定位任务空间不对齐阻碍训练的问题，提出空间解耦的SD-DETR方案，通过任务感知查询生成、解耦特征学习及对齐损失，显著提升了目标检测性能。
2023-10-24 cs.CV
MDS-DETR: DETR with Masked Duplicate Suppressor
Samsung Research（三星研究院）；Korea Advanced Institute of Science（韩国先进科学研究院）；Department of Artificial Intelligence Software, Hanbat National University（汉巴特国立大学人工智能软件系）
提出MDS-DETR，通过掩码重复抑制器（MDS）在单一解码器中同时利用一对一和一对多监督，实现无重复预测，提升收敛速度和召回率，在MS COCO上以12轮训练达到+2.8 mAP提升。
2026-05-22 cs.CV
Taming Detection Transformers for Medical Object Detection
German Cancer Research Center（德国癌症研究中心）；Heidelberg University Hospital（海德堡大学医院）；Heidelberg University（海德堡大学）；Helmholtz Imaging（亥姆霍兹成像中心）
本研究探讨了DETR模型在体积医学目标检测中的可行性，通过在四个数据集上的实验证明其无需锚点设计即可达到或超越现有方法，其中DINO DETR在三个数据集上优于Retina U-Net。
2023-06-27 cs.CV
Cross Resolution Encoding-Decoding For Detection Transformers
General Autonomy（通用自主公司）；Seoul National University（首尔大学）
针对DETR多尺度检测计算效率低的问题，提出跨分辨率编解码机制CRED，通过CRAM和OSMA模块实现低分辨率速度与高分辨率精度的兼顾，在主流DETR上可减少约50% FLOPs并保持精度。
2024-10-05 cs.CV
Pattern-Enhanced RT-DETR for Multi-Class Battery Detection
Independent Researcher（独立研究者）；Chemistry Division Brookhaven National Laboratory NY, USA（布鲁赫斯国家实验室化学部纽约美国）
本文提出PaQ-RT-DETR方法，通过引入基于模式的动态查询生成，提升RT-DETR在多类电池检测中的性能，实现更高的mAP@50和更稳定的分类效果。
2026-05-13 cs.CV
Miti-DETR: Object Detection based on Transformers with Mitigatory Self-Attention Convergence
Rekor Systems, Inc.（Rekor Systems 公司）；University of Kansas（堪萨斯大学）；Ryerson University（瑞尔森大学）
使用Transformers的目标检测（DETR）和相关工作达到甚至超过了具有自注意网络架构的高度优化的Faster-RCNN基线。受纯自注意具有强烈的诱导偏差导致Transformer失去关于网络深度的表达能力的证据的启发，我们提出了一种具有减轻自注意力机制的Transformer架构，通过在Transformer架构中应用可能的直接映射连接来减轻秩崩溃，从而抵消特征表达损失并提高模型性能。我们将此建议应用于目标检测任务中，并开发了一个名为Miti-DETR的模型。Miti-DETR将每个注意力层的输入保留到该层的输出，以便“非注意力”信息参与任何注意力传播。所形成的残差自注意网络解决了两个关键问题：（1）阻止自注意网络退化到rank-1的最大程度;（2）进一步多样化参数更新的路径分布，以便更容易地进行注意学习。在COCO目标检测数据集上，Miti-DETR显著提高了现有基于DETR的模型的平均检测精度和收敛速度。此外，所提出的Transformer与剩余自注意网络可以很容易地推广或插入到其他相关的任务模型，而无需特定的定制。
2021-12-26 cs.CV
Investigating the Robustness and Properties of Detection Transformers (DETR) Toward Difficult Images
The Australian National University（澳大利亚国立大学）
本研究通过实验和基准测试，探究了DETR在遮挡、对抗性贴纸及图像损坏下的鲁棒性，发现其在遮挡下表现良好，但易受对抗性贴纸干扰，且性能逊于YOLOv5，并揭示了主查询依赖导致的贡献不平衡问题。
2023-10-12 cs.CV
Real-Time Beach Litter Detection and Counting: A Comparative Analysis of RT-DETR Model Variants
Faculty of Science, Sumatera Institute of Technology（科学学院，苏门答腊理工学院）
本文比较了RT-DETR-L和RT-DETR-X在海滩垃圾检测中的性能，发现RT-DETR-X精度略高但推理更慢，而RT-DETR-L在速度与精度间更平衡，更适合实时现场部署。
2025-08-21 cs.CV
DEIM: DETR with Improved Matching for Fast Convergence
Intellindust AI Lab（智工智能实验室）；City University of Hong Kong（香港城市大学）；Great Bay University（大湾区大学）；Hefei Normal University（合肥师范学院）
DEIM通过密集一对一匹配和匹配感知损失加速DETR收敛，减少50%训练时间，并在COCO上实现高性能实时检测。
2025-03-26 cs.AI cs.CV
Mask Frozen-DETR: High Quality Instance Segmentation with One GPU
The Australian National University（澳大利亚国立大学）；Microsoft Research Asia（微软亚洲研究院）
本文提出Mask Frozen-DETR框架，通过冻结DETR检测器并仅训练轻量级掩码网络，在单块V100 GPU上以10倍以上训练速度超越Mask DINO，实现高效高质量的实例分割。
2023-08-07 cs.CV
LSP-DETR: Efficient and Scalable Nuclei Segmentation in Whole-Slide Images
Masaryk University, Faculty of Informatics（马萨里克大学信息学院）；Masaryk University, Institute for Computer Science（马萨里克大学计算机科学研究所）；Masaryk Memorial Cancer Institute（马萨里克纪念癌症研究所）
LSP-DETR通过轻量级Transformer和星形凸多边形表示，在全滑动图像中实现高效且可扩展的细胞核分割，展现出卓越的效率和泛化能力。
2026-09-10 cs.CV
Anchor DETR: Query Design for Transformer-Based Object Detection
MEGVII Technology（旷视科技）
在本文中，我们提出了一种新的查询设计的transformer为基础的目标检测。在以前的基于transformer的检测器中，对象查询是一组学习的嵌入。然而，每个学习的嵌入没有明确的物理意义，我们无法解释它将集中在哪里。由于每个对象查询的预测槽没有特定的模式，因此很难优化。换句话说，每个对象查询将不关注特定区域。为了解决这些问题，在我们的查询设计中，对象查询是基于锚点，这是广泛使用的基于CNN的检测器。因此，每个对象查询都关注锚点附近的对象。此外，我们的查询设计可以预测多个对象在一个位置，以解决困难：“一个区域，多个对象”。此外，我们还设计了一个注意变量，它可以减少内存开销，同时达到类似或更好的性能比标准的注意在DETR。由于查询设计和注意力变量，我们称之为锚DETR的检测器可以实现更好的性能，并且比DETR运行得更快，训练次数少10 $\times$。例如，当使用ResNet 50-DC 5功能训练50个epoch时，它在MSCOCO数据集上实现了44.2 AP和19 FPS。在MSCOCO基准测试上的大量实验证明了所提方法的有效性。代码可在\url{https://github.com/megvii-research/AnchorDETR}上获得。
2022-01-04 cs.CV
RF-DETR Object Detection vs YOLOv12 : A Study of Transformer-based and CNN-based Architectures for Single-Class and Multi-Class Greenfruit Detection in Complex Orchard Environments Under Label Ambiguity
Cornell University（康奈尔大学）；Kansas State University（堪萨斯州立大学）
针对标签模糊的复杂果园青果检测，对比RF-DETR（Transformer架构）与YOLOv12（CNN架构），在单/多类自定义数据集上评估，RF-DETR全局建模优、收敛快，YOLOv12效率高，为精准农业检测提供架构选择依据。
2025-04-17 cs.CV
End-to-End Object Detection with Transformers
Facebook AI（脸书人工智能研究院）
我们提出了一种新的方法，将目标检测视为一个直接的集合预测问题。我们的方法简化了检测管道，有效地消除了对许多手工设计的组件的需要，例如非最大抑制过程或锚生成，这些组件显式地编码了我们关于任务的先验知识。新框架的主要成分，称为检测转换器或DETR，是一个基于集合的全局损失，通过二分匹配强制唯一的预测，和一个Transformer编码器-解码器架构。给定一个固定的小集合的学习对象查询，DETR的原因有关的对象和全局图像上下文的关系，直接输出并行的最终预测集。新模型在概念上很简单，不像许多其他现代探测器那样需要专门的库。DETR在具有挑战性的COCO目标检测数据集上展示了与成熟且高度优化的Faster RCNN基线相当的准确性和运行时性能。此外，DETR可以很容易地推广到以统一的方式产生全景分割。我们表明，它显着优于竞争对手的基线。训练代码和预训练模型可在https://github.com/facebookresearch/detr上获得。
2020-05-28 cs.CV
Relation DETR: Exploring Explicit Position Relation Prior for Object Detection
Xi’an Jiaotong University（西安交通大学）；College of Electrical Engineering, Zhejiang University（浙江大学电气工程学院）
Relation-DETR通过引入显式位置关系先验作为注意力偏置，增强DETR收敛与性能，在COCO上达到51.7% AP，并提出SA-Det-100k数据集。
2024-07-16 cs.CV
Sparse DETR: Efficient End-to-End Object Detection with Learnable Sparsity
Lunit；KakaoBrain
DETR是第一个使用Transformer编码器-解码器架构的端到端对象检测器，在高分辨率特征图上表现出有竞争力的性能，但计算效率较低。随后的工作，可变形DETR，通过用可变形注意力取代密集注意力来提高DETR的效率，从而实现10倍的收敛速度和性能提升。可变形DETR使用多尺度特性来改善性能，然而，与DETR相比，编码器令牌的数量增加了20倍，并且编码器注意力的计算成本仍然是一个瓶颈。在我们的初步实验中，我们观察到，检测性能几乎没有恶化，即使只有一部分的编码器令牌更新。受此启发，我们提出了稀疏DETR，选择性地只更新期望被解码器引用的令牌，从而帮助模型有效地检测对象。此外，我们表明，在编码器中的选定令牌上应用辅助检测损失，提高了性能，同时最大限度地减少计算开销。我们验证了稀疏DETR实现更好的性能比变形DETR，即使只有10%的编码器令牌的COCO数据集。虽然只有编码器令牌被稀疏化，但与可变形DETR相比，总计算成本降低了38%，每秒帧数（FPS）增加了42%。代码可在https://github.com/kakaobrain/sparse-detr上获得
2022-03-04 cs.CV cs.LG
Le-DETR: Revisiting Real-Time Detection Transformer with Efficient Encoder Design
Beijing Jiaotong University（北京交通大学）
Le-DETR通过高效编码器设计实现低预训练成本的实时检测性能提升
2026-02-24 cs.CV
Rethinking Transformer-based Set Prediction for Object Detection
Carnegie Mellon University（卡内基梅隆大学）
DETR是最近提出的一种基于transformer的方法，它将目标检测视为一个集合预测问题，并实现了最先进的性能，但需要额外的训练时间来收敛。在本文中，我们调查的原因，优化困难的训练DETR。我们的研究揭示了导致DETR收敛缓慢的几个因素，主要是匈牙利损失和Transformer交叉注意力机制的问题。为了克服这些问题，我们提出了两种解决方案，即TSP-FCOS（基于变换的集合预测与FCOS）和TSP-RCNN（基于变换的集合预测与RCNN）。实验结果表明，该方法不仅收敛速度比原来的DETR，但也显着优于DETR和其他基线的检测精度。
2021-10-12 cs.CV cs.LG
Box-DETR: Understanding and Boxing Conditional Spatial Queries
Huazhong University of Science and Technology（华中科技大学）
针对 DAB-DETR 交叉注意力仅使用框中心导致尺寸信息缺失的问题，本文提出 Box Agent，将完整框压缩为各头代理点作为参考，从而加快收敛并提升检测精度。
2023-07-17 cs.CV
RotaTR: Detection Transformer for Dense and Rotated Object
Mybank Technology（网商银行科技）
针对 DETR 在密集旋转目标检测中注意力难以对准目标的问题，本文提出 RotaTR，并通过 RSDeform 注意力构建特征对齐模块与旋转敏感解码器，在四个基准上取得竞争力性能。
2023-12-05 cs.CV
Automatic Vehicle Detection using DETR: A Transformer-Based Approach for Navigating Treacherous Roads
Institute of Information Technology（信息科技学院）；University of Dhaka（达卡大学）；Dept. of Computer Science and Engineering（计算机科学与工程系）
首次将DETR用于复杂驾驶环境中的自动车辆检测，通过Co-DETR训练方案增强特征学习与注意力机制，在BadODD数据集上优于YOLO等传统方法。
2026-06-23 cs.AI cs.CV
ComplETR: Reducing the cost of annotations for object detection in dense scenes with vision transformers
AWS AI Labs（AWS人工智能实验室）；Yonsei University（延世大学）
注释用于目标检测的边界框是昂贵的、耗时的并且容易出错。在这项工作中，我们提出了一个基于DETR的框架，称为COMPLETR，旨在明确地完成部分注释的密集场景数据集缺失的注释。这减少了对场景中的每个对象实例进行注释的需要，从而降低了注释成本。在DETR解码器中，COMPLETR使用图像中对象的补丁信息来增强对象查询。结合匹配损失，它可以有效地找到与输入补丁相似的对象，并完成缺失的注释。我们表明，我们的框架优于最先进的方法，如软采样和无偏见的教师本身，而在同一时间可以与这些方法结合使用，以进一步提高其性能。我们的框架对下游对象检测器的选择也是不可知的;我们在多个密集场景数据集上显示了几种流行检测器的性能改进，例如Faster R-CNN，Cascade R-CNN，CenterNet 2和Deformable DETR。
2022-09-13 cs.CV
CoRef-DETR: Decoupled Global Context and Selective Boundary-Category Refinement for Underwater Instance Segmentation
Universitas Sriwijaya（斯里维贾亚大学）
提出轻量级水下显著实例分割检测Transformer（LUSIS-DETR），通过Aqua边界显著性注意力模块嵌入水下先验线索，在四个数据集上达到领先性能，并在NVIDIA T4 GPU上实现4.31-6.34毫秒延迟。
2026-10-14 cs.CV
StereoDETR: Stereo-based Transformer for 3D Object Detection
Shanghai University（上海大学）；Xi’an Jiaotong-Liverpool University（西安交通大学利物浦大学）
StereoDETR是一种基于立体的高效3D目标检测框架，通过结合单目DETR和立体分支，实现了比单目方法更快的速度和更高的准确性。
2025-11-24 cs.CV
BatchFormerV2: Exploring Sample Relationships for Dense Representation Learning
The University of Sydney（悉尼大学）；JD Explore Academy（京东探索研究院）
注意力机制在深度神经网络中非常流行，其中Transformer架构不仅在自然语言处理方面取得了巨大成功，而且在视觉识别应用方面也取得了巨大成功。最近，一个新的Transformer模块，应用于批量维度而不是空间/通道维度，即，BatchFormer [18]被引入来探索样本关系，以克服数据稀缺的挑战。但是，它只适用于图像级表示进行分类。在本文中，我们设计了一个更通用的批处理Transformer模块，BatchFormerV 2，它进一步使探索密集表示学习的样本关系。具体地，当应用所提出的模块时，它在训练期间采用双流流水线，即，有或没有BatchFormerV 2模块，其中可以移除batchformer流以进行测试。因此，所提出的方法是一个即插即用的模块，可以很容易地集成到不同的视觉Transformer没有任何额外的推理成本。没有花里胡哨的，我们显示了所提出的方法的有效性，各种流行的视觉识别任务，包括图像分类和两个重要的密集预测任务：目标检测和全景分割。特别地，BatchFormerV 2一致地改进了当前基于DETR的检测方法（例如，DETR，可变形DETR，条件性DETR和SMCA）超过1.3%。代码将公开提供。
2022-04-04 cs.AI cs.CV
Panoptic SegFormer: Delving Deeper into Panoptic Segmentation with Transformers
Nanjing University（南京大学）；Shanghai AI Laboratory（上海人工智能实验室）；The University of Hong Kong（香港大学）；NVIDIA（英伟达）；Caltech（加州理工学院）
全景分割涉及联合语义分割和实例分割的组合，其中图像内容被分为两种类型：事物和填充物。我们提出了Panoptic SegFormer，一个通用的框架与Transformers的全景分割。它包含三个创新的组件：一个高效的深度监督掩码解码器，查询解耦策略，和一个改进的后处理方法。我们还使用Deformable DETR来有效地处理多尺度特征，这是DETR的快速有效版本。具体来说，我们监督的注意力模块在掩码解码器中的逐层方式。这种深度监督策略让注意力模块快速关注有意义的语义区域。与Deformable DETR相比，它提高了性能，并将所需的训练次数减少了一半。我们提出的查询解耦策略将查询集的职责分开，避免了事物与事物之间的相互干扰。此外，我们的后处理策略通过联合考虑分类和分割质量来解决冲突的掩码重叠，从而在不增加成本的情况下提高了性能。我们的方法比基线DETR模型的精度提高了6.2\% PQ。Panoptic SegFormer在COCO测试开发中取得了最先进的结果，PQ为56.2\%。与现有方法相比，该方法具有更强的zero-shot鲁棒性。代码在\url{https://github.com/zhiqi-li/Panoptic-SegFormer}发布。
2022-03-18 cs.CV
End-to-End Object Detection with Adaptive Clustering Transformer
Peking University（北京大学）；Shanghai AI Laboratory（上海人工智能实验室）；CUHK-SenseTime Joint Laboratory（香港中文大学-商汤科技联合实验室）；The Chinese University of Hong Kong（香港中文大学）
使用Transformer的端到端对象检测（DETR）建议使用Transformer执行对象检测，并实现与Faster-RCNN等两阶段目标检测相当的性能。然而，由于高分辨率的空间输入，DETR需要大量的计算资源来进行训练和推理。在本文中，一个新的变种的Transformer命名为自适应聚类Transformer（ACT）已被提出，以减少计算成本的高分辨率输入。ACT算法利用局部敏感哈希算法对查询特征进行自适应聚类，并利用原型-关键字交互来近似查询-关键字交互。ACT可以将自注意内部的二次O（N2）复杂度降低为O（NK），其中K是每层中原型的数量。ACT可以是一个插入式模块，取代原来的自我注意模块，无需任何培训。ACT在精度和计算成本（FLOPs）之间实现了良好的平衡。该代码可作为补充，以方便实验复制和验证。代码在\url{https://github.com/gaopengcuhk/SMCA-DETR/}发布
2021-10-18 cs.CV
X-DETR: A Versatile Architecture for Instance-wise Vision-Language Tasks
AWS AI Labs（AWS人工智能实验室）
在本文中，我们研究了具有挑战性的实例视觉语言任务，其中自由形式的语言需要与对象而不是整个图像对齐。为了解决这些任务，我们提出了X-DETR，其架构有三个主要组成部分：对象检测器，语言编码器和视觉语言对齐。愿景和语言流直到最后都是独立的，并且通过高效的点积操作进行对齐。整个网络都是端到端训练的，因此检测器针对视觉语言任务进行了优化，而不是现成的组件。为了克服成对对象语言注释的有限大小，我们利用其他弱类型的监督来扩大知识覆盖范围。X-DETR的这种简单而有效的架构在多个实例视觉语言任务中表现出良好的准确性和快速的速度，例如，16.4在训练期间，AP在LVIS上以每秒约20帧的速度检测1.2K类别，而无需使用任何LVIS注释。
2022-04-12 cs.CL cs.CV cs.LG
An Empirical Study Of Self-supervised Learning Approaches For Object Detection With Transformers
Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
自监督学习（SSL）方法（如掩蔽语言建模）通过预训练用于各种自然语言处理任务的Transformer模型而显示出巨大的性能增益。后续研究采用了类似的方法，如视觉Transformer中的掩码图像建模，并证明了图像分类任务的改进。对于目标检测Transformers（DETR，可变形DETR），没有详尽地研究这种简单的自监督方法，因为它们的Transformer编码器模块在卷积神经网络（CNN）提取的特征空间中而不是像一般的视觉Transformer那样在图像空间中获取输入。然而，CNN特征图仍然保持空间关系，我们利用这一属性来设计自监督学习方法，以在预训练和多任务学习设置中训练目标检测Transformers的编码器。我们探讨了常用的基于图像重建、掩码图像建模和拼图的自监督方法。在iSAID数据集中的初步实验表明，在预训练和多任务学习设置中，DETR在初始阶段的收敛速度更快;然而，在使用可变形DETR的多任务学习中没有观察到类似的改进。我们用DETR和可变形DETR进行实验的代码可分别在https://github.com/gokulkarthik/detr和https://github.com/gokulkarthik/Deformable-DETR上获得。
2022-05-11 cs.AI cs.CV cs.LG
Oriented Object Detection with Transformer
University at Buffalo（布法罗大学）；Beihang University（北京航空航天大学）；Baidu Inc（百度公司）
使用Transformers（DETR）的目标检测已经实现了与传统检测器（如Faster R-CNN）相比具有竞争力的性能。然而，DETR的潜力仍然在很大程度上未开发的更具挑战性的任务，面向任意目标检测问题。本文首次尝试并实现了基于端到端网络的面向目标检测检测与转换Transformer（$\bf O^2DETR$）。$\rm O^2DETR$的贡献包括：1）通过应用Transformer直接有效地定位目标，而无需像传统检测器那样繁琐的旋转锚点过程，为面向目标检测提供了新的见解; 2）设计了一种简单而高效的Transformer编码器，将注意力机制替换为可分离卷积，这可以显着降低在原始Transformer中使用多尺度特征的内存和计算成本; 3）我们的$\rm O^2DETR$可以成为定向目标检测领域的另一个新基准，它比Faster R-CNN和RetinaNet实现了高达3.85 mAP的改进。我们简单地微调安装在级联架构中的$\rm O^2DETR$上的磁头，并在DOTA数据集中实现与SOTA相比具有竞争力的性能。
2021-06-06 cs.CV
Meta-ZSDETR: Zero-shot DETR with Meta-learning
Fudan University（复旦大学）；Tongji University（同济大学）
本文提出Meta-ZSDETR，将DETR与基于片段的元学习结合，通过类别特定查询、预测准确度过滤及元对比学习解决零样本检测中RPN召回低和背景混淆问题，并在MS COCO与PASCAL VOC上显著优于现有方法。
2023-08-18 cs.AI cs.CV
Group DETR: Fast DETR Training with Group-Wise One-to-Many Assignment
Peking University（北京大学）；Baidu（百度）；Australian National University（澳大利亚国立大学）
本文提出Group DETR，通过分组一对多分配加速DETR训练，提升多种DETR变体的性能，无需修改推理架构。
2023-08-31 cs.CV
YOLOv12: Attention-Centric Real-Time Object Detectors
University at Buffalo（布法罗大学）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出以注意力为中心的 YOLOv12，在保持实时速度的同时发挥注意力机制优势，在多种规模上以更低延迟、计算量和参数量取得更高检测精度。
2025-02-18 cs.AI cs.CV
Open-Vocabulary DETR with Conditional Matching
Nanyang Technological University（南洋理工大学）；Carnegie Mellon University（卡内基梅隆大学）
开放词汇目标检测是一种基于自然语言的新目标检测方法，近年来受到了广泛的关注。理想情况下，我们希望扩展一个开放词汇检测器，使其可以根据用户输入的自然语言或样本图像的形式产生限界框预测。这为人机交互提供了极大的灵活性和用户体验。为此，我们提出了一种基于DETR的新的开放词汇检测器-因此命名为OV-DETR -一旦经过训练，可以检测任何给定其类名或样本图像的对象。将DETR转变为开放词汇检测器的最大挑战是，如果不访问其标记图像，就不可能计算新类别的分类成本矩阵。为了克服这一挑战，我们制定的学习目标之间的输入查询（类名称或样本图像）和相应的对象，学习有用的对应关系，以推广到测试过程中看不见的查询之间的二进制匹配。为了进行训练，我们选择将Transformer解码器设置为从预训练的视觉语言模型（如CLIP）中获得的输入嵌入的条件，以便能够匹配文本和图像查询。通过对LVIS和COCO数据集的广泛实验，我们证明了我们的OV-DETR --第一个基于Transformer的端到端开放词汇检测器--比当前最先进的检测器有了显著的改进。
2022-11-30 cs.AI cs.CV
Comparative Analysis of Object Detection Algorithms for Surface Defect Detection
Adamas University（阿达玛斯大学）
本文在NEU-DET数据集上比较六种目标检测算法，YOLOv11凭借增强特征提取与单次前向传播，平均精度高出70%，成为表面缺陷检测最有效模型。
2025-10-21 cs.AI cs.CV
D$^3$ETR: Decoder Distillation for Detection Transformer
Peking University（北京大学）；Beihang University（北京航空航天大学）；Microsoft Research Asia（微软亚洲研究院）
虽然基于CNN的检测器中的各种知识蒸馏（KD）方法在提高小学生方面表现出了有效性，但基于DETR的检测器的基线和配方尚未建立。本文主要研究基于DETR的检测器中的Transformer解码器，并探讨其KD方法。Transformer解码器的输出是随机的，这使得教师和学生的预测之间没有直接的对应关系，从而对知识蒸馏提出了挑战。为此，我们提出了MixMatcher来对齐基于DETR的教师和学生的解码器输出，它混合了两种教师-学生匹配策略，即，自适应匹配和固定匹配。具体地，自适应匹配应用二分匹配以自适应地匹配每个解码器层中的教师和学生的输出，而固定匹配固定具有相同对象查询的教师和学生的输出之间的对应关系，其中教师的固定对象查询作为辅助组被馈送到学生的解码器。在MixMatcher的基础上，我们构建了\textbf{D}编码器\textbf{D} istilation for \textbf{DE} tection \textbf{TR} ansformer（D $^3$ ETR），它将解码器预测和注意力地图中的知识从教师那里提取出来，传递给学生。D $^3$ ETR在具有不同主链的各种基于DETR的检测器上显示出优异的性能。例如，D $^3$ ETR在$12/50$ epoch训练设置下通过$\textbf{7.8}/\textbf{2.4}$ mAP改进条件DETR-R50-C5，条件…
2022-11-17 cs.CV
Attention-Based Transformers for Instance Segmentation of Cells in Microstructures
Technische Universität Darmstadt（达姆施塔特工业大学）
目标实例的检测和分割是生物医学应用中的常见任务。例如，从功能性磁共振图像上的病变检测到组织病理学图像中的肿瘤检测，以及从显微镜图像中提取定量单细胞信息，其中细胞分割是一个主要瓶颈。基于注意力的Transformers在一系列深度学习领域中是最先进的。最近，它们被提议用于分割任务，并且开始优于其他方法。我们提出了一种新的基于注意力的细胞检测Transformer（Cell-DETR）直接端到端的实例分割。虽然分割性能与最先进的实例分割方法相当，但Cell-DETR更简单，更快。我们展示了该方法在微结构环境中分割酵母的典型用例中的贡献，通常用于系统或合成生物学。对于特定的用例，所提出的方法超越了最先进的语义分割工具，并额外预测了单个对象实例。快速准确的实例分割性能增加了后验数据处理的实验信息产量，并使实验的在线监控和闭环优化实验设计成为可能。
2020-11-20 cs.CV eess.SP physics.ins-det
FQDet: Fast-converging Query-based Detector
KU Leuven（鲁汶大学）；Ford Greenfield Labs（福特格林菲尔德实验室）
最近，两阶段可变形DETR引入了基于查询的两阶段头，这是一种新型的两阶段头，不同于经典检测器的基于区域的两阶段头，如Faster R-CNN。在基于查询的两阶段头中，第二阶段为每个由Transformer处理的检测选择一个特征，称为查询，而不是像基于区域的检测器那样将由CNN处理的特征的矩形网格池化。在这项工作中，我们改进了基于查询的头，通过提高锚的交叉注意操作的先验，显着加快收敛，同时提高其性能。此外，我们的经验表明，通过提高交叉注意力之前，辅助损失和迭代限界框机制通常使用的基于DETR的检测器不再需要。通过结合经典检测器和基于DETR的检测器的最佳效果，当使用ResNet-50+TPN主干时，我们的ESDet头部在2017年COCO验证集上达到45.4 AP，仅在使用1x时间表训练12个epoch后。我们的性能优于其他高性能的两阶段头，例如Cascade R-CNN，同时使用相同的主干，同时计算成本更低。此外，当使用大型ResNeXt-101-DCN+TPN主干和多尺度测试时，我们的CNORDet头在2017年COCO测试开发集上仅经过12次训练就达到了52.9 AP。代码发布于https://github.com/CedricPicron/FQDet。
2022-10-28 cs.CV
Knowledge Distillation via Query Selection for Detection Transformer
Beihang University（北京航空航天大学）；Baidu Inc（百度公司）
针对DETR模型部署成本高的问题，本文提出QSKD框架，通过基于GIoU的分组查询选择挖掘难负查询，并结合AGFD与LAPD进行知识蒸馏，在MS-COCO上以低计算开销显著提升多种DETR架构的AP。
2024-09-10 cs.CV
QKVA grid: Attention in Image Perspective and Stacked DETR
我们提出了一个新的模型命名为堆叠DETR（SDETR），它继承了规范DETR的主要思想。我们从两个方面改进了DETR：简化训练成本和引入堆栈结构以提高性能。对于前者，我们着眼于注意块内部，提出了QKVA网格这一描述注意过程的新视角。通过这个，我们可以进一步了解注意力如何处理图像问题以及多头效应。这两种思想为单头编码层的设计提供了理论依据。对于后者，SDETR达到了比DETR更好的性能（+0.6AP，+2.7AP）。特别是在小对象上的性能，SDTR比优化的Faster R-CNN基线取得了更好的结果，这是DETR的一个缺点。我们的修改是基于DETR的代码。训练代码和预训练模型可在https://github.com/shengwenyuan/sdetr上获得。
2022-08-16 cs.AI cs.CV
DETRs with Collaborative Hybrid Assignments Training
SenseTime Research（商汤科技研究院）
针对一对一匹配导致 DETR 正查询监督稀疏的问题，本文提出 Co-DETR，利用一对多辅助头和定制正查询增强编解码器训练，在 COCO 与 LVIS 上显著提升检测精度且推理无额外开销。
2023-08-10 cs.CV
Vote2Cap-DETR++: Decoupling Localization and Describing for End-to-End 3D Dense Captioning
School of Information Science and Technology, Fudan University（复旦大学信息科学与工程学院）；Tencent PCG（腾讯平台与内容事业群）；Sichuan University（四川大学）；Zhejiang Lab（之江实验室）
本文提出Vote2Cap-DETR和Vote2Cap-DETR++，通过解耦定位与描述查询并引入迭代空间细化，实现端到端3D密集描述，在ScanRefer和Nr3D上大幅超越传统方法。
2023-09-06 cs.CV
Fast-converging Conditional Generative Adversarial Networks for Image Synthesis
University of Tennessee（田纳西大学）
在生成对抗网络（GANs）成功的基础上，条件GANs试图通过某些附加信息来更好地指导数据生成过程。受最新的AC-GAN的启发，本文提出了一种快速收敛的条件GAN（FC-GAN）。除了vanilla GANs中使用的真/假分类器之外，我们的鉴别器还有一个高级辅助分类器，可以将每个真实类与额外的“假”类区分开来。“假”类避免了将生成的数据与真实数据混合，这可能会像AC-GAN那样混淆真实数据的分类，并使高级辅助分类器表现为另一个真实/假分类器。因此，FC-GAN可以加速所有类别的区分过程，从而提高收敛速度。图像合成的实验结果表明，我们的模型是有竞争力的图像质量，同时实现了更快的收敛速度。
2018-05-05 cs.CV
DN-DETR: Accelerate DETR Training by Introducing Query DeNoising
The Hong Kong University of Science and Technology（香港科技大学）；Tsinghua University（清华大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；IDEA（IDEA研究院）
本文提出了一种新的去噪训练方法，以加速DETR（检测Transformer）的训练，并提供了一个深入的理解DETR类方法的收敛速度慢的问题。我们发现，收敛速度慢的结果从二分图匹配的不稳定性，导致不一致的优化目标在早期训练阶段。为了解决这个问题，除了匈牙利损失，我们的方法还将带有噪声的地面实况边界框输入Transformer解码器，并训练模型重建原始框，这有效地降低了二分图匹配的难度，并导致更快的收敛。我们的方法是通用的，可以很容易地插入到任何类似DETR的方法，通过添加几十行代码，以实现显着的改进。因此，我们的DN-DETR在相同的设置下导致显著的改进（$+1.9$ AP），并且在具有ResNet- $50$主干的类似DETR的方法中实现了最佳结果（分别具有$12$和$50$训练时期的AP $43.4$和$48.6$）。与相同设置下的基线相比，DN-DETR在$50\%$训练历元下实现了相当的性能。代码可从\url{https://github.com/FengLi-ust/DN-DETR}获得。
2022-12-08 cs.AI cs.CV
LiDAR MOT-DETR: A LiDAR-based Two-Stage Transformer for 3D Multiple Object Tracking
University of Wuppertal（伍珀塔尔大学）；Aptiv Services Deutschland GmbH（安波福服务德国有限公司）；Osnabrück University（奥斯纳布吕克大学）
针对LiDAR点云多目标跟踪的挑战，提出一种基于DETR的两阶段Transformer（平滑器与跟踪器），在nuScenes和KITTI上以在线/离线模式训练，在线模式aMOTA达0.724，优于基线。
2025-09-24 cs.CV
Local Gains and Fixed-Assignment Set Losses in Shared Set Decoders
School of Biomedical Engineering, ShanghaiTech University（上海科技大学生物医学工程学院）；Wuhan United Imaging Surgical Co., Ltd.（武汉联影外科医疗有限公司）
该研究针对两个ResNet-50 DETR系列检查点，分析查询-关系删除的局部增益与固定分配集合损失的权衡，发现不同模型的区间持续性存在差异，未识别出干预不变的边缘机制等。
2026-08-18 cs.CV cs.LG
A Fast and Efficient Conditional Learning for Tunable Trade-Off between Accuracy and Robustness
University of Southern California（南加州大学）；Intel AI Labs（英特尔人工智能实验室）
现有的模型，实现国家的最先进的（SOTA）性能的清洁和不利的扰动图像依赖于卷积运算条件与功能的线性调制（薄膜）层。这些层需要许多新的参数，并且是超参数敏感的。它们显著增加了训练时间、内存成本和潜在的延迟，这对于资源有限或实时应用程序来说可能是昂贵的。在本文中，我们提出了一种快速可学习的一次性对抗训练（FLOAT）算法，该算法代替了现有的基于FiLM的条件反射，提出了一种独特的权重条件反射学习，不需要额外的层，因此与标准对抗训练相比，参数计数，训练时间或网络延迟不会显着增加。特别是，我们将可配置的缩放噪声添加到权重张量中，从而实现清洁和对抗性能之间的权衡。大量的实验表明，FLOAT可以产生SOTA性能提高清洁和扰动图像分类分别高达~6%和~ 10%。此外，实际硬件测量表明，与基于FiLM的替代方案相比，FLOAT可以将训练时间减少多达1.43倍，而在iso-hyperparameter设置上的模型参数最多可减少1.47倍。此外，为了进一步提高内存效率，我们引入了FLOAT稀疏（FLOATS），这是一种非迭代模型修剪的形式，并提供了详细的经验分析，为这些新的修剪条件训练模型提供了三种方式的准确性-鲁棒性-复杂性权衡。
2022-03-28 cs.CV
OccupancyDETR: Using DETR for Mixed Dense-sparse 3D Occupancy Prediction
School of Computer Science (National Pilot Software Engineering School), Beijing University of Posts and Telecommunications（北京邮电大学计算机学院（国家示范性软件学院））
针对3D语义占据感知计算资源消耗高的问题，提出OccupancyDETR方法，采用类DETR检测与混合稠密-稀疏解码器区分前后景并分别处理，在SemanticKITTI上实现14的mIoU与10FPS速度，兼顾效率与精度。
2024-05-18 cs.CV cs.RO
FMD-cGAN: Fast Motion Deblurring using Conditional Generative Adversarial Networks
IIT Gandhinagar（印度理工学院甘地讷格尔分校）；LNMIIT Jaipur（LNM信息技术学院斋浦尔）
在本文中，我们提出了一个快速运动去模糊条件生成对抗网络（FMD-cGAN），有助于在一个单一的图像盲运动去模糊。FMD-cGAN在去模糊图像后提供了令人印象深刻的结构相似性和视觉外观。与其他深度神经网络架构一样，GANs也存在模型大小（参数）和计算量大的问题。在资源受限的设备（如移动设备和机器人）上部署模型并不容易。在基于MobileNet的架构的帮助下，该架构由依赖可分离卷积组成，我们减少了模型的大小和推理时间，而不会损失图像的质量。更具体地说，与最接近的竞争对手相比，我们将模型尺寸缩小了3 - 60倍。由此产生的压缩去模糊cGAN比其最接近的竞争对手更快，甚至定性和定量结果都优于最近提出的各种最先进的盲运动去模糊模型。我们还可以将我们的模型用于实时图像去模糊任务。在标准数据集上的实验表明了该方法的有效性。
2021-12-09 cs.CV eess.IV
Fast LiDAR Upsampling using Conditional Diffusion Models
University of Oslo（奥斯陆大学）；Kyushu University（九州大学）
提出一种基于条件扩散模型的方法，通过图像表示实现3D场景点云的快速高质量稀疏到稠密上采样，在KITTI-360数据集上的采样速度和质量均优于基线，并具备跨真实与合成数据的泛化能力。
2024-07-23 cs.CV cs.RO
A 360-degree Multi-camera System for Blue Emergency Light Detection Using Color Attention RT-DETR and the ABLDataset
Institute of Telecommunications and Multimedia Applications, Universitat Politècnica de València（电信与多媒体应用研究所，巴塞罗那理工大学）
本文提出一种基于颜色关注RT-DETR和ABLDataset的360度多摄像头系统，用于检测应急车辆蓝色灯光，实现高准确率和召回率，提升ADAS和道路安全性能。
2026-03-05 cs.AI cs.CV eess.IV
DiffCR: A Fast Conditional Diffusion Framework for Cloud Removal from Optical Satellite Images
本文提出DiffCR条件扩散框架，通过解耦编码器和高效时间与条件融合模块实现光学卫星影像高性能去云，以极低参数量和计算复杂度在多个基准上取得最优性能。
2023-08-08 cs.CV cs.LG eess.IV
Reactive Model Correction: Mitigating Harm to Task-Relevant Features via Conditional Bias Suppression
Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）；Technical University of Berlin（柏林工业大学）；BIFOLD – Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究所（BIFOLD））
针对事后虚假特征抑制方法易全局改变特征分布损害性能的问题，提出基于模型知识与XAI的反应式方法，衍生出R-ClArC算法，经实验验证可在降低虚假特征依赖的同时减轻修正的负面影响。
2024-04-15 cs.AI cs.CV cs.LG
