Siamese DETR
Beihang University（北京航空航天大学）；SenseTime Research（商汤科技研究院）；Nanyang Technological University（南洋理工大学）
最近的自监督方法主要被设计用于利用基本模型的表示学习，例如，ResNets或ViTs。使用任务特定的Transformer模块，它们不能轻松地转移到DETR。在这项工作中，我们提出了暹罗DETR，暹罗自我监督预训练方法的Transformer架构的DETR。我们考虑通过两个互补的任务同时学习视图不变和面向检测的表示，即，本地化和歧视，在一个新的多视图学习框架。设计了两个自监督的借口任务：（i）多视图区域检测旨在学习在输入的增强视图之间定位感兴趣的区域，以及（ii）多视图语义判别试图改善每个区域的对象级判别。拟议的Siamese DETR在所有设置中使用不同的DETR变体，在COCO和PASCAL VOC检测上实现了最先进的传输性能。代码可在https://github.com/Zx55/SiameseDETR上获得。
2023-03-31 cs.CV
Knowledge Distillation via Query Selection for Detection Transformer
Beihang University（北京航空航天大学）；Baidu Inc（百度公司）
针对DETR模型部署成本高的问题，本文提出QSKD框架，通过基于GIoU的分组查询选择挖掘难负查询，并结合AGFD与LAPD进行知识蒸馏，在MS-COCO上以低计算开销显著提升多种DETR架构的AP。
2024-09-10 cs.CV
CLoCKDistill: Consistent Location-and-Context-aware Knowledge Distillation for DETRs
University of Alabama at Birmingham（阿拉巴马大学伯明翰分校）
针对 DETR 蒸馏缺乏全局上下文且过度信任教师的问题，提出 CLoCKDistill，通过位置增强的编码器 memory 蒸馏和目标感知查询 logit 蒸馏，在多种 DETR 与 KITTI、COCO 上提升 2.2%–6.4%。
2025-02-15 cs.CV
Let Video Teaches You More: Video-to-Image Knowledge Distillation using DEtection TRansformer for Medical Video Lesion Detection
FNii, CUHK-Shenzhen（香港中文大学（深圳）FNii机构）；SSE, CUHK-Shenzhen（香港中文大学（深圳）工学院）；SRIBD, CUHK-Shenzhen（香港中文大学（深圳）SRIBD机构）；IHPC, A*STAR（新加坡科研局高性能计算研究院）
针对医学视频病变检测中基于图像模型缺乏帧间上下文而基于视频模型计算成本高的问题，提出V2I-DETR知识蒸馏框架，将视频多帧时间上下文蒸馏至单帧图像模型，在保持30 FPS实时推理速度的同时大幅超越现有最先进方法。
2024-08-26 cs.CV
MRC-DETR: An Adaptive Multi-Residual Coupled Transformer for Bare Board PCB Defect Detection
School of Information Engineering, Guangdong University of Technology（广东科技大學信息工程學院）；School of Computer Science, Wuhan University（武漢大學計算機科學學院）
本文提出MRC-DETR，一种基于RT-DETR的裸板PCB缺陷检测框架，通过多残差方向耦合模块和自适应筛选金字塔网络提升特征表示与计算效率，并构建了高质量数据集以缓解训练数据不足问题。
2025-07-04 cs.CV
A Deformable Attention-Based Detection Transformer with Cross-Scale Feature Fusion for Industrial Coil Spring Inspection
Maharaja Agrasen University（马哈拉贾·阿格拉森大学）
本文提出MSD-DETR框架，通过多尺度结构重参数化、可变形注意力机制和跨尺度特征融合解决工业螺旋弹簧检测中的形态多样性、尺度变化和复杂背景问题，实现92.4% mAP@0.5和98 FPS的高性能检测。
2026-03-13 cs.CV
DETRDistill: A Universal Knowledge Distillation Framework for DETR-families
University of Science and Technology of China（中国科学技术大学）；University of Edinburgh（爱丁堡大学）；University of Adelaide（阿德莱德大学）
基于转换器的检测器（DETR）由于其简单的框架而越来越受欢迎，但庞大的模型大小和繁重的时间消耗阻碍了它们在现实世界中的部署。而知识蒸馏（KD）是一种有吸引力的技术，可以将大型检测器压缩成小的检测器，以获得相似的检测性能和低推理成本。由于DETR将目标检测公式化为集合预测问题，因此为经典的基于卷积的检测器设计的现有KD方法可能不直接适用。在本文中，我们提出了DETRDistill，一种新的知识蒸馏方法，致力于DETR-家庭。具体来说，我们首先设计了一个匈牙利匹配的logits蒸馏，以鼓励学生模型有确切的预测，教师DETRs。接下来，我们提出了一个目标感知的特征提取，以帮助学生模型从教师模型的以对象为中心的特征中学习。最后，为了提高学生DETR的收敛速度，我们引入了查询优先分配蒸馏，以加快学生模型从训练良好的查询和教师模型的稳定分配中学习。COCO数据集上的大量实验结果验证了该方法的有效性。值得注意的是，DETRDistill持续提高各种DETR超过2.0 mAP，甚至超过了他们的教师模型。
2023-03-17 cs.CV
Livestock Fish Larvae Counting using DETR and YOLO based Deep Networks
Universidade Católica Dom Bosco（多姆博斯科天主教大学）；Agropeixe Ltda.（阿格罗佩克萨有限公司）；Universidade Federal de Mato Grosso do Sul（南马托格罗索联邦大学）
本文构建低采集需求的鱼苗标注数据集，并评估多种 CNN 与 transformer 检测架构，结合图像分块使 DETR 与 YOLOv8 均实现低 MAPE 计数。
2024-08-09 cs.CV
SO-DETR: Leveraging Dual-Domain Features and Knowledge Distillation for Small Object Detection
Academy for Engineering and Technology, Fudan University（复旦大学工程与技术学院）
针对基于检测Transformer的方法在小目标检测中存在的低级特征融合不足、查询选择策略不匹配问题，提出SO-DETR模型，通过双域混合编码器、增强型查询选择机制及知识蒸馏策略，在相似计算需求下提升了小目标检测性能。
2025-04-11 cs.AI cs.CV
Enhanced Knowledge Distillation for Detection Transformer via Teacher Prediction Refinement
Shanghai Jiao Tong University（上海交通大学）
针对DETR蒸馏中教师监督质量不佳的问题，提出TPRD模块，通过正预测校正和负预测抑制精化教师预测，并引入MDKP保留暗知识，在MS COCO和PASCAL VOC上验证了有效性。
2026-09-18 cs.CV
Learning Fine-grained Parameter Sharing via Sparse Tensor Decomposition
Department of Computer Science, Technical University of Munich（计算机科学系，慕尼黑技术大学）；Schulich School of Engineering, University of Calgary（工程学院，卡尔加里大学）；Google DeepMind, Canada（加拿大谷歌深Mind）
提出FiPS框架，通过跨块参数共享、低秩分解和稀疏性联合优化，压缩Transformer MLP，在ViT和LLM上实现高效压缩且性能损失小。
2026-06-07 cs.LG
DETR++: Taming Your Multi-Scale Detection Transformer
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Google Research（谷歌研究院）
自从AlexNet在ImageNet分类中取得成功以来，卷积神经网络（CNN）一直主导着检测领域[12]。随着自然语言处理中Transformers [27]的全面改革，Carion等人。[2]引入了基于transformer的检测方法，即，DETR.然而，由于Transformer中的自注意力机制的二次复杂性，DETR永远不能结合如在现有的基于CNN的检测器中执行的多尺度特征，从而导致小目标检测中的较差结果。为了缓解这个问题并进一步提高DETR的性能，在这项工作中，我们研究了不同的方法来结合多尺度特征，并发现双向特征金字塔（BiFPN）与DETR在进一步提高检测精度方面效果最佳。有了这一发现，我们提出了DETR++，这是一种新的架构，在MS COCO 2017上将检测结果提高了1.9% AP，在RICO图标检测上提高了11.5% AP，在RICO布局提取上提高了9.1% AP。
2022-06-07 cs.CV cs.LG
Transformer-Based Microbubble Localization
Concordia University（康考迪亚大学）
超声定位显微镜（ULM）是一种新兴的技术，它采用回声微泡（MB）的定位，以精细的采样和成像微循环超过超声成像的衍射极限。传统的MB定位方法主要基于考虑MB的特定点扩散函数（PSF），这导致由重叠MB、非平稳PSF和谐波MB回波引起的信息丢失。因此，必须设计能够准确定位MB同时对MB非线性和使MB PSF失真的MB浓度变化有弹性的方法。本文提出了一种基于transformer的MB本地化方法来解决这个问题。我们采用了检测Transformer（DETR）arXiv：2005.12872，这是一种端到端的对象识别方法，使用基于集合的匈牙利损失和二分匹配为每个检测到的对象检测一个唯一的边界框。据作者所知，这是第一次将Transformers用于MB本地化。为了评估所提出的策略，预先训练的DETR网络的性能进行了测试，使用迁移学习原理检测MB。我们在IEEE IUS Ultra-SR挑战组织者提供的数据集随机选择的帧的子集上对网络进行了微调，然后使用交叉验证对其余帧进行了测试。对于模拟数据集，本文支持部署基于变压器的解决方案，以实现高精度的MB定位。
2022-09-23 cs.CV eess.IV
Underwater object detection in sonar imagery with detection transformer and Zero-shot neural architecture search
Dalian Maritime University（大连海事大学）
本文提出 NAS-DETR，通过基于最大熵的 Zero-shot NAS 搜索实时高表示能力 CNN-Transformer 主干，并结合 FPN 与可变形注意力解码器，在两个声呐数据集上实现最先进检测性能。
2025-05-10 cs.AI cs.CV
Rethinking Transformer-based Set Prediction for Object Detection
Carnegie Mellon University（卡内基梅隆大学）
DETR是最近提出的一种基于transformer的方法，它将目标检测视为一个集合预测问题，并实现了最先进的性能，但需要额外的训练时间来收敛。在本文中，我们调查的原因，优化困难的训练DETR。我们的研究揭示了导致DETR收敛缓慢的几个因素，主要是匈牙利损失和Transformer交叉注意力机制的问题。为了克服这些问题，我们提出了两种解决方案，即TSP-FCOS（基于变换的集合预测与FCOS）和TSP-RCNN（基于变换的集合预测与RCNN）。实验结果表明，该方法不仅收敛速度比原来的DETR，但也显着优于DETR和其他基线的检测精度。
2021-10-12 cs.CV cs.LG
Evaluating the Adversarial Robustness of Detection Transformers
Clemson University（克莱姆森大学）
本文系统评估了DETR及其变体在白盒与黑盒对抗攻击下的脆弱性，发现其易受攻击且变体间迁移性高，并提出一种利用中间损失的新型无目标攻击，为提升Transformer检测器的鲁棒性提供依据。
2024-12-25 cs.CV cs.LG
An Empirical Study Of Self-supervised Learning Approaches For Object Detection With Transformers
Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
自监督学习（SSL）方法（如掩蔽语言建模）通过预训练用于各种自然语言处理任务的Transformer模型而显示出巨大的性能增益。后续研究采用了类似的方法，如视觉Transformer中的掩码图像建模，并证明了图像分类任务的改进。对于目标检测Transformers（DETR，可变形DETR），没有详尽地研究这种简单的自监督方法，因为它们的Transformer编码器模块在卷积神经网络（CNN）提取的特征空间中而不是像一般的视觉Transformer那样在图像空间中获取输入。然而，CNN特征图仍然保持空间关系，我们利用这一属性来设计自监督学习方法，以在预训练和多任务学习设置中训练目标检测Transformers的编码器。我们探讨了常用的基于图像重建、掩码图像建模和拼图的自监督方法。在iSAID数据集中的初步实验表明，在预训练和多任务学习设置中，DETR在初始阶段的收敛速度更快;然而，在使用可变形DETR的多任务学习中没有观察到类似的改进。我们用DETR和可变形DETR进行实验的代码可分别在https://github.com/gokulkarthik/detr和https://github.com/gokulkarthik/Deformable-DETR上获得。
2022-05-11 cs.AI cs.CV cs.LG
Deformable DETR: Deformable Transformers for End-to-End Object Detection
University of Science and Technology of China（中国科学技术大学）；SenseTime Research（商汤科技研究院）；The Chinese University of Hong Kong（香港中文大学）
DETR最近被提出来消除在目标检测中对许多手工设计的组件的需要，同时表现出良好的性能。然而，由于Transformer注意力模块在处理图像特征映射时的局限性，该算法收敛速度慢，特征空间分辨率有限。为了缓解这些问题，我们提出了可变形DETR，其注意力模块只关注参考周围的一小部分关键采样点。可变形DETR可以实现比DETR更好的性能（特别是在小物体上），训练时间减少10倍。在COCO基准上的大量实验证明了该方法的有效性。代码发布于https://github.com/fundamentalvision/Deformable-DETR。
2021-03-18 cs.CV
DG-DETR: Toward Domain Generalized Detection Transformer
针对现有域泛化研究未关注DETR鲁棒性提升的问题，提出即插即用的DG-DETR方法，通过域无关查询选择和小波特征解耦提升DETR的分布外检测鲁棒性，实验验证了其有效性。
2025-11-12 cs.CV
Miti-DETR: Object Detection based on Transformers with Mitigatory Self-Attention Convergence
Rekor Systems, Inc.（Rekor Systems 公司）；University of Kansas（堪萨斯大学）；Ryerson University（瑞尔森大学）
使用Transformers的目标检测（DETR）和相关工作达到甚至超过了具有自注意网络架构的高度优化的Faster-RCNN基线。受纯自注意具有强烈的诱导偏差导致Transformer失去关于网络深度的表达能力的证据的启发，我们提出了一种具有减轻自注意力机制的Transformer架构，通过在Transformer架构中应用可能的直接映射连接来减轻秩崩溃，从而抵消特征表达损失并提高模型性能。我们将此建议应用于目标检测任务中，并开发了一个名为Miti-DETR的模型。Miti-DETR将每个注意力层的输入保留到该层的输出，以便“非注意力”信息参与任何注意力传播。所形成的残差自注意网络解决了两个关键问题：（1）阻止自注意网络退化到rank-1的最大程度;（2）进一步多样化参数更新的路径分布，以便更容易地进行注意学习。在COCO目标检测数据集上，Miti-DETR显著提高了现有基于DETR的模型的平均检测精度和收敛速度。此外，所提出的Transformer与剩余自注意网络可以很容易地推广或插入到其他相关的任务模型，而无需特定的定制。
2021-12-26 cs.CV
Conditional DETR V2: Efficient Detection Transformer with Box Queries
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）
在本文中，我们感兴趣的检测Transformer（DETR），端到端的目标检测方法的基础上的Transformer编码器-解码器架构，没有手工制作的后处理，如NMS。受条件DETR（一种具有快速训练收敛的改进DETR）的启发，该DETR为内部解码器层提供了框查询（最初称为空间查询），我们将对象查询重新表示为框查询的格式，该框查询是参考点的嵌入和框相对于参考点的变换的组合。这种重新表述表明了DETR中的对象查询与Faster R-CNN中广泛研究的锚框之间的联系。此外，我们从图像内容中学习框查询，进一步提高了条件DETR的检测质量，仍然具有快速的训练收敛。另外，采用轴向自关注的思想，节省了存储器开销，提高了编码器的速度。由此产生的检测器称为Conditional DETR V2，比Conditional DETR获得更好的结果，节省内存成本，运行效率更高。例如，对于DC $5$ - $50$主干，我们的方法在COCO $val$集合上实现了具有$16.4$ FPS的$44.8$ AP，并且与条件DETR相比，它更快地运行$1.6\times$，节省了$74$总内存成本的1%，并且提高了$1.0$ AP分数。
2022-07-18 cs.CV
SAP-DETR: Bridging the Gap Between Salient Points and Queries-Based Transformer Detector for Fast Model Convergency
Institute of Computing Technology (ICT), Chinese Academy of Sciences（中国科学院计算技术研究所）；Stanford University（斯坦福大学）；University of Chinese Academy of Sciences（中国科学院大学）；AI Lab, Lenovo Research（联想研究院人工智能实验室）；Lenovo Ltd.（联想集团有限公司）
最近，主流的基于DETR的方法在加速Transformer检测器收敛之前应用中心概念空间。这些方法逐步细化参考点到目标对象的中心和灌输对象查询与更新的中心参考信息的空间条件注意。然而，集中的参考点可能会严重恶化查询的显着性和混淆检测器，由于不加区分的空间先验。为了弥补显着查询的参考点和Transformer检测器之间的差距，我们提出了SAlient基于点的DETR（SAP-DETR）通过处理目标检测作为一个转换从显着点到实例对象。在SAP-DETR中，我们为每个对象查询显式地初始化一个查询特定的参考点，逐渐将它们聚合成一个实例对象，然后预测从限界框的每一侧到这些点的距离。SAP-DETR通过快速地从图像特征中提取查询特定的参考区域和其他条件极值区域，有效地弥补了显著点和基于查询的Transformer检测器之间的差距，具有显著的收敛速度。我们的大量实验表明，SAP-DETR实现了1.4倍的收敛速度与竞争力的性能。在标准训练方案下，SAP-DETR通过1.0 AP稳定地推广SOTA方法。基于ResNet-DC-101，SAP-DETR实现了46.9 AP。
2023-03-15 cs.CV
detrex: Benchmarking Detection Transformers
International Digital Economy Academy (IDEA)（国际数字经济研究院（IDEA））；University of Science and Technology of China（中国科学技术大学）；Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft Research, Redmond（微软雷德蒙德研究院）
针对基于DETR的模型缺乏统一全面基准的问题，研究团队开发了统一模块化轻量代码库detrex，支持多类主流DETR类实例识别算法与多任务，通过实验构建基准并优化超参数提升性能，提供标准化评估平台以推动领域发展。
2023-06-13 cs.CV
Lung-DETR: Deformable Detection Transformer for Sparse Lung Nodule Anomaly Detection
University of Toronto（多伦多大学）
该研究将稀疏肺结节检测重构为异常检测，结合7.5mm MIP预处理、Deformable-DETR与定制focal loss，在LUNA16上取得94.2% F1。
2024-09-08 cs.CV cs.LG
UP-DETR: Unsupervised Pre-training for Object Detection with Transformers
South China University of Technology（华南理工大学）；Tencent Wechat AI（腾讯微信AI）
本文提出 UP-DETR，通过随机查询块检测预训练任务、冻结 CNN 主干及注意力掩码，解决 DETR 数据需求大、收敛慢的问题，并提升多任务性能。
2023-07-24 cs.CV
RT-DETRv2: Improved Baseline with Bag-of-Freebies for Real-Time Detection Transformer
Peking University Shenzhen Graduate School（北京大学深圳研究生院）；Baidu Inc（百度公司）
本文提出RT-DETRv2，通过多尺度采样点设置、离散采样算子替代及动态数据增强等策略，提升了实时检测Transformer的灵活性、实用性与性能。
2024-07-24 cs.CV
SeqCo-DETR: Sequence Consistency Training for Self-Supervised Object Detection with Transformers
SenseTime Research（商汤科技研究院）；Institute of Automation, CAS（中国科学院自动化研究所）；Peng Cheng Lab（鹏城实验室）
自监督预训练和基于变换器的网络显著提高了目标检测的性能。然而，大多数当前的自监督目标检测方法是建立在基于卷积的架构。我们认为，Transformers的序列特性时，应考虑设计一个基于变压器的自监督方法的目标检测任务。为此，我们提出了SeqCo-DETR，一种新的基于序列一致性的自监督方法，用于使用Transformers进行目标检测。SeqCo-DETR定义了一个简单但有效的借口，通过最小化不同图像视图作为输入的Transformers的输出序列的差异，并利用二分匹配来找到最相关的序列对，以提高序列级自监督表示学习性能。此外，我们提供了一个基于掩码的增强策略与序列一致性策略相结合，以提取更多的代表性上下文信息的对象的目标检测任务。我们的方法在MS COCO（45.8 AP）和PASCAL VOC（64.1 AP）上实现了最先进的结果，证明了我们方法的有效性。
2023-03-15 cs.CV
Team DETR: Guide Queries as a Professional Team in Detection Transformers
Zhejiang University（浙江大学）；Zhejiang Lab（之江实验室）
最近提出的DETR变体由于其简化的流程和卓越的性能，在各种场景中取得了巨大的进步。然而，学习查询通常探索全局上下文来生成最终的集合预测，从而导致冗余负担和不忠实的结果。更具体地说，一个查询通常负责不同尺度和位置的对象，这对查询本身是一个挑战，并且会导致查询之间的空间资源竞争。为了缓解这个问题，我们提出了团队DETR，它利用查询协作和位置约束，更精确地拥抱感兴趣的对象。我们还动态地迎合每个查询成员的预测偏好，提供查询更好的规模和空间先验。此外，所提出的Team DETR具有足够的灵活性，可以适应其他现有的DETR变体，而无需增加参数和计算。在COCO数据集上进行的大量实验表明，Team DETR取得了显着的成果，尤其是对于小型和大型对象。代码可在\url{https://github.com/horrible-dong/TeamDETR}上获得。
2023-02-28 cs.CV
Omni-DETR: Omni-Supervised Object Detection with Transformers
AWS AI Labs（AWS人工智能实验室）；UC San Diego（加州大学圣地亚哥分校）
我们考虑全监督目标检测的问题，它可以使用未标记的，完全标记的和弱标记的注释，如图像标签，计数，点等，用于目标检测。这是由一个统一的架构，Omni-DETR，基于学生-教师框架和端到端的Transformer为基础的目标检测的最新进展。在这种统一的架构下，可以利用不同类型的弱标签来生成准确的伪标签，通过基于二分匹配的过滤机制，供模型学习。在实验中，Omni-DETR在多个数据集和设置上取得了最先进的结果。我们发现弱注释可以帮助提高检测性能，并且它们的混合可以在注释成本和准确性之间实现比标准完整注释更好的权衡。这些发现可以鼓励具有混合注释的更大的目标检测数据集。该代码可在https://github.com/amazon-research/omni-detr上获得。
2022-03-30 cs.CV
Investigating the Robustness and Properties of Detection Transformers (DETR) Toward Difficult Images
The Australian National University（澳大利亚国立大学）
本研究通过实验和基准测试，探究了DETR在遮挡、对抗性贴纸及图像损坏下的鲁棒性，发现其在遮挡下表现良好，但易受对抗性贴纸干扰，且性能逊于YOLOv5，并揭示了主查询依赖导致的贡献不平衡问题。
2023-10-12 cs.CV
DPText-DETR: Towards Better Scene Text Detection with Dynamic Points in Transformer
JD Explore Academy（京东探索研究院）
近年来，基于Transformer的文本检测方法，通过预测多边形点或Bezier曲线控制点来定位文本，成为场景文本检测的主流方法。然而，这些方法建立在检测Transformer框架可能会达到次优的训练效率和性能，由于粗糙的位置查询建模。此外，在以前的工作中利用的点标签形式暗示了人类的阅读顺序，这阻碍了我们的观察检测鲁棒性。为了应对这些挑战，本文提出了一个简洁的动态点文本检测Transformer网络，称为DPText-DETR。详细地说，DPText-DETR直接利用显式点坐标来生成位置查询，并以渐进的方式动态更新它们。此外，为了改善Transformer中非局部自注意的空间归纳偏差，我们提出了一个增强的因子化自注意模块，该模块在每个实例中提供圆形形状指导的点查询。此外，我们设计了一个简单而有效的位置标签形式，以解决前一个形式的副作用。为了进一步评估不同标记形式对真实场景下检测鲁棒性的影响，我们建立了一个包含500张手动标记图像的反文本测试集。大量的实验证明了我们的方法在流行的基准测试中的高训练效率，鲁棒性和最先进的性能。代码和反文本测试集可在https://github.com/ymy-k/DPText-DETR上获得。
2022-11-28 cs.CV
LD-DETR: Loop Decoder DEtection TRansformer for Video Moment Retrieval and Highlight Detection
Sun Yat-Sen University（中山大学）
针对视频时刻检索和精彩片段检测中语义重叠、局部特征提取不足及解码不充分的问题，提出LD-DETR模型，通过相似度矩阵蒸馏、卷积局部特征提取和循环解码器，在多个基准上达到最优性能。
2025-01-18 cs.CV cs.IR cs.LG
PnP-DETR: Towards Efficient Visual Analysis with Transformers
National University of Singapore（新加坡国立大学）；Yitu Technology（依图科技）
最近，DETR开创了用Transformers解决视觉任务的方法，它直接将图像特征映射转化为目标检测结果。虽然有效，但由于在某些区域（如背景）上的冗余计算，翻译完整的特征图可能代价高昂。在这项工作中，我们封装的想法，减少空间冗余到一个新的轮询和池（PnP）采样模块，我们建立了一个端到端的PnP-DETR架构，自适应分配其计算空间更有效。具体地，PSNR模块将图像特征图抽象为精细的前景对象特征向量和少量的粗糙背景上下文特征向量。Transformer在粗-细特征空间内对信息交互进行建模，并将特征转换为检测结果。此外，PNP增强模型可以通过改变采样特征长度来立即实现单个模型的性能和计算之间的各种期望的权衡，而不需要像现有方法那样训练多个模型。因此，它提供了更大的灵活性部署在不同的场景与不同的计算约束。我们进一步验证了普适性模块的全景分割和最近的基于变换器的图像识别模型ViT，并显示一致的效率增益。我们相信我们的方法使一个有效的视觉分析与Transformers，其中空间冗余是常见的步骤。代码将在\url{https://github.com/twangnh/pnp-detr}上提供。
2022-03-02 cs.CV
OVLW-DETR: Open-Vocabulary Light-Weighted Detection Transformer
Baidu Inc.（百度公司）
本研究提出部署友好的开放词汇轻量检测Transformer OVLW-DETR，通过替换检测器分类层权重为VLM文本编码器的类别名嵌入实现知识迁移，在Zero-Shot LVIS基准上性能优于现有实时开放词汇检测器。
2024-07-15 cs.CV
Cross Resolution Encoding-Decoding For Detection Transformers
General Autonomy（通用自主公司）；Seoul National University（首尔大学）
针对DETR多尺度检测计算效率低的问题，提出跨分辨率编解码机制CRED，通过CRAM和OSMA模块实现低分辨率速度与高分辨率精度的兼顾，在主流DETR上可减少约50% FLOPs并保持精度。
2024-10-05 cs.CV
EW-DETR: Evolving World Object Detection via Incremental Low-Rank DEtection TRansformer
Sony Research India（索尼印度研究院）；IIIT Hyderabad（海德拉巴国际信息技术学院）
本文提出EW-DETR框架，结合增量学习、领域自适应和未知检测，在无示例约束下实现进化世界目标检测，通过三个协同模块提升性能，实验表明其在Pascal系列和多天气基准上表现优异。
2026-04-02 cs.CV
Dual-R-DETR: Resolving Query Competition with Pairwise Routing in Transformer Decoders
University of Pittsburgh（匹兹堡大学）；University of California, Irvine（加州大学尔湾分校）；Stevens Institute of Technology（史蒂文斯理工学院）；Illinois Institute of Technology（伊利诺伊理工学院）；New York University（纽约大学）
Dual-R-DETR通过在Transformer解码器中引入成对路由机制，解决DETR中查询之间的竞争问题，提升检测效率和性能。
2026-04-11 cs.CV
Q-DETR: An Efficient Low-Bit Quantized Detection Transformer
Beihang University（北京航空航天大学）；Tencent（腾讯）；Shanghai AI Laboratory（上海人工智能实验室）；UNIUBI Research, Universal Ubiquitous Co.（泛在科技UNIUBI研究院）；Zhongguancun Laboratory（中关村实验室）
本文提出分布校正蒸馏（DRD）方法，通过双层优化解决低比特量化DETR的查询信息失真问题，4比特Q-DETR在COCO上加速6.6倍且性能仅降2.6%。
2023-04-01 cs.CV
ST-DETR: Spatio-Temporal Object Traces Attention Detection Transformer
Valeo R&D（法雷奥研发中心）
我们提出了ST-DETR，一个基于时空变换器的结构，用于从时间帧序列中检测目标检测。我们将时间帧视为空间和时间上的序列，并采用完整的注意力机制来利用两个维度上的特征相关性。这种处理使我们能够处理帧序列作为时间对象特征在空间中的每个位置上的轨迹。我们探讨了两种可能的方法，早期的空间特征聚集的时间维度，和后期的对象查询空间特征的时间聚集。此外，我们提出了一种新的时间位置嵌入技术来编码的时间序列信息。为了评估我们的方法，我们选择了移动目标检测（MOD）任务，因为它是一个完美的候选人，以展示时间维度的重要性。结果显示，在KITTI MOD数据集上，1步空间基线的mAP显著改善了5%。
2021-07-24 cs.CV
Recurrent Glimpse-based Decoder for Detection with Transformer
The University of Sydney（悉尼大学）；JD Explore Academy（京东探索研究院）
虽然使用Transformer（DETR）的检测越来越受欢迎，但其全局注意力建模需要极长的训练期来优化并实现有希望的检测性能。替代现有的研究，主要是开发先进的功能或嵌入设计来解决训练问题，我们指出，基于感兴趣区域（ROI）的检测细化可以很容易地帮助减轻训练的难度DETR方法。在此基础上，本文提出了一种新的基于重现扫视的解码器（REGO）。特别是，REGO采用多阶段递归处理结构，以帮助DETR的注意力逐渐更准确地集中在前景物体上。在每个处理阶段中，视觉特征被提取为来自具有来自前一阶段的检测结果的放大的限界框区域的ROI的一瞥特征。然后，一个基于瞥见的解码器被引入到提供精炼的检测结果的基础上的瞥见功能和注意力建模输出的前一阶段。在实践中，REGO可以很容易地嵌入到代表性的DETR变体中，同时保持其完整的端到端训练和推理管道。特别是，REGO帮助可变形DETR在MSCOCO数据集上仅用36个训练时期就实现了44.8 AP，而第一个DETR和可变形DETR分别需要500和50个时期才能实现相当的性能。实验还表明，在50个训练时期的相同设置下，REGO一致地提高了不同DETR检测器的性能，相对增益高达7%。代码可通过https://github.com/zhechen/Deformable-DETR-REGO获得。
2022-04-12 cs.CV
Automatic Vehicle Detection using DETR: A Transformer-Based Approach for Navigating Treacherous Roads
Institute of Information Technology（信息科技学院）；University of Dhaka（达卡大学）；Dept. of Computer Science and Engineering（计算机科学与工程系）
首次将DETR用于复杂驾驶环境中的自动车辆检测，通过Co-DETR训练方案增强特征学习与注意力机制，在BadODD数据集上优于YOLO等传统方法。
2026-06-23 cs.AI cs.CV
Anchor DETR: Query Design for Transformer-Based Object Detection
MEGVII Technology（旷视科技）
在本文中，我们提出了一种新的查询设计的transformer为基础的目标检测。在以前的基于transformer的检测器中，对象查询是一组学习的嵌入。然而，每个学习的嵌入没有明确的物理意义，我们无法解释它将集中在哪里。由于每个对象查询的预测槽没有特定的模式，因此很难优化。换句话说，每个对象查询将不关注特定区域。为了解决这些问题，在我们的查询设计中，对象查询是基于锚点，这是广泛使用的基于CNN的检测器。因此，每个对象查询都关注锚点附近的对象。此外，我们的查询设计可以预测多个对象在一个位置，以解决困难：“一个区域，多个对象”。此外，我们还设计了一个注意变量，它可以减少内存开销，同时达到类似或更好的性能比标准的注意在DETR。由于查询设计和注意力变量，我们称之为锚DETR的检测器可以实现更好的性能，并且比DETR运行得更快，训练次数少10 $\times$。例如，当使用ResNet 50-DC 5功能训练50个epoch时，它在MSCOCO数据集上实现了44.2 AP和19 FPS。在MSCOCO基准测试上的大量实验证明了所提方法的有效性。代码可在\url{https://github.com/megvii-research/AnchorDETR}上获得。
2022-01-04 cs.CV
LW-DETR: A Transformer Replacement to YOLO for Real-Time Detection
Baidu Inc.（百度公司）；The University of Adelaide（阿德莱德大学）；Beihang University（北京航空航天大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Australian National University（澳大利亚国立大学）
提出轻量级检测transformer LW-DETR，通过堆叠ViT编码器、投影器和浅层DETR解码器，结合改进的训练技术、交错注意力与特征图聚合，在实时目标检测中超越YOLO。
2024-06-05 cs.CV
RF-DETR Object Detection vs YOLOv12 : A Study of Transformer-based and CNN-based Architectures for Single-Class and Multi-Class Greenfruit Detection in Complex Orchard Environments Under Label Ambiguity
Cornell University（康奈尔大学）；Kansas State University（堪萨斯州立大学）
针对标签模糊的复杂果园青果检测，对比RF-DETR（Transformer架构）与YOLOv12（CNN架构），在单/多类自定义数据集上评估，RF-DETR全局建模优、收敛快，YOLOv12效率高，为精准农业检测提供架构选择依据。
2025-04-17 cs.CV
Cal-DETR: Calibrated Detection Transformer
Mohamed bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学）；Information Technology University（信息技术大学）；Australian National University（澳大利亚国立大学）；Linköping University（林雪平大学）
针对检测Transformer缺乏校准研究的问题，提出Cal-DETR机制，通过不确定性量化、不确定性引导logit调制和logit混合实现训练时校准，在多场景下有效提升校准效果且维持或优化检测性能。
2023-11-06 cs.CV
DetRefiner: Model-Agnostic Detection Refinement with Feature Fusion Transformer
Hitachi, Ltd. Research and Development Group（日立株式会社研究开发集团）
DetRefiner通过融合全局和局部特征提升开放词汇检测性能，无需依赖基础模型内部特征或重新训练，有效提升多个数据集上的检测精度。
2026-05-11 cs.CV
OW-DETR: Open-world Detection Transformer
Inception Institute of Artificial Intelligence（Inception人工智能研究院）；IIT Hyderabad（印度理工学院海得拉巴分校）；Australian National University（澳大利亚国立大学）；Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Linköping University（林雪平大学）；University of Central Florida（中佛罗里达大学）
开放世界目标检测（OWOD）是一个具有挑战性的计算机视觉问题，其任务是检测一组已知的目标类别，同时识别未知目标。此外，模型必须逐步学习在下一个训练片段中变得已知的新类。与标准目标检测不同，OWOD设置对生成潜在未知对象的质量候选建议、将未知对象与背景分离以及检测各种未知对象提出了重大挑战。在这里，我们介绍了一种新的端到端的基于transformer的框架，OW-DETR，开放世界的目标检测。所提出的OW-DETR包括三个专用组件，即注意力驱动的伪标签，新颖性分类和对象评分，以明确解决上述OWOD挑战。我们的OW-DETR明确编码多尺度上下文信息，具有较少的归纳偏差，使知识转移从已知类到未知类，可以更好地区分未知对象和背景。在MS-COCO和PASCAL VOC两个基准上进行了全面的实验。广泛的烧蚀揭示了我们提出的贡献的优点。此外，我们的模型优于最近推出的OWOD方法，ORE，在MS-COCO上的未知召回方面的绝对增益范围从1.8%到3.3%。在增量目标检测的情况下，OW-DETR优于PASCAL VOC上所有设置的最新技术。我们的代码可在https://github.com/akshitac8/OW-DETR上获得。
2022-04-04 cs.CV
PM-DETR: Domain Adaptive Prompt Memory for Object Detection with Transformers
Peking University（北京大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Beihang University（北京航空航天大学）
提出分层提示域记忆（PDM）和提示记忆对齐（PMA）方法，通过注入分布相似提示并利用域特定知识对齐特征，有效提升DETR在不同数据分布下的检测性能，在三个基准上优于现有方法。
2023-07-01 cs.CV
D2Q-DETR: Decoupling and Dynamic Queries for Oriented Object Detection with Transformers
Alibaba Group（阿里巴巴集团）；Damo Academy（达摩院）
尽管有有希望的结果，但现有的定向目标检测方法通常涉及抽象地设计的规则，例如，RRoI生成，旋转NMS。在本文中，我们提出了一个面向目标检测的端到端框架，它简化了模型流水线，并获得了优越的性能。我们的框架是基于DETR的，用点预测头代替了盒回归头。点的学习更加灵活，点的分布可以反映目标旋转框的角度和大小。我们进一步提出将查询特征解耦为分类和回归特征，这显著提高了模型的精度。航拍图像通常包含数千个实例。为了更好地平衡模型精度和效率，我们提出了一种新的动态查询设计，它减少了堆叠解码器层中的对象查询的数量，而不牺牲模型性能。最后，我们重新思考现有的DETR类检测器的标签分配策略，并提出了一个有效的标签重新分配策略，以提高性能。我们将我们的方法命名为D2 Q-DETR。在最大的DOTA-v1.0和DOTA-v1.5数据集上的实验表明，D2 Q-DETR的性能优于现有的基于NMS和无NMS的目标检测方法，达到了新的水平。
2023-03-01 cs.CV
MS-DETR: Multispectral Pedestrian Detection Transformer with Loosely Coupled Fusion and Modality-Balanced Optimization
School of Computer Science, Northwestern Polytechnical University（西北工业大学计算机学院）；Research Development Institute of Northwestern Polytechnical University in Shenzhen（西北工业大学深圳研究院）
针对多光谱行人检测中的错位与模态不平衡问题，提出MS-DETR，采用松散耦合融合和实例感知模态平衡优化，在KAIST、CVC-14和LLVIP上取得优越性能。
2024-11-05 cs.CV
End-to-End Object Detection with Transformers
Facebook AI（脸书人工智能研究院）
我们提出了一种新的方法，将目标检测视为一个直接的集合预测问题。我们的方法简化了检测管道，有效地消除了对许多手工设计的组件的需要，例如非最大抑制过程或锚生成，这些组件显式地编码了我们关于任务的先验知识。新框架的主要成分，称为检测转换器或DETR，是一个基于集合的全局损失，通过二分匹配强制唯一的预测，和一个Transformer编码器-解码器架构。给定一个固定的小集合的学习对象查询，DETR的原因有关的对象和全局图像上下文的关系，直接输出并行的最终预测集。新模型在概念上很简单，不像许多其他现代探测器那样需要专门的库。DETR在具有挑战性的COCO目标检测数据集上展示了与成熟且高度优化的Faster RCNN基线相当的准确性和运行时性能。此外，DETR可以很容易地推广到以统一的方式产生全景分割。我们表明，它显着优于竞争对手的基线。训练代码和预训练模型可在https://github.com/facebookresearch/detr上获得。
2020-05-28 cs.CV
Object Detection for Medical Image Analysis: Insights from the RT-DETR Model
University of California, Los Angeles（加州大学洛杉矶分校）；Duke University（杜克大学）；University of Massachusetts Boston（马萨诸塞大学波士顿分校）；University of Rochester（罗切斯特大学）；Northeastern University（东北大学）；Texas Tech University（德克萨斯理工大学）
本文提出基于 RT-DETR 模型的医学图像目标检测框架，在糖尿病视网膜病变检测中，其精确率、召回率和 mAP 等指标优于 YOLOv5 等模型，展现出处理高维视觉数据及检测小目标的卓越潜力。
2025-01-27 cs.CV cs.LG
AO2-DETR: Arbitrary-Oriented Object Detection Transformer
Peking University（北京大学）；ETH Zurich（苏黎世联邦理工学院）；South China University of Technology（华南理工大学）
面向目标的目标检测（AOOD）是一项具有挑战性的任务，可以在野外检测具有任意方向和杂乱排列的目标。现有的方法主要是基于基于锚的盒子或密集点，这依赖于复杂的手工设计的处理步骤和归纳偏差，如锚的生成，转换和非最大抑制推理。最近，新兴的基于变换器的方法将目标检测视为直接集合预测问题，其有效地消除了对手工设计的组件和电感偏置的需要。在本文中，我们提出了一个面向对象的目标检测Transformer框架，称为AO 2-DETR，它包括三个专用组件。更准确地说，一个定向的建议生成机制，提出了显式地产生定向的建议，这提供了更好的位置先验池功能调制交叉注意的Transformer解码器。提出了一种面向自适应的建议细化模块，用于提取旋转不变的区域特征，消除区域特征与目标之间的错位。并使用旋转感知的集合匹配损失来确保直接集合预测的一对一匹配过程，而没有重复预测。我们的方法大大简化了整个管道，并提出了一个新的AOOD范例。在几个具有挑战性的数据集上的综合实验表明，我们的方法在AOOD任务上取得了优异的性能。
2022-05-25 cs.CV
Bridging Object Detection and Segmentation with Polygon Detection Transformers
Shanghai University（上海大学）
Poly-DETR通过极坐标表示将实例分割转化为稀疏顶点回归，实现更轻量的高分辨率分割，优于现有极坐标方法并在特定领域表现更优。
2026-08-11 cs.CV
