CLoCKDistill: Consistent Location-and-Context-aware Knowledge Distillation for DETRs
University of Alabama at Birmingham（阿拉巴马大学伯明翰分校）
针对 DETR 蒸馏缺乏全局上下文且过度信任教师的问题，提出 CLoCKDistill，通过位置增强的编码器 memory 蒸馏和目标感知查询 logit 蒸馏，在多种 DETR 与 KITTI、COCO 上提升 2.2%–6.4%。
2025-02-15 cs.CV
KS-DETR: Knowledge Sharing in Attention Learning for Detection Transformer
Toyota Technological Institute（丰田工业大学）
Scaled dot-product attention对查询和键的缩放点积应用softmax函数来计算权重，然后将权重和值相乘。在这项工作中，我们研究了如何改善缩放点积注意力的学习，以提高DETR的准确性。我们的方法基于以下观察：使用地面真实前景-背景掩码（GT Fg-Bg掩码）作为权重/值学习中的额外线索，可以学习更好的权重/值;使用更好的权重/值，可以学习更好的值/权重。我们提出了一个三重注意力模块，其中第一个注意力是一个普通的缩放点积注意力，第二/第三个注意力生成高质量的权重/值（在GT Fg-Bg Mask的帮助下），并与第一个注意力共享值/权重，以提高值/权重的质量。第二和第三注意力在推理过程中被移除。我们称我们的方法知识共享DETR（KS-DETR），这是一个扩展的知识蒸馏（KD）的方式，改进的权重和值的教师（第二次和第三次注意）直接共享，而不是模仿，由学生（第一次注意），使更有效的知识转移从教师到学生。各种DETR类方法的实验表明，在MS COCO基准的基线方法的一致改进。代码可在https://github.com/edocanonymous/KS-DETR上获得。
2023-03-16 cs.CV cs.LG
Let Video Teaches You More: Video-to-Image Knowledge Distillation using DEtection TRansformer for Medical Video Lesion Detection
FNii, CUHK-Shenzhen（香港中文大学（深圳）FNii机构）；SSE, CUHK-Shenzhen（香港中文大学（深圳）工学院）；SRIBD, CUHK-Shenzhen（香港中文大学（深圳）SRIBD机构）；IHPC, A*STAR（新加坡科研局高性能计算研究院）
针对医学视频病变检测中基于图像模型缺乏帧间上下文而基于视频模型计算成本高的问题，提出V2I-DETR知识蒸馏框架，将视频多帧时间上下文蒸馏至单帧图像模型，在保持30 FPS实时推理速度的同时大幅超越现有最先进方法。
2024-08-26 cs.CV
MRC-DETR: An Adaptive Multi-Residual Coupled Transformer for Bare Board PCB Defect Detection
School of Information Engineering, Guangdong University of Technology（广东科技大學信息工程學院）；School of Computer Science, Wuhan University（武漢大學計算機科學學院）
本文提出MRC-DETR，一种基于RT-DETR的裸板PCB缺陷检测框架，通过多残差方向耦合模块和自适应筛选金字塔网络提升特征表示与计算效率，并构建了高质量数据集以缓解训练数据不足问题。
2025-07-04 cs.CV
BAM-DETR: Boundary-Aligned Moment Detection Transformer for Temporal Sentence Grounding in Videos
Inha University（仁荷大学）；Yonsei University（延世大学）
针对DETR式时间定位中中心错位问题，提出面向边界的时刻表述与双路径解码的BAM-DETR，并引入质量排序，在三个基准上验证有效性。
2024-07-18 cs.CV cs.LG
A Deformable Attention-Based Detection Transformer with Cross-Scale Feature Fusion for Industrial Coil Spring Inspection
Maharaja Agrasen University（马哈拉贾·阿格拉森大学）
本文提出MSD-DETR框架，通过多尺度结构重参数化、可变形注意力机制和跨尺度特征融合解决工业螺旋弹簧检测中的形态多样性、尺度变化和复杂背景问题，实现92.4% mAP@0.5和98 FPS的高性能检测。
2026-03-13 cs.CV
DETRDistill: A Universal Knowledge Distillation Framework for DETR-families
University of Science and Technology of China（中国科学技术大学）；University of Edinburgh（爱丁堡大学）；University of Adelaide（阿德莱德大学）
基于转换器的检测器（DETR）由于其简单的框架而越来越受欢迎，但庞大的模型大小和繁重的时间消耗阻碍了它们在现实世界中的部署。而知识蒸馏（KD）是一种有吸引力的技术，可以将大型检测器压缩成小的检测器，以获得相似的检测性能和低推理成本。由于DETR将目标检测公式化为集合预测问题，因此为经典的基于卷积的检测器设计的现有KD方法可能不直接适用。在本文中，我们提出了DETRDistill，一种新的知识蒸馏方法，致力于DETR-家庭。具体来说，我们首先设计了一个匈牙利匹配的logits蒸馏，以鼓励学生模型有确切的预测，教师DETRs。接下来，我们提出了一个目标感知的特征提取，以帮助学生模型从教师模型的以对象为中心的特征中学习。最后，为了提高学生DETR的收敛速度，我们引入了查询优先分配蒸馏，以加快学生模型从训练良好的查询和教师模型的稳定分配中学习。COCO数据集上的大量实验结果验证了该方法的有效性。值得注意的是，DETRDistill持续提高各种DETR超过2.0 mAP，甚至超过了他们的教师模型。
2023-03-17 cs.CV
Livestock Fish Larvae Counting using DETR and YOLO based Deep Networks
Universidade Católica Dom Bosco（多姆博斯科天主教大学）；Agropeixe Ltda.（阿格罗佩克萨有限公司）；Universidade Federal de Mato Grosso do Sul（南马托格罗索联邦大学）
本文构建低采集需求的鱼苗标注数据集，并评估多种 CNN 与 transformer 检测架构，结合图像分块使 DETR 与 YOLOv8 均实现低 MAPE 计数。
2024-08-09 cs.CV
Enhanced Knowledge Distillation for Detection Transformer via Teacher Prediction Refinement
Shanghai Jiao Tong University（上海交通大学）
针对DETR蒸馏中教师监督质量不佳的问题，提出TPRD模块，通过正预测校正和负预测抑制精化教师预测，并引入MDKP保留暗知识，在MS COCO和PASCAL VOC上验证了有效性。
2026-09-18 cs.CV
SO-DETR: Leveraging Dual-Domain Features and Knowledge Distillation for Small Object Detection
Academy for Engineering and Technology, Fudan University（复旦大学工程与技术学院）
针对基于检测Transformer的方法在小目标检测中存在的低级特征融合不足、查询选择策略不匹配问题，提出SO-DETR模型，通过双域混合编码器、增强型查询选择机制及知识蒸馏策略，在相似计算需求下提升了小目标检测性能。
2025-04-11 cs.AI cs.CV
Transformer-Based Microbubble Localization
Concordia University（康考迪亚大学）
超声定位显微镜（ULM）是一种新兴的技术，它采用回声微泡（MB）的定位，以精细的采样和成像微循环超过超声成像的衍射极限。传统的MB定位方法主要基于考虑MB的特定点扩散函数（PSF），这导致由重叠MB、非平稳PSF和谐波MB回波引起的信息丢失。因此，必须设计能够准确定位MB同时对MB非线性和使MB PSF失真的MB浓度变化有弹性的方法。本文提出了一种基于transformer的MB本地化方法来解决这个问题。我们采用了检测Transformer（DETR）arXiv：2005.12872，这是一种端到端的对象识别方法，使用基于集合的匈牙利损失和二分匹配为每个检测到的对象检测一个唯一的边界框。据作者所知，这是第一次将Transformers用于MB本地化。为了评估所提出的策略，预先训练的DETR网络的性能进行了测试，使用迁移学习原理检测MB。我们在IEEE IUS Ultra-SR挑战组织者提供的数据集随机选择的帧的子集上对网络进行了微调，然后使用交叉验证对其余帧进行了测试。对于模拟数据集，本文支持部署基于变压器的解决方案，以实现高精度的MB定位。
2022-09-23 cs.CV eess.IV
Underwater object detection in sonar imagery with detection transformer and Zero-shot neural architecture search
Dalian Maritime University（大连海事大学）
本文提出 NAS-DETR，通过基于最大熵的 Zero-shot NAS 搜索实时高表示能力 CNN-Transformer 主干，并结合 FPN 与可变形注意力解码器，在两个声呐数据集上实现最先进检测性能。
2025-05-10 cs.AI cs.CV
Deformable DETR: Deformable Transformers for End-to-End Object Detection
University of Science and Technology of China（中国科学技术大学）；SenseTime Research（商汤科技研究院）；The Chinese University of Hong Kong（香港中文大学）
DETR最近被提出来消除在目标检测中对许多手工设计的组件的需要，同时表现出良好的性能。然而，由于Transformer注意力模块在处理图像特征映射时的局限性，该算法收敛速度慢，特征空间分辨率有限。为了缓解这些问题，我们提出了可变形DETR，其注意力模块只关注参考周围的一小部分关键采样点。可变形DETR可以实现比DETR更好的性能（特别是在小物体上），训练时间减少10倍。在COCO基准上的大量实验证明了该方法的有效性。代码发布于https://github.com/fundamentalvision/Deformable-DETR。
2021-03-18 cs.CV
DG-DETR: Toward Domain Generalized Detection Transformer
针对现有域泛化研究未关注DETR鲁棒性提升的问题，提出即插即用的DG-DETR方法，通过域无关查询选择和小波特征解耦提升DETR的分布外检测鲁棒性，实验验证了其有效性。
2025-11-12 cs.CV
Miti-DETR: Object Detection based on Transformers with Mitigatory Self-Attention Convergence
Rekor Systems, Inc.（Rekor Systems 公司）；University of Kansas（堪萨斯大学）；Ryerson University（瑞尔森大学）
使用Transformers的目标检测（DETR）和相关工作达到甚至超过了具有自注意网络架构的高度优化的Faster-RCNN基线。受纯自注意具有强烈的诱导偏差导致Transformer失去关于网络深度的表达能力的证据的启发，我们提出了一种具有减轻自注意力机制的Transformer架构，通过在Transformer架构中应用可能的直接映射连接来减轻秩崩溃，从而抵消特征表达损失并提高模型性能。我们将此建议应用于目标检测任务中，并开发了一个名为Miti-DETR的模型。Miti-DETR将每个注意力层的输入保留到该层的输出，以便“非注意力”信息参与任何注意力传播。所形成的残差自注意网络解决了两个关键问题：（1）阻止自注意网络退化到rank-1的最大程度;（2）进一步多样化参数更新的路径分布，以便更容易地进行注意学习。在COCO目标检测数据集上，Miti-DETR显著提高了现有基于DETR的模型的平均检测精度和收敛速度。此外，所提出的Transformer与剩余自注意网络可以很容易地推广或插入到其他相关的任务模型，而无需特定的定制。
2021-12-26 cs.CV
Conditional DETR V2: Efficient Detection Transformer with Box Queries
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）
在本文中，我们感兴趣的检测Transformer（DETR），端到端的目标检测方法的基础上的Transformer编码器-解码器架构，没有手工制作的后处理，如NMS。受条件DETR（一种具有快速训练收敛的改进DETR）的启发，该DETR为内部解码器层提供了框查询（最初称为空间查询），我们将对象查询重新表示为框查询的格式，该框查询是参考点的嵌入和框相对于参考点的变换的组合。这种重新表述表明了DETR中的对象查询与Faster R-CNN中广泛研究的锚框之间的联系。此外，我们从图像内容中学习框查询，进一步提高了条件DETR的检测质量，仍然具有快速的训练收敛。另外，采用轴向自关注的思想，节省了存储器开销，提高了编码器的速度。由此产生的检测器称为Conditional DETR V2，比Conditional DETR获得更好的结果，节省内存成本，运行效率更高。例如，对于DC $5$ - $50$主干，我们的方法在COCO $val$集合上实现了具有$16.4$ FPS的$44.8$ AP，并且与条件DETR相比，它更快地运行$1.6\times$，节省了$74$总内存成本的1%，并且提高了$1.0$ AP分数。
2022-07-18 cs.CV
SAP-DETR: Bridging the Gap Between Salient Points and Queries-Based Transformer Detector for Fast Model Convergency
Institute of Computing Technology (ICT), Chinese Academy of Sciences（中国科学院计算技术研究所）；Stanford University（斯坦福大学）；University of Chinese Academy of Sciences（中国科学院大学）；AI Lab, Lenovo Research（联想研究院人工智能实验室）；Lenovo Ltd.（联想集团有限公司）
最近，主流的基于DETR的方法在加速Transformer检测器收敛之前应用中心概念空间。这些方法逐步细化参考点到目标对象的中心和灌输对象查询与更新的中心参考信息的空间条件注意。然而，集中的参考点可能会严重恶化查询的显着性和混淆检测器，由于不加区分的空间先验。为了弥补显着查询的参考点和Transformer检测器之间的差距，我们提出了SAlient基于点的DETR（SAP-DETR）通过处理目标检测作为一个转换从显着点到实例对象。在SAP-DETR中，我们为每个对象查询显式地初始化一个查询特定的参考点，逐渐将它们聚合成一个实例对象，然后预测从限界框的每一侧到这些点的距离。SAP-DETR通过快速地从图像特征中提取查询特定的参考区域和其他条件极值区域，有效地弥补了显著点和基于查询的Transformer检测器之间的差距，具有显著的收敛速度。我们的大量实验表明，SAP-DETR实现了1.4倍的收敛速度与竞争力的性能。在标准训练方案下，SAP-DETR通过1.0 AP稳定地推广SOTA方法。基于ResNet-DC-101，SAP-DETR实现了46.9 AP。
2023-03-15 cs.CV
detrex: Benchmarking Detection Transformers
International Digital Economy Academy (IDEA)（国际数字经济研究院（IDEA））；University of Science and Technology of China（中国科学技术大学）；Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft Research, Redmond（微软雷德蒙德研究院）
针对基于DETR的模型缺乏统一全面基准的问题，研究团队开发了统一模块化轻量代码库detrex，支持多类主流DETR类实例识别算法与多任务，通过实验构建基准并优化超参数提升性能，提供标准化评估平台以推动领域发展。
2023-06-13 cs.CV
UP-DETR: Unsupervised Pre-training for Object Detection with Transformers
South China University of Technology（华南理工大学）；Tencent Wechat AI（腾讯微信AI）
本文提出 UP-DETR，通过随机查询块检测预训练任务、冻结 CNN 主干及注意力掩码，解决 DETR 数据需求大、收敛慢的问题，并提升多任务性能。
2023-07-24 cs.CV
RT-DETRv2: Improved Baseline with Bag-of-Freebies for Real-Time Detection Transformer
Peking University Shenzhen Graduate School（北京大学深圳研究生院）；Baidu Inc（百度公司）
本文提出RT-DETRv2，通过多尺度采样点设置、离散采样算子替代及动态数据增强等策略，提升了实时检测Transformer的灵活性、实用性与性能。
2024-07-24 cs.CV
SeqCo-DETR: Sequence Consistency Training for Self-Supervised Object Detection with Transformers
SenseTime Research（商汤科技研究院）；Institute of Automation, CAS（中国科学院自动化研究所）；Peng Cheng Lab（鹏城实验室）
自监督预训练和基于变换器的网络显著提高了目标检测的性能。然而，大多数当前的自监督目标检测方法是建立在基于卷积的架构。我们认为，Transformers的序列特性时，应考虑设计一个基于变压器的自监督方法的目标检测任务。为此，我们提出了SeqCo-DETR，一种新的基于序列一致性的自监督方法，用于使用Transformers进行目标检测。SeqCo-DETR定义了一个简单但有效的借口，通过最小化不同图像视图作为输入的Transformers的输出序列的差异，并利用二分匹配来找到最相关的序列对，以提高序列级自监督表示学习性能。此外，我们提供了一个基于掩码的增强策略与序列一致性策略相结合，以提取更多的代表性上下文信息的对象的目标检测任务。我们的方法在MS COCO（45.8 AP）和PASCAL VOC（64.1 AP）上实现了最先进的结果，证明了我们方法的有效性。
2023-03-15 cs.CV
Team DETR: Guide Queries as a Professional Team in Detection Transformers
Zhejiang University（浙江大学）；Zhejiang Lab（之江实验室）
最近提出的DETR变体由于其简化的流程和卓越的性能，在各种场景中取得了巨大的进步。然而，学习查询通常探索全局上下文来生成最终的集合预测，从而导致冗余负担和不忠实的结果。更具体地说，一个查询通常负责不同尺度和位置的对象，这对查询本身是一个挑战，并且会导致查询之间的空间资源竞争。为了缓解这个问题，我们提出了团队DETR，它利用查询协作和位置约束，更精确地拥抱感兴趣的对象。我们还动态地迎合每个查询成员的预测偏好，提供查询更好的规模和空间先验。此外，所提出的Team DETR具有足够的灵活性，可以适应其他现有的DETR变体，而无需增加参数和计算。在COCO数据集上进行的大量实验表明，Team DETR取得了显着的成果，尤其是对于小型和大型对象。代码可在\url{https://github.com/horrible-dong/TeamDETR}上获得。
2023-02-28 cs.CV
Omni-DETR: Omni-Supervised Object Detection with Transformers
AWS AI Labs（AWS人工智能实验室）；UC San Diego（加州大学圣地亚哥分校）
我们考虑全监督目标检测的问题，它可以使用未标记的，完全标记的和弱标记的注释，如图像标签，计数，点等，用于目标检测。这是由一个统一的架构，Omni-DETR，基于学生-教师框架和端到端的Transformer为基础的目标检测的最新进展。在这种统一的架构下，可以利用不同类型的弱标签来生成准确的伪标签，通过基于二分匹配的过滤机制，供模型学习。在实验中，Omni-DETR在多个数据集和设置上取得了最先进的结果。我们发现弱注释可以帮助提高检测性能，并且它们的混合可以在注释成本和准确性之间实现比标准完整注释更好的权衡。这些发现可以鼓励具有混合注释的更大的目标检测数据集。该代码可在https://github.com/amazon-research/omni-detr上获得。
2022-03-30 cs.CV
Investigating the Robustness and Properties of Detection Transformers (DETR) Toward Difficult Images
The Australian National University（澳大利亚国立大学）
本研究通过实验和基准测试，探究了DETR在遮挡、对抗性贴纸及图像损坏下的鲁棒性，发现其在遮挡下表现良好，但易受对抗性贴纸干扰，且性能逊于YOLOv5，并揭示了主查询依赖导致的贡献不平衡问题。
2023-10-12 cs.CV
DPText-DETR: Towards Better Scene Text Detection with Dynamic Points in Transformer
JD Explore Academy（京东探索研究院）
近年来，基于Transformer的文本检测方法，通过预测多边形点或Bezier曲线控制点来定位文本，成为场景文本检测的主流方法。然而，这些方法建立在检测Transformer框架可能会达到次优的训练效率和性能，由于粗糙的位置查询建模。此外，在以前的工作中利用的点标签形式暗示了人类的阅读顺序，这阻碍了我们的观察检测鲁棒性。为了应对这些挑战，本文提出了一个简洁的动态点文本检测Transformer网络，称为DPText-DETR。详细地说，DPText-DETR直接利用显式点坐标来生成位置查询，并以渐进的方式动态更新它们。此外，为了改善Transformer中非局部自注意的空间归纳偏差，我们提出了一个增强的因子化自注意模块，该模块在每个实例中提供圆形形状指导的点查询。此外，我们设计了一个简单而有效的位置标签形式，以解决前一个形式的副作用。为了进一步评估不同标记形式对真实场景下检测鲁棒性的影响，我们建立了一个包含500张手动标记图像的反文本测试集。大量的实验证明了我们的方法在流行的基准测试中的高训练效率，鲁棒性和最先进的性能。代码和反文本测试集可在https://github.com/ymy-k/DPText-DETR上获得。
2022-11-28 cs.CV
PnP-DETR: Towards Efficient Visual Analysis with Transformers
National University of Singapore（新加坡国立大学）；Yitu Technology（依图科技）
最近，DETR开创了用Transformers解决视觉任务的方法，它直接将图像特征映射转化为目标检测结果。虽然有效，但由于在某些区域（如背景）上的冗余计算，翻译完整的特征图可能代价高昂。在这项工作中，我们封装的想法，减少空间冗余到一个新的轮询和池（PnP）采样模块，我们建立了一个端到端的PnP-DETR架构，自适应分配其计算空间更有效。具体地，PSNR模块将图像特征图抽象为精细的前景对象特征向量和少量的粗糙背景上下文特征向量。Transformer在粗-细特征空间内对信息交互进行建模，并将特征转换为检测结果。此外，PNP增强模型可以通过改变采样特征长度来立即实现单个模型的性能和计算之间的各种期望的权衡，而不需要像现有方法那样训练多个模型。因此，它提供了更大的灵活性部署在不同的场景与不同的计算约束。我们进一步验证了普适性模块的全景分割和最近的基于变换器的图像识别模型ViT，并显示一致的效率增益。我们相信我们的方法使一个有效的视觉分析与Transformers，其中空间冗余是常见的步骤。代码将在\url{https://github.com/twangnh/pnp-detr}上提供。
2022-03-02 cs.CV
OVLW-DETR: Open-Vocabulary Light-Weighted Detection Transformer
Baidu Inc.（百度公司）
本研究提出部署友好的开放词汇轻量检测Transformer OVLW-DETR，通过替换检测器分类层权重为VLM文本编码器的类别名嵌入实现知识迁移，在Zero-Shot LVIS基准上性能优于现有实时开放词汇检测器。
2024-07-15 cs.CV
Cross Resolution Encoding-Decoding For Detection Transformers
General Autonomy（通用自主公司）；Seoul National University（首尔大学）
针对DETR多尺度检测计算效率低的问题，提出跨分辨率编解码机制CRED，通过CRAM和OSMA模块实现低分辨率速度与高分辨率精度的兼顾，在主流DETR上可减少约50% FLOPs并保持精度。
2024-10-05 cs.CV
EW-DETR: Evolving World Object Detection via Incremental Low-Rank DEtection TRansformer
Sony Research India（索尼印度研究院）；IIIT Hyderabad（海德拉巴国际信息技术学院）
本文提出EW-DETR框架，结合增量学习、领域自适应和未知检测，在无示例约束下实现进化世界目标检测，通过三个协同模块提升性能，实验表明其在Pascal系列和多天气基准上表现优异。
2026-04-02 cs.CV
Dual-R-DETR: Resolving Query Competition with Pairwise Routing in Transformer Decoders
University of Pittsburgh（匹兹堡大学）；University of California, Irvine（加州大学尔湾分校）；Stevens Institute of Technology（史蒂文斯理工学院）；Illinois Institute of Technology（伊利诺伊理工学院）；New York University（纽约大学）
Dual-R-DETR通过在Transformer解码器中引入成对路由机制，解决DETR中查询之间的竞争问题，提升检测效率和性能。
2026-04-11 cs.CV
DETRPose: Real-Time End-to-End Multi-Person Pose Estimation via Modified Transformer Decoder and Novel Denoising Keypoints
The University of New Mexico（新墨西哥大学）
提出DETRPose，首个实时端到端Transformer多人2D姿态估计模型，通过改进GroupPose解码器和去噪关键点训练加速，在COCO等数据集上达到与SOTA相当的精度，且参数更少、速度更快。
2026-07-03 cs.CV
Q-DETR: An Efficient Low-Bit Quantized Detection Transformer
Beihang University（北京航空航天大学）；Tencent（腾讯）；Shanghai AI Laboratory（上海人工智能实验室）；UNIUBI Research, Universal Ubiquitous Co.（泛在科技UNIUBI研究院）；Zhongguancun Laboratory（中关村实验室）
本文提出分布校正蒸馏（DRD）方法，通过双层优化解决低比特量化DETR的查询信息失真问题，4比特Q-DETR在COCO上加速6.6倍且性能仅降2.6%。
2023-04-01 cs.CV
ST-DETR: Spatio-Temporal Object Traces Attention Detection Transformer
Valeo R&D（法雷奥研发中心）
我们提出了ST-DETR，一个基于时空变换器的结构，用于从时间帧序列中检测目标检测。我们将时间帧视为空间和时间上的序列，并采用完整的注意力机制来利用两个维度上的特征相关性。这种处理使我们能够处理帧序列作为时间对象特征在空间中的每个位置上的轨迹。我们探讨了两种可能的方法，早期的空间特征聚集的时间维度，和后期的对象查询空间特征的时间聚集。此外，我们提出了一种新的时间位置嵌入技术来编码的时间序列信息。为了评估我们的方法，我们选择了移动目标检测（MOD）任务，因为它是一个完美的候选人，以展示时间维度的重要性。结果显示，在KITTI MOD数据集上，1步空间基线的mAP显著改善了5%。
2021-07-24 cs.CV
Recurrent Glimpse-based Decoder for Detection with Transformer
The University of Sydney（悉尼大学）；JD Explore Academy（京东探索研究院）
虽然使用Transformer（DETR）的检测越来越受欢迎，但其全局注意力建模需要极长的训练期来优化并实现有希望的检测性能。替代现有的研究，主要是开发先进的功能或嵌入设计来解决训练问题，我们指出，基于感兴趣区域（ROI）的检测细化可以很容易地帮助减轻训练的难度DETR方法。在此基础上，本文提出了一种新的基于重现扫视的解码器（REGO）。特别是，REGO采用多阶段递归处理结构，以帮助DETR的注意力逐渐更准确地集中在前景物体上。在每个处理阶段中，视觉特征被提取为来自具有来自前一阶段的检测结果的放大的限界框区域的ROI的一瞥特征。然后，一个基于瞥见的解码器被引入到提供精炼的检测结果的基础上的瞥见功能和注意力建模输出的前一阶段。在实践中，REGO可以很容易地嵌入到代表性的DETR变体中，同时保持其完整的端到端训练和推理管道。特别是，REGO帮助可变形DETR在MSCOCO数据集上仅用36个训练时期就实现了44.8 AP，而第一个DETR和可变形DETR分别需要500和50个时期才能实现相当的性能。实验还表明，在50个训练时期的相同设置下，REGO一致地提高了不同DETR检测器的性能，相对增益高达7%。代码可通过https://github.com/zhechen/Deformable-DETR-REGO获得。
2022-04-12 cs.CV
Anchor DETR: Query Design for Transformer-Based Object Detection
MEGVII Technology（旷视科技）
在本文中，我们提出了一种新的查询设计的transformer为基础的目标检测。在以前的基于transformer的检测器中，对象查询是一组学习的嵌入。然而，每个学习的嵌入没有明确的物理意义，我们无法解释它将集中在哪里。由于每个对象查询的预测槽没有特定的模式，因此很难优化。换句话说，每个对象查询将不关注特定区域。为了解决这些问题，在我们的查询设计中，对象查询是基于锚点，这是广泛使用的基于CNN的检测器。因此，每个对象查询都关注锚点附近的对象。此外，我们的查询设计可以预测多个对象在一个位置，以解决困难：“一个区域，多个对象”。此外，我们还设计了一个注意变量，它可以减少内存开销，同时达到类似或更好的性能比标准的注意在DETR。由于查询设计和注意力变量，我们称之为锚DETR的检测器可以实现更好的性能，并且比DETR运行得更快，训练次数少10 $\times$。例如，当使用ResNet 50-DC 5功能训练50个epoch时，它在MSCOCO数据集上实现了44.2 AP和19 FPS。在MSCOCO基准测试上的大量实验证明了所提方法的有效性。代码可在\url{https://github.com/megvii-research/AnchorDETR}上获得。
2022-01-04 cs.CV
LW-DETR: A Transformer Replacement to YOLO for Real-Time Detection
Baidu Inc.（百度公司）；The University of Adelaide（阿德莱德大学）；Beihang University（北京航空航天大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Australian National University（澳大利亚国立大学）
提出轻量级检测transformer LW-DETR，通过堆叠ViT编码器、投影器和浅层DETR解码器，结合改进的训练技术、交错注意力与特征图聚合，在实时目标检测中超越YOLO。
2024-06-05 cs.CV
RF-DETR Object Detection vs YOLOv12 : A Study of Transformer-based and CNN-based Architectures for Single-Class and Multi-Class Greenfruit Detection in Complex Orchard Environments Under Label Ambiguity
Cornell University（康奈尔大学）；Kansas State University（堪萨斯州立大学）
针对标签模糊的复杂果园青果检测，对比RF-DETR（Transformer架构）与YOLOv12（CNN架构），在单/多类自定义数据集上评估，RF-DETR全局建模优、收敛快，YOLOv12效率高，为精准农业检测提供架构选择依据。
2025-04-17 cs.CV
Cal-DETR: Calibrated Detection Transformer
Mohamed bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学）；Information Technology University（信息技术大学）；Australian National University（澳大利亚国立大学）；Linköping University（林雪平大学）
针对检测Transformer缺乏校准研究的问题，提出Cal-DETR机制，通过不确定性量化、不确定性引导logit调制和logit混合实现训练时校准，在多场景下有效提升校准效果且维持或优化检测性能。
2023-11-06 cs.CV
DetRefiner: Model-Agnostic Detection Refinement with Feature Fusion Transformer
Hitachi, Ltd. Research and Development Group（日立株式会社研究开发集团）
DetRefiner通过融合全局和局部特征提升开放词汇检测性能，无需依赖基础模型内部特征或重新训练，有效提升多个数据集上的检测精度。
2026-05-11 cs.CV
OW-DETR: Open-world Detection Transformer
Inception Institute of Artificial Intelligence（Inception人工智能研究院）；IIT Hyderabad（印度理工学院海得拉巴分校）；Australian National University（澳大利亚国立大学）；Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Linköping University（林雪平大学）；University of Central Florida（中佛罗里达大学）
开放世界目标检测（OWOD）是一个具有挑战性的计算机视觉问题，其任务是检测一组已知的目标类别，同时识别未知目标。此外，模型必须逐步学习在下一个训练片段中变得已知的新类。与标准目标检测不同，OWOD设置对生成潜在未知对象的质量候选建议、将未知对象与背景分离以及检测各种未知对象提出了重大挑战。在这里，我们介绍了一种新的端到端的基于transformer的框架，OW-DETR，开放世界的目标检测。所提出的OW-DETR包括三个专用组件，即注意力驱动的伪标签，新颖性分类和对象评分，以明确解决上述OWOD挑战。我们的OW-DETR明确编码多尺度上下文信息，具有较少的归纳偏差，使知识转移从已知类到未知类，可以更好地区分未知对象和背景。在MS-COCO和PASCAL VOC两个基准上进行了全面的实验。广泛的烧蚀揭示了我们提出的贡献的优点。此外，我们的模型优于最近推出的OWOD方法，ORE，在MS-COCO上的未知召回方面的绝对增益范围从1.8%到3.3%。在增量目标检测的情况下，OW-DETR优于PASCAL VOC上所有设置的最新技术。我们的代码可在https://github.com/akshitac8/OW-DETR上获得。
2022-04-04 cs.CV
PM-DETR: Domain Adaptive Prompt Memory for Object Detection with Transformers
Peking University（北京大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Beihang University（北京航空航天大学）
提出分层提示域记忆（PDM）和提示记忆对齐（PMA）方法，通过注入分布相似提示并利用域特定知识对齐特征，有效提升DETR在不同数据分布下的检测性能，在三个基准上优于现有方法。
2023-07-01 cs.CV
D2Q-DETR: Decoupling and Dynamic Queries for Oriented Object Detection with Transformers
Alibaba Group（阿里巴巴集团）；Damo Academy（达摩院）
尽管有有希望的结果，但现有的定向目标检测方法通常涉及抽象地设计的规则，例如，RRoI生成，旋转NMS。在本文中，我们提出了一个面向目标检测的端到端框架，它简化了模型流水线，并获得了优越的性能。我们的框架是基于DETR的，用点预测头代替了盒回归头。点的学习更加灵活，点的分布可以反映目标旋转框的角度和大小。我们进一步提出将查询特征解耦为分类和回归特征，这显著提高了模型的精度。航拍图像通常包含数千个实例。为了更好地平衡模型精度和效率，我们提出了一种新的动态查询设计，它减少了堆叠解码器层中的对象查询的数量，而不牺牲模型性能。最后，我们重新思考现有的DETR类检测器的标签分配策略，并提出了一个有效的标签重新分配策略，以提高性能。我们将我们的方法命名为D2 Q-DETR。在最大的DOTA-v1.0和DOTA-v1.5数据集上的实验表明，D2 Q-DETR的性能优于现有的基于NMS和无NMS的目标检测方法，达到了新的水平。
2023-03-01 cs.CV
MS-DETR: Multispectral Pedestrian Detection Transformer with Loosely Coupled Fusion and Modality-Balanced Optimization
School of Computer Science, Northwestern Polytechnical University（西北工业大学计算机学院）；Research Development Institute of Northwestern Polytechnical University in Shenzhen（西北工业大学深圳研究院）
针对多光谱行人检测中的错位与模态不平衡问题，提出MS-DETR，采用松散耦合融合和实例感知模态平衡优化，在KAIST、CVC-14和LLVIP上取得优越性能。
2024-11-05 cs.CV
End-to-End Object Detection with Transformers
Facebook AI（脸书人工智能研究院）
我们提出了一种新的方法，将目标检测视为一个直接的集合预测问题。我们的方法简化了检测管道，有效地消除了对许多手工设计的组件的需要，例如非最大抑制过程或锚生成，这些组件显式地编码了我们关于任务的先验知识。新框架的主要成分，称为检测转换器或DETR，是一个基于集合的全局损失，通过二分匹配强制唯一的预测，和一个Transformer编码器-解码器架构。给定一个固定的小集合的学习对象查询，DETR的原因有关的对象和全局图像上下文的关系，直接输出并行的最终预测集。新模型在概念上很简单，不像许多其他现代探测器那样需要专门的库。DETR在具有挑战性的COCO目标检测数据集上展示了与成熟且高度优化的Faster RCNN基线相当的准确性和运行时性能。此外，DETR可以很容易地推广到以统一的方式产生全景分割。我们表明，它显着优于竞争对手的基线。训练代码和预训练模型可在https://github.com/facebookresearch/detr上获得。
2020-05-28 cs.CV
DETR++: Taming Your Multi-Scale Detection Transformer
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Google Research（谷歌研究院）
自从AlexNet在ImageNet分类中取得成功以来，卷积神经网络（CNN）一直主导着检测领域[12]。随着自然语言处理中Transformers [27]的全面改革，Carion等人。[2]引入了基于transformer的检测方法，即，DETR.然而，由于Transformer中的自注意力机制的二次复杂性，DETR永远不能结合如在现有的基于CNN的检测器中执行的多尺度特征，从而导致小目标检测中的较差结果。为了缓解这个问题并进一步提高DETR的性能，在这项工作中，我们研究了不同的方法来结合多尺度特征，并发现双向特征金字塔（BiFPN）与DETR在进一步提高检测精度方面效果最佳。有了这一发现，我们提出了DETR++，这是一种新的架构，在MS COCO 2017上将检测结果提高了1.9% AP，在RICO图标检测上提高了11.5% AP，在RICO布局提取上提高了9.1% AP。
2022-06-07 cs.CV cs.LG
AO2-DETR: Arbitrary-Oriented Object Detection Transformer
Peking University（北京大学）；ETH Zurich（苏黎世联邦理工学院）；South China University of Technology（华南理工大学）
面向目标的目标检测（AOOD）是一项具有挑战性的任务，可以在野外检测具有任意方向和杂乱排列的目标。现有的方法主要是基于基于锚的盒子或密集点，这依赖于复杂的手工设计的处理步骤和归纳偏差，如锚的生成，转换和非最大抑制推理。最近，新兴的基于变换器的方法将目标检测视为直接集合预测问题，其有效地消除了对手工设计的组件和电感偏置的需要。在本文中，我们提出了一个面向对象的目标检测Transformer框架，称为AO 2-DETR，它包括三个专用组件。更准确地说，一个定向的建议生成机制，提出了显式地产生定向的建议，这提供了更好的位置先验池功能调制交叉注意的Transformer解码器。提出了一种面向自适应的建议细化模块，用于提取旋转不变的区域特征，消除区域特征与目标之间的错位。并使用旋转感知的集合匹配损失来确保直接集合预测的一对一匹配过程，而没有重复预测。我们的方法大大简化了整个管道，并提出了一个新的AOOD范例。在几个具有挑战性的数据集上的综合实验表明，我们的方法在AOOD任务上取得了优异的性能。
2022-05-25 cs.CV
Bridging Object Detection and Segmentation with Polygon Detection Transformers
Shanghai University（上海大学）
Poly-DETR通过极坐标表示将实例分割转化为稀疏顶点回归，实现更轻量的高分辨率分割，优于现有极坐标方法并在特定领域表现更优。
2026-08-11 cs.CV
MV-DETR: Multi-modality indoor object detection by Multi-View DEtecton TRansformers
Zhejiang University（浙江大学）
针对RGBD深度数据预训练不足、3D视觉纹理难提取等问题，提出MV-DETR流水线，设计含视觉纹理与几何编码器的轻量VG模块，在ScanNetV2基准上取得78%AP的新SOTA。
2024-08-13 cs.CV
Salience DETR: Enhancing Detection Transformer with Hierarchical Salience Filtering Refinement
Zhejiang University（浙江大学）
提出Salience DETR，通过分层显著性过滤精炼和查询精炼模块解决DETR两阶段选择中的尺度偏差与语义不一致问题，在多个数据集上显著提升检测性能并降低计算量。
2024-03-24 cs.CV
Rethinking Transformer-based Set Prediction for Object Detection
Carnegie Mellon University（卡内基梅隆大学）
DETR是最近提出的一种基于transformer的方法，它将目标检测视为一个集合预测问题，并实现了最先进的性能，但需要额外的训练时间来收敛。在本文中，我们调查的原因，优化困难的训练DETR。我们的研究揭示了导致DETR收敛缓慢的几个因素，主要是匈牙利损失和Transformer交叉注意力机制的问题。为了克服这些问题，我们提出了两种解决方案，即TSP-FCOS（基于变换的集合预测与FCOS）和TSP-RCNN（基于变换的集合预测与RCNN）。实验结果表明，该方法不仅收敛速度比原来的DETR，但也显着优于DETR和其他基线的检测精度。
2021-10-12 cs.CV cs.LG
Object Detection with Transformers: A Review
Technical University of Kaiserslautern（凯泽斯劳滕工业大学）；German Research Institute for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））
本文综述 DETR 及其 21 项近期改进，从骨干网络、查询设计和注意力机制等方面比较各类检测 Transformer 的架构与性能。
2023-07-10 cs.CV
DQ-DETR: Dual Query Detection Transformer for Phrase Extraction and Grounding
IDEA（粤港澳大湾区数字经济研究院）
在本文中，我们研究了视觉接地的问题，同时考虑短语提取和接地（PEG）。与之前的测试中已知短语设置相比，PEG需要一个模型来同时从文本中提取短语并从图像中定位对象，这在实际应用中是一个更实用的设置。由于短语提取可以被看作是一个$1$ D文本分割问题，我们将PEG描述为一个双重检测问题，并提出了一种新的DQ-DETR模型，该模型引入双重查询来探测图像和文本的不同特征，用于对象预测和短语掩码预测。每对双重查询被设计为具有共享的位置部分但具有不同的内容部分。这种设计有效地消除了图像和文本之间的模态对齐的困难（与单个查询设计相比），并且使Transformer解码器能够利用短语掩码引导的注意力来提高性能。为了评估PEG的性能，我们还提出了一个新的度量CMAP（交叉模态平均精度），类似于AP度量在目标检测。新的度量克服了在短语接地的多框到一个短语的情况下Recall@1的歧义。因此，我们的PEG预训练的DQ-DETR在所有具有ResNet-101主干的视觉基础基准上建立了新的最先进的结果。例如，它在RefCOCO testA和testB上使用ResNet-101主干实现了$91.04\%$和$83.51\%$的召回率。代码将在\url{https://github.com/IDEA-Research/DQ-DETR}上提供。
2022-11-30 cs.CV
LiDAR MOT-DETR: A LiDAR-based Two-Stage Transformer for 3D Multiple Object Tracking
University of Wuppertal（伍珀塔尔大学）；Aptiv Services Deutschland GmbH（安波福服务德国有限公司）；Osnabrück University（奥斯纳布吕克大学）
针对LiDAR点云多目标跟踪的挑战，提出一种基于DETR的两阶段Transformer（平滑器与跟踪器），在nuScenes和KITTI上以在线/离线模式训练，在线模式aMOTA达0.724，优于基线。
2025-09-24 cs.CV
Fast Convergence of DETR with Spatially Modulated Co-Attention
The Chinese University of Hong Kong（香港中文大学）；SenseTime Research（商汤科技研究院）；Peking University（北京大学）
最近提出的检测Transformer（DETR）模型成功地将Transformer应用于对象检测，并实现了与两阶段目标检测框架（例如Faster-RCNN）相当的性能。然而，DETR的缺点是收敛速度慢。从头开始训练DETR \cite{carion2020end}需要500个epoch才能达到高精度。为了加快其收敛速度，我们提出了一个简单而有效的方案，即空间调制的协同注意力（SMCA）机制，以改善DETR框架。SMCA的核心思想是在DETR中通过将共同注意响应约束为在初始估计的限界框位置附近较高来进行回归感知的共同注意。我们提出的SMCA提高了DETR的收敛速度，取代原来的共同注意力机制在解码器中，而保持其他操作在DETR不变。此外，通过将多头和尺度选择注意力设计集成到SMCA中，我们完全成熟的SMCA可以实现比具有扩展的基于卷积的主干的DETR更好的性能（108个epochs时为45.6 mAP，500个epochs时为43.3 mAP）。我们对COCO数据集进行了广泛的消融研究，以验证拟议SMCA的有效性。
2021-01-19 cs.CV
