DAB-DETR: Dynamic Anchor Boxes are Better Queries for DETR
Tsinghua University（清华大学）；International Digital Economy Academy (IDEA)（国际数字经济研究院（IDEA））；Hong Kong University of Science and Technology（香港科技大学）；Peng Cheng Laboratory（鹏城实验室）
Shilong Liu, Feng Li, Hao Zhang, Xiao Yang, Xianbiao Qi, Hang Su, Jun Zhu, Lei Zhang
We present in this paper a novel query formulation using dynamic anchor boxes for DETR (DEtection TRansformer) and offer a deeper understanding of the role of queries in DETR. This new formulation directly uses box coordinates as queries in Transformer decoders and dynamically updates them layer-by-layer. Using box coordinates not only helps using explicit positional priors to improve the query-to-feature similarity and eliminate the slow training convergence issue in DETR, but also allows us to modulate the positional attention map using the box width and height information. Such a design makes it clear that queries in DETR can be implemented as performing soft ROI pooling layer-by-layer in a cascade manner. As a result, it leads to the best performance on MS-COCO benchmark among the DETR-like detection models under the same setting, e.g., AP 45.7\% using ResNet50-DC5 as backbone trained in 50 epochs. We also conducted extensive experiments to confirm our analysis and verify the effectiveness of our methods. Code is available at \url{https://github.com/SlongLiu/DAB-DETR}.
DINO: DETR with Improved DeNoising Anchor Boxes for End-to-End Object Detection
International Digital Economy Academy (IDEA)（国际数字经济研究院（IDEA））；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）；Tsinghua University（清华大学）
我们介绍了DINO（\textbf{D} ETR with \textbf{I} improved de \textbf{N} oising anch \textbf{O} r boxes），一种最先进的端到端目标检测器。%，在本文中。DINO通过使用对比的去噪训练方法、锚初始化的混合查询选择方法和框预测的两次前瞻方案，在性能和效率上优于以前的DETR类模型。DINO在COCO上实现了$12$ epoch中的$49.4$ AP和$24$ epoch中的$51.3$ AP，具有ResNet-50骨干和多尺度功能，与之前最好的DETR模型DN-DETR相比，分别对$\textbf{+6.0}$ \textbf{AP}和$\textbf{+2.7}$ \textbf{AP}进行了显著改进。DINO在模型大小和数据大小方面都具有良好的扩展性。在使用SwinL主干对Objects 365数据集进行预训练后，DINO在COCO \texttt{val2017}（$\textbf{63.2}$ \textbf{AP}）和\texttt{test-dev}（\textbf{$\textbf{63.3}$AP}）上都获得了最佳结果。与排行榜上的其他模型相比，DINO显著降低了其模型大小和预训练数据大小，同时获得了更好的结果。我们的代码将在\url{https://github.com/IDEACVR…
The Chinese University of Hong Kong（香港中文大学）；Centre for Perceptual and Interactive Intelligence（感知与交互智能中心）；Shanghai University（上海大学）；Sensetime Research（商汤科技研究院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Beihang University（北京航空航天大学）
FeatAug-DETR: Enriching One-to-Many Matching for DETRs with Feature Augmentation
Chinese University of Hong Kong（香港中文大学）；Shanghai AI Laboratory（上海人工智能实验室）；Beihang University（北京航空航天大学）；Tsinghua University（清华大学）
一对一匹配是类DETR目标检测框架中的一个关键设计。它使DETR能够执行端到端检测。但也面临着缺乏正样本监督、收敛速度慢等挑战。最近的一些工作提出了一对多匹配机制，以加速训练和提高检测性能。我们重新审视这些方法，并在一个统一的格式，增加对象查询模型。在本文中，我们提出了两种方法，实现一对多的匹配，从不同的角度增强图像或图像特征。第一种方法是通过数据增强的一对多匹配（表示为DataAug-DETR）。它对图像进行空间变换，并在同一批训练中包含每个图像的多个增强版本。这样一个简单的增强策略已经实现了一对多的匹配，并令人惊讶地提高了DETR的性能。第二种方法是通过特征增强的一对多匹配（表示为特征增强-DETR）。与DataAug-DETR不同，它增加了图像特征而不是原始图像，并在同一批中包含多个增强特征，以实现一对多匹配。DETR显著加速了DETR训练，提高了检测性能，同时保持推理速度不变。我们进行了广泛的实验，以评估所提出的方法的有效性DETR的变种，包括DAB-DETR，变形DETR，和H-变形DETR。在没有额外的训练数据的情况下，XNUMX Aug-DETR将Deformable-DETR的训练收敛周期缩短到24个epoch，并在以Swin-L为骨干的COCO val 2017集上实现了58.3 AP。
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Baidu（百度）；The University of Hong Kong（香港大学）
DN-DETR: Accelerate DETR Training by Introducing Query DeNoising
The Hong Kong University of Science and Technology（香港科技大学）；Tsinghua University（清华大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；IDEA（IDEA研究院）
RiO-DETR: DETR for Real-time Oriented Object Detection
University of Science and Technology of China（中国科学技术大学）；Huawei Technologies Co., Ltd.（华为技术有限公司）；Tsinghua University（清华大学）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合国家科学中心人工智能研究院）
Gaze-DETR: Top-Down Guidance Through Priority Maps for Infrared Weak-Small UAV Detection with DETR
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；ShanghaiTech University（上海科技大学）；Beijing Institute of Basic Medical Sciences（北京基础医学研究所）
Bridging the Performance Gap between DETR and R-CNN for Graphical Object Detection in Document Images
Technical University of Kaiserslautern（凯泽斯劳滕工业大学）；German Research Institute for Artificial Intelligence (DFKI)（德国人工智能研究中心）；Luleå University of Technology（吕勒奥理工大学）
AO-DETR: Anti-Overlapping DETR for X-Ray Prohibited Items Detection
College of Information Science and Engineering, Northeastern University（东北大学信息科学与工程学院）；Foshan Graduate School of Innovation, Northeastern University（东北大学佛山创新研究生院）
DETR3D: 3D Object Detection from Multi-view Images via 3D-to-2D Queries
Massachusetts Institute of Technology（麻省理工学院）；Toyota Research Institute（丰田研究所）；Carnegie Mellon University（卡内基梅隆大学）；Li Auto（理想汽车）；Tsinghua University（清华大学）
What Are Expected Queries in End-to-End Object Detection?
Shanghai AI Laboratory（上海人工智能实验室）；SenseTime Research（商汤科技研究院）
端到端的目标检测在DETR出现后得到了迅速的发展。DETR使用一组稀疏查询来取代大多数传统检测器中的密集候选框。相比之下，稀疏查询不能保证高召回密集先验。然而，在当前的框架中，使查询密集并不是微不足道的。它不仅计算量大，而且优化困难。由于稀疏查询和密集查询都是不完美的，那么\emph{what are expected queries in end-to-end object detection}？本文表明，预期的查询应该是密集的独特的查询（DDQ）。具体地说，我们引入密集先验的框架生成密集查询。重复查询移除预处理应用于这些查询，使得它们彼此可区分。然后迭代地处理密集的不同查询以获得最终的稀疏输出。我们表明，DDQ是更强大，更强大，收敛速度更快。它在MS COCO检测数据集上仅用12个时期获得44.5 AP。DDQ也是鲁棒的，因为它在各种数据集上的目标检测和实例分割任务上都优于以前的方法。DDQ融合了传统的密集先验和最近的端到端检测器的优点。我们希望它可以作为一个新的基线，并激励研究人员重新审视传统方法和端到端检测器之间的互补性。源代码可在\url{https://github.com/jshilong/DDQ}上公开获得。
Mask DINO: Towards A Unified Transformer-based Framework for Object Detection and Segmentation
The Hong Kong University of Science and Technology（香港科技大学）；Tsinghua University（清华大学）；International Digital Economy Academy (IDEA)（国际数字经济研究院）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
运动目标检测（MOD）是自动驾驶流水线的关键任务。MOD通常通过2流卷积架构来处理，该架构包含外观和运动提示，而不考虑空间或运动特征之间的相互关系。在本文中，我们解决这个问题，通过多头注意力机制，在空间和运动流。我们提出MODETR;移动目标检测变换器网络，由用于空间和运动模态的多流Transformer编码器和使用集合预测产生移动对象边界框的对象Transformer解码器组成。整个架构使用二分损失进行端到端训练。将运动线索与Transformer模型的几种方法进行了探讨，包括双流RGB和光流（OF）的方法，和多流架构，利用序列信息。为了结合时间信息，我们提出了一种新的时间位置编码（TPE）的方法来扩展空间位置编码（SPE）在DETR。为此，我们探索了两种架构选择，在速度和时间之间进行平衡。为了评估我们的网络，我们在KITTI MOD [6]数据集上执行MOD任务。结果显示，MOD的Transformer网络的mAP显著高于现有技术方法的5%。此外，所提出的TPE编码提供了超过SPE基线的10%的mAP改进。
DS-Det: Single-Query Paradigm and Attention Disentangled Learning for Flexible Object Detection
RITAS, Southern University of Science and Technology（南方科技大学RITAS）；Pengcheng Laboratory（鹏城实验室）；Pazhou Laboratory (Huangpu)（黄埔实验室）；Department of Computer Science and Engineering, Southern University of Science and Technology（南方科技大学计算机科学与工程系）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
