Boosting Camouflaged Object Detection with Dual-Task Interactive Transformer
隐藏目标检测的目的是发现隐藏在周围环境中的隐藏目标。现有的方法遵循生物启发的框架,首先定位对象,然后细化边界。我们认为,发现的对象依赖于循环的对象和边界的搜索。循环的处理让人类感到疲惫和无奈,但这正是具有全局搜索能力的Transformer的优势所在。因此,提出了一种双任务交互式Transformer来检测被遮挡物体的精确位置及其详细边界。将边界特征作为查询来提高遮挡目标检测的准确性,同时将目标特征作为查询来提高边界检测的准确性。通过多头自注意,使遮挡目标检测和边界检测充分互动。此外,为了获得初始目标特征和边界特征,采用基于变换的骨干提取前景和背景。前景就是物体,而前景减去背景被认为是边界。这里,边界特征可以从前景和背景的模糊边界区域获得。在对象、背景和边界真实值的监督下,该模型在公共数据集上实现了最先进的性能。https://github.com/liuzywen/COD
2022-05-21 cs.CV
Towards Light Weight Object Detection System
Qualcomm Technologies, Inc.(高通技术公司)
Transformers是分类任务的常用选择,也是目标检测任务的骨干。然而,它们的高延迟在它们适应轻量级目标检测系统方面带来了挑战。我们提出了一个近似的自我注意层中使用的Transformer架构。这种近似减少了分类系统的延迟,同时在准确性方面的损失最小。我们还提出了一种方法,使用一个Transformer编码器层的多分辨率特征融合。这种特征融合提高了现有技术的轻量级目标检测系统的准确性,而不显著增加参数的数量。最后,我们提供了一个抽象的Transformer架构称为广义Transformer(gFormer),可以指导设计新颖的变压器类架构。
2022-10-08 cs.CV
Foreground Guidance and Multi-Layer Feature Fusion for Unsupervised Object Discovery with Transformers
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所)
无监督对象发现(UOD)最近通过采用预训练的Transformer特征取得了令人鼓舞的进展。然而,基于Transformers的当前方法主要集中于设计定位头(例如,种子选择-扩展和标准化切割),而忽略了改进Transformer特性的重要性。在这项工作中,我们从特征增强的角度处理UOD任务,并提出FOREground指导和多层特征融合的无监督对象发现,称为FORMULA。首先,我们提出了一种前景指导策略,使用现成的UOD检测器来突出特征图上的前景区域,然后以迭代的方式细化对象位置。此外,为了解决目标检测中的尺度变化问题,我们设计了一个多层特征融合模块,将不同尺度下的目标特征进行融合。在VOC 07、VOC 12和COCO 20 k上的实验表明,所提出的FORMULA算法在无监督对象发现方面取得了新的成果。该代码将在https://github.com/VDIGPKU/FORMULA上发布。
2022-10-24 cs.CV
TransGOP: Transformer-Based Gaze Object Prediction
Xi’an University of Architecture and Technology(西安建筑科技大学);Beijing Institute of Technology(北京理工大学);University of Science and Technology of China(中国科学技术大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文提出TransGOP,一种基于Transformer的端到端注视目标预测方法,通过目标检测器与注视自编码器结合、目标到注视交叉注意力和Gaze Box损失,在GOO-Synth和GOO-Real数据集上取得最先进性能。
2024-02-21 cs.CV
Hierarchical Neural Collapse Detection Transformer for Class Incremental Object Detection
针对类别增量目标检测中的灾难性遗忘、性能受限与推理缓慢问题,提出Hier-DETR框架,结合Neural Collapse和标签层级关系以兼顾效率与检测性能。
2025-06-10 cs.CV
End-to-End Human Object Interaction Detection with HOI Transformer
MEGVII Technology(旷视科技)
我们提出了HOI Transformer来解决端到端方式的人类对象交互(HOI)检测。现有的方法要么将HOI任务解耦为目标检测和交互分类的独立阶段,要么引入代理交互问题。相比之下,我们的方法,名为HOI Transformer,简化了HOI管道,消除了许多手工设计的组件的需要。HOI Transformer从全局图像上下文中推理对象和人的关系,并直接并行预测HOI实例。引入五元组匹配损失以统一的方式强制HOI预测。我们的方法在概念上要简单得多,并证明了提高的准确性。HOI Transformer在HICO-DET上实现了$26.61\% $ $ AP $,在V-COCO上实现了$52.9\%$ $AP_{role}$,超越了以前的方法,优点是简单得多。我们希望我们的方法将作为一个简单而有效的替代HOI任务。代码可在https://github.com/bbepoch/HoiTransformer上获得。
2021-03-08 cs.CV
MOST: Multiple Object localization with Self-supervised Transformers for object discovery
Meta;University of Maryland, College Park(马里兰大学帕克分校);Johns Hopkins University(约翰斯·霍普金斯大学)
本研究提出基于自监督Transformer的多目标定位方法MOST,通过盒计数法分析特征相似性图识别前景token并聚类生成边界框,可单图定位多目标,在多个基准上超越SOTA,还可用于目标检测器自监督预训练提升性能。
2023-08-26 cs.CV
GRiT: A Generative Region-to-text Transformer for Object Understanding
Microsoft(微软);State University of New York at Buffalo(纽约州立大学布法罗分校)
本文提出了一种用于对象理解的生成式区域到文本的转换器(GRiT)Transformer。GRiT的精神是将对象理解公式化为<region,text>对,其中region定位对象,text描述对象。例如,目标检测中的文本表示类名,而密集字幕中的文本则表示描述性句子。具体来说,GRiT包括一个视觉编码器来提取图像特征,一个前景对象提取器来定位对象,和一个文本解码器来生成开集对象描述。在相同的模型架构下,GRiT不仅可以通过简单的名词来理解对象,还可以通过包含对象属性或动作的丰富描述性语句来理解对象。实验上,我们将GRiT应用于目标检测和密集字幕任务。GRiT在COCO 2017 test-dev上实现了60.4 AP的目标检测,在Visual Genome上实现了15.5 mAP的密集字幕。代码可在https://github.com/JialianW/GRiT上获得
2022-12-01 cs.CV
Prompt-Guided Transformers for End-to-End Open-Vocabulary Object Detection
AWS AI Labs(AWS人工智能实验室);NAVER Cloud(NAVER云)
OVD是一个高效的开放词汇表目标检测框架,它利用CLIP中的类嵌入作为提示,引导Transformer解码器检测基类和新类中的对象。此外,我们新颖的基于RoI的掩蔽注意力和RoI修剪技术有助于利用基于视觉Transformer的CLIP的zero-shot分类能力,从而以最小的计算成本提高检测性能。我们在OV-COCO和OVLVIS数据集上的实验表明,与第一个端到端开放词汇检测方法(OV-DETR)相比,Akt-OVD实现了令人印象深刻的21.2倍的推理速度,同时还实现了比在类似推理时间范围内运行的四个基于两阶段的方法更高的AP。代码将很快提供。
2023-03-25 cs.CV
Re-Attention Transformer for Weakly Supervised Object Localization
Zhejiang Lab(之江实验室);Zhejiang University(浙江大学)
弱监督目标定位是一项具有挑战性的任务,其目的是定位具有粗糙注释的目标,如图像类别。现有的深度网络方法主要基于类激活图,其侧重于突出有区别的局部区域而忽略整个对象。此外,新兴的基于transformer的技术不断强调背景,这阻碍了识别完整对象的能力。为了解决这些问题,我们提出了一个重新注意力机制,称为令牌细化Transformer(TRT),捕捉对象级的语义,以指导本地化。具体而言,TRT引入了一个新的模块,称为令牌优先级评分模块(TPSM),以抑制背景噪声的影响,同时专注于目标对象。然后,我们将类激活图作为语义感知输入,以限制对目标对象的注意力图。在两个基准上进行的大量实验显示了我们所提出的方法对现有图像类别注释方法的优越性。源代码在\url{https://github.com/su-hui-zz/ReAttentionTransformer}中提供。
2023-02-26 cs.CV
SEFormer: Structure Embedding Transformer for 3D Object Detection
Tsinghua University(清华大学);Australian National University(澳大利亚国立大学);National University of Singapore(新加坡国立大学)
在不规则稀疏的LiDAR点云数据中有效地保留和编码目标的结构特征是点云数据上三维目标检测的关键挑战。最近,Transformer在许多2D甚至3D视觉任务中表现出了良好的性能。与固定和刚性卷积核相比,Transformer中的自注意力机制可以自适应地排除不相关或噪声点,因此适用于保持不规则LiDAR点云的局部空间结构。然而,Transformer仅基于自我注意力机制对点要素执行简单的求和,并且所有点共享相同的值变换。这种各向同性操作缺乏捕获对于3D目标检测重要的方向-距离-定向的局部结构的能力。本文提出了一种结构嵌入transFormer(SEFormer),它既能像传统的Transformer一样保持局部结构,又能对局部结构进行编码。与传统Transformer中的自注意力机制相比,SEFormer基于到查询点的相对方向和距离来学习值点的不同特征转换。然后,我们提出了一个SEFormer为基础的网络高性能的三维目标检测。大量的实验表明,该架构可以在Waymo Open Dataset上实现SOTA结果,Waymo Open Dataset是自动驾驶领域最大的3D检测基准。具体而言,SEFormer实现了79.02%的mAP,比现有工程高出1.2%。我们会发布密码的。
2022-09-05 cs.CV
LCTR: On Awakening the Local Continuity of Transformer for Weakly Supervised Object Localization
Xiamen University(厦门大学);Tencent Youtu Lab(腾讯优图实验室);CATL(宁德时代)
弱监督对象定位(WSOL)的目的是学习对象定位器只使用图像级标签。基于卷积神经网络(CNN)的技术通常导致突出对象的最有区别的部分,而忽略整个对象范围。最近,Transformer架构已经被部署到WSOL中,以捕获具有自注意力机制和多层感知器结构的远程特征依赖。然而,Transformers缺乏CNN固有的局部感应偏置,因此可能会恶化WSOL中的局部特征细节。在本文中,我们提出了一种新的框架上建立的Transformer,称为LCTR(本地连续性transansformer),其目标是在增强本地感知能力的全球功能之间的远程特征依赖。为此,我们提出了一个关系补丁注意模块(RPAM),它认为跨补丁信息的全球基础上。我们进一步设计了一个线索挖掘模块(CDM),它利用局部特征来指导模型的学习趋势,以突出弱的局部反应。最后,在CUB-200-2011和ILSVRC两个数据集上进行了综合实验,验证了该方法的有效性。
2021-12-10 cs.CV
TriTransNet: RGB-D Salient Object Detection with a Triplet Transformer Embedding Network
Anhui University(安徽大学);Hefei University(合肥学院)
显著目标检测是一种像素级的密集预测任务,能够突出场景中的显著目标。最近U-Net框架被广泛使用,连续卷积和池化操作生成相互补充的多层特征。鉴于高层特征对性能的贡献更大,我们提出了一个三重Transformer嵌入模块,通过学习跨层的长程依赖关系来增强它们。它是第一个使用三个Transformer编码器共享权重,以增强多层次的功能。通过进一步设计尺度调整模块处理输入,设计三流解码器处理输出,并将深度特征与颜色特征进行多模态融合,提出的三重Transformer嵌入网络(TriTransNet)在RGB-D显著目标检测中达到了最新的性能,将性能提升到了一个新的水平。实验结果证明了所提出的模块的有效性和TriTransNet的竞争力。
2021-08-09 cs.CV
SOTR: Segmenting Objects with Transformers
China Agricultural University(中国农业大学);University of California, Berkeley(加州大学伯克利分校)
最新的基于transformer的模型在视觉任务上表现出令人印象深刻的性能,甚至比卷积神经网络(CNN)更好。在这项工作中,我们提出了一种新的,灵活的,有效的基于变换的模型,高质量的实例分割。所提出的方法,用Transformers分割对象(SOTR),简化了分割管道,建立在附加有两个并行子任务的替代CNN骨干上:(1)通过Transformer预测每个实例类别和(2)使用多级上采样模块动态生成分割掩码。SOTR分别通过特征金字塔网络(FPN)和双Transformer有效地提取低层特征表示和捕获长距离上下文依赖。同时,与原始的Transformer相比,所提出的双Transformer是时间和资源有效的,因为只有一行和一列的注意参与编码像素。此外,SOTR易于与各种CNN骨干和Transformer模型变体结合,从而在分割精度和训练收敛性方面做出相当大的改进。大量的实验表明,我们的SOTR在MS COCO数据集上表现良好,并超过了最先进的实例分割方法。我们希望我们简单但强大的框架可以作为实例级识别的首选基线。我们的代码可在https://github.com/easton-cau/SOTR上获得。
2021-08-17 cs.CV
Category-Aware Transformer Network for Better Human-Object Interaction Detection
Huazhong University of Science and Technology(华中科技大学)
人-物交互(HOI)检测,其目的是定位的人和相关的对象,同时认识到他们的互动,是至关重要的理解静止图像。最近,基于变压器的模型显着推进了HOI检测的进展。然而,这些模型的能力还没有得到充分的探索,因为模型的对象查询总是简单地初始化为零,这将影响性能。在本文中,我们试图研究的问题,促进基于transformer的HOI检测器初始化的对象查询与类别感知的语义信息。为此,我们创新性地提出了类别感知Transformer网络(CATN)。具体地,对象查询将经由由外部目标检测模型表示的类别先验来初始化,以产生更好的性能。此外,此类类别先验还可用于通过注意力机制增强特征的表示能力。我们首先通过Oracle实验验证了我们的想法,通过使用groundtruth类别信息初始化对象查询。然后进行了大量的实验,表明配备了我们的想法的HOI检测模型的性能大大优于基线,达到了一个新的国家的最先进的结果。
2022-05-09 cs.CV
CenterFormer: Center-based Transformer for 3D Object Detection
University of Central Florida(中佛罗里达大学);TuSimple(图森未来)
基于查询的Transformer在许多图像域任务中显示出巨大的潜力,但由于点云数据的巨大规模,很少被考虑用于基于LiDAR的3D目标检测。在本文中,我们提出了CenterFormer,一个基于中心的Transformer网络的三维目标检测。CenterFormer首先使用中心热图在标准的基于体素的点云编码器上选择中心候选。然后使用中心候选的特征作为查询嵌入在Transformer中。为了进一步从多个帧中聚合特征,我们设计了一种通过交叉注意融合特征的方法。最后,将添加回归标头以预测输出中心特征表达上的限界框。我们的设计降低了Transformer结构的收敛难度和计算复杂性。结果表明,无锚目标检测网络的强基线有显着改善。CenterFormer在Waymo Open Dataset上的单个模型上实现了最先进的性能,在验证集上的mAPH为73.7%,在测试集上的mAPH为75.6%,显著优于之前发布的所有CNN和基于transformer的方法。我们的代码可在https://github.com/TuSimple/centerformer上公开获取
2022-09-12 cs.CV
End-to-End Object Detection with Adaptive Clustering Transformer
Peking University(北京大学);Shanghai AI Laboratory(上海人工智能实验室);CUHK-SenseTime Joint Laboratory(香港中文大学-商汤科技联合实验室);The Chinese University of Hong Kong(香港中文大学)
使用Transformer的端到端对象检测(DETR)建议使用Transformer执行对象检测,并实现与Faster-RCNN等两阶段目标检测相当的性能。然而,由于高分辨率的空间输入,DETR需要大量的计算资源来进行训练和推理。在本文中,一个新的变种的Transformer命名为自适应聚类Transformer(ACT)已被提出,以减少计算成本的高分辨率输入。ACT算法利用局部敏感哈希算法对查询特征进行自适应聚类,并利用原型-关键字交互来近似查询-关键字交互。ACT可以将自注意内部的二次O(N2)复杂度降低为O(NK),其中K是每层中原型的数量。ACT可以是一个插入式模块,取代原来的自我注意模块,无需任何培训。ACT在精度和计算成本(FLOPs)之间实现了良好的平衡。该代码可作为补充,以方便实验复制和验证。代码在\url{https://github.com/gaopengcuhk/SMCA-DETR/}发布
2021-10-18 cs.CV
SwinNet: Swin Transformer drives edge-aware RGB-D and RGB-T salient object detection
Anhui University(安徽大学)
卷积神经网络(CNN)擅长于提取特定感受野内的纹理特征,而Transformers则可以对全局的长程依赖特征进行建模。Swin Transformer吸收了Transformer的优点和CNN的优点,表现出较强的特征表示能力。在此基础上,我们提出了一种用于RGB-D和RGB-T显着目标检测的跨模态融合模型SwinNet。该方法以Swin Transformer为驱动,提取层次特征;以注意力机制为辅助,弥合两种模态之间的鸿沟;以边缘信息为引导,锐化显著对象的轮廓。具体而言,两码流Swin Transformer编码器首先提取多模态特征,然后提出空间对齐和通道重校准模块,优化层内跨模态特征。为了澄清模糊边界,边缘引导解码器在边缘特征的指导下实现跨模态融合。该模型在RGB-D和RGB-T数据集上的表现优于最先进的模型,表明它提供了对跨模态互补任务的更多见解。
2022-04-12 cs.CV
End-to-End Video Object Detection with Spatial-Temporal Transformers
Shanghai Jiao Tong University(上海交通大学);Qingyuan Research Institute, SJTU(上海交通大学清源研究院);Peking University(北京大学);Sensetime Research(商汤科技研究院);UCLA(加州大学洛杉矶分校)
最近,DETR和可变形DETR已经被提出来消除在目标检测中对许多手工设计的组件的需要,同时展示了与先前复杂的手工制作的检测器一样的良好性能。然而,它们在视频目标检测(VOD)上的性能还没有得到很好的研究。在本文中,我们提出了transVOD,一个端到端的视频目标检测模型的基础上的时空Transformer架构。本文的目标是简化VOD的流水线,有效地消除对许多手工制作的组件的需求,例如,光流,递归神经网络,关系网络。此外,得益于DETR中的对象查询设计,我们的方法不需要复杂的后处理方法,如Seq-NMS或Tubelet重新评分,保持管道简单和干净。特别是,我们提出了时间Transformer来聚合空间对象查询和每个帧的特征记忆。我们的时间Transformer由三个组件组成:时间可变形Transformer编码器(TDTE)编码的多帧空间细节,时间查询编码器(TQE)融合对象查询,和时间可变形Transformer解码器获得当前帧检测结果。这些设计在ImageNet VID数据集上显著提高了强基线可变形DETR(3%-4% mAP)。TransVOD在ImageNet VID的基准测试中产生了相当的结果性能。我们希望我们的transVOD可以提供一个新的视角,视频目标检测。代码将在https://github.com/SJTU-LuHe/TransVOD上公开。
2021-05-23 cs.CV
Learning RoI Transformer for Detecting Oriented Objects in Aerial Images
Wuhan University(武汉大学)
由于鸟瞰视角、高度复杂的背景和物体的多变外观,航空图像中的目标检测是计算机视觉中一个活跃而又具有挑战性的任务。特别是当检测空间图像中密集堆积的对象时,依赖于用于普通目标检测的水平建议的方法经常在感兴趣区域(ROI)和对象之间引入失配。这导致最终对象分类置信度和定位精度之间的常见不对准。虽然旋转锚已被用来解决这个问题,他们的设计往往成倍的锚的数量和显着增加的计算复杂性。在本文中,我们提出了一个ROI Transformer来解决这些问题。更准确地说,为了提高区域建议的质量,我们首先设计了一个旋转的ROI(RRoI)学习器,将水平感兴趣区域(HRoI)转换为旋转感兴趣区域(RRoI)。基于RRoI,我们提出了一个旋转位置敏感的RoI对齐(RPS-RoI-Align)模块,从它们中提取旋转不变的特征,以促进后续的分类和回归。我们的RoI Transformer重量轻,可以轻松嵌入探测器中,用于定向目标检测。RoI Transformer的简单实现在两个常见且具有挑战性的航空数据集上实现了最先进的性能,即,DOTA和HRSC2016,对检测速度的降低可以忽略。当定向边界框注释可用时,我们的RoI Transformer超过了可变形的位置敏感RoI池。大量的实验也验证了我们的ROI Transformer的灵活性和有效性。结果表明,它可以很容易地与其他检测器结构集成,并显着提高性能。
2018-12-01 cs.CV
Feature Shrinkage Pyramid for Camouflaged Object Detection with Transformers
Sichuan Changhong Electric Co., Ltd.(四川长虹电器股份有限公司);UESTC(电子科技大学);University of Glasgow(格拉斯哥大学);G42(G42公司);ETH Zurich(苏黎世联邦理工学院);CCST, NUAA(南京航空航天大学计算机科学与技术学院);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
视觉Transformer最近在视频目标检测中显示出强大的全局上下文建模能力。然而,它们遭受两个主要的限制:不太有效的局部建模和解码器中的特征聚合不足,这不利于从不可区分的背景中探索微妙线索的隐藏目标检测。为了解决这些问题,在本文中,我们提出了一种新的基于transformer的特征收缩金字塔网络(FSPNet),其目的是分层解码局部增强的相邻Transformer功能,通过渐进收缩的隐藏目标检测。具体来说,我们提出了一个非本地令牌增强模块(NL-TEM),采用非本地机制来交互相邻的令牌,并探索令牌内基于图的高阶关系,以增强Transformers的本地表示。此外,我们设计了一个特征收缩解码器(FSD)与相邻的交互模块(AIM),通过逐层收缩金字塔逐步聚合相邻的Transformer特征,以尽可能多地积累不可感知但有效的线索,用于对象信息解码。大量的定量和定性实验表明,该模型显着优于现有的24个竞争对手在三个具有挑战性的COD基准数据集下,六个广泛使用的评价指标。我们的代码可在https://github.com/ZhouHuang23/FSPNet上公开获取。
2023-03-26 cs.CV
Adversarial Attention Perturbations for Large Object Detection Transformers
Georgia Institute of Technology(佐治亚理工学院);Georgia Tech Research Institute(佐治亚理工研究 institute)
本文提出AFOG攻击,一种架构无关的对抗性注意力扰动方法,通过可学习注意力机制聚焦脆弱区域,有效攻击大型Transformer和CNN目标检测器,在COCO上性能提升高达83%。
2025-08-05 cs.CV
Weakly Supervised Object Localization via Transformer with Implicit Spatial Calibration
Shenzhen Research Institute of Big Data(深圳大数据研究院);The Chinese Univeristy of Hong Kong (Shenzhen)(香港中文大学(深圳))
弱监督对象定位(Weakly Supervised Object Localization,WSOL)是一种仅使用图像级标注来定位对象的方法,由于其在实际应用中标注成本低而受到广泛关注。最近的研究利用了视觉Transformer中自我注意的优势,对反应性语义区域进行长距离依赖,旨在避免传统类别激活映射(CAM)中的部分激活。然而,Transformer中的长距离建模忽略了对象固有的空间一致性,通常会将语义感知区域扩散到远离对象边界的地方,使得定位结果明显变大或变小。为了解决这个问题,我们引入了一个简单而有效的空间校准模块(SCM)准确的WSOL,将语义相似的补丁令牌和它们的空间关系到一个统一的扩散模型。具体来说,我们引入了一个可学习的参数来动态调整语义相关性和空间上下文强度,以实现有效的信息传播。在实际应用中,SCM被设计为Transformer的外部模块,在推理过程中可以将其移除,以减少计算量。通过在训练阶段的优化,对象敏感的定位能力被隐式地嵌入到Transformer编码器中。它使生成的注意力地图捕捉更清晰的对象边界和过滤对象无关的背景区域。大量的实验结果证明了所提出的方法的有效性,在CUB-200和ImageNet-1 K基准测试中的性能明显优于其对应的TS-CAM。该代码可在https://github.com/164140757/SCM上获得。
2023-03-10 cs.CV
Transformers in Small Object Detection: A Benchmark and Survey of State-of-the-Art
The University of Western Australia(西澳大学);Defence Science and Technology Group(国防科学技术集团);Middle East Technical University(中东技术大学)
本文综述了2020至2023年间60余项基于Transformers的小目标检测研究,分类了多种应用场景,补充了12个被忽视的大规模SOD数据集,并基于mAP、FPS和参数量等指标对比了各方法性能。
2023-09-10 cs.CV
A high-precision underwater object detection based on joint self-supervised deblurring and improved spatial transformer network
North University of China(中北大学)
基于深度学习的水下目标检测(UOD)仍然是一个主要挑战,这是由于能见度下降以及难以获得从各种视角捕获的足够的水下目标图像用于训练。针对这些问题,提出了一种基于联合自监督去模糊和改进空间Transformer网络的高精度UOD方法。在所设计的多任务学习辅助目标检测体系结构中引入自监督去模糊子网络,强制共享特征提取模块为检测子网络输出干净的特征。针对不同视角照片不足的局限性,设计了一种基于视角变换的改进空间Transformer网络,自适应地丰富网络中的图像特征。实验结果表明,该方法在URPC2017和URPC2018上分别获得了47.9 mAP和70.3 mAP的性能,优于许多现有的UOD方法,表明该方法更适合UOD。
2022-03-09 cs.CV
Miti-DETR: Object Detection based on Transformers with Mitigatory Self-Attention Convergence
Rekor Systems, Inc.(Rekor Systems 公司);University of Kansas(堪萨斯大学);Ryerson University(瑞尔森大学)
使用Transformers的目标检测(DETR)和相关工作达到甚至超过了具有自注意网络架构的高度优化的Faster-RCNN基线。受纯自注意具有强烈的诱导偏差导致Transformer失去关于网络深度的表达能力的证据的启发,我们提出了一种具有减轻自注意力机制的Transformer架构,通过在Transformer架构中应用可能的直接映射连接来减轻秩崩溃,从而抵消特征表达损失并提高模型性能。我们将此建议应用于目标检测任务中,并开发了一个名为Miti-DETR的模型。Miti-DETR将每个注意力层的输入保留到该层的输出,以便“非注意力”信息参与任何注意力传播。所形成的残差自注意网络解决了两个关键问题:(1)阻止自注意网络退化到rank-1的最大程度;(2)进一步多样化参数更新的路径分布,以便更容易地进行注意学习。在COCO目标检测数据集上,Miti-DETR显著提高了现有基于DETR的模型的平均检测精度和收敛速度。此外,所提出的Transformer与剩余自注意网络可以很容易地推广或插入到其他相关的任务模型,而无需特定的定制。
2021-12-26 cs.CV
Efficient Decoder-free Object Detection with Transformers
Tencent Youtu Lab(腾讯优图实验室);Zhejiang University(浙江大学)
视觉Transformer(ViTs)正在改变目标检测方法的前景。ViT在检测中的一个自然用途是用基于transformer的主干取代基于CNN的主干,这是简单有效的,但代价是为推理带来相当大的计算负担。更微妙的用法是DETR系列,它消除了目标检测中许多手工设计组件的需要,但引入了一个需要额外长时间收敛的解码器。因此,基于变换器的目标检测不能在大规模应用中流行。为了克服这些问题,我们提出了一种新的无解码器的完全基于变换器(DFFT)的对象检测器,首次在训练和推理阶段实现了高效率。我们通过围绕两个入口点将目标检测简化为仅编码器的单级基于锚的密集预测问题:1)消除训练效率低下的解码器,并利用两个强大的编码器来保持单级特征映射预测的准确性; 2)在有限的计算资源下探索检测任务的低级语义特征。特别是,我们设计了一种新的轻量级的面向检测的Transformer骨干,有效地捕捉低层次的功能与丰富的语义的基础上,一个构思良好的消融研究。在MS COCO基准上的大量实验表明,DFFT_SMALL比DETR高2.5% AP,计算成本降低28%,训练次数比$10$少x。DFFT_SMALL与基于锚点的检测器RetinaNet相比,获得了超过5.5%的AP增益,同时降低了70%的计算成本。
2022-06-17 cs.CV
AO2-DETR: Arbitrary-Oriented Object Detection Transformer
Peking University(北京大学);ETH Zurich(苏黎世联邦理工学院);South China University of Technology(华南理工大学)
面向目标的目标检测(AOOD)是一项具有挑战性的任务,可以在野外检测具有任意方向和杂乱排列的目标。现有的方法主要是基于基于锚的盒子或密集点,这依赖于复杂的手工设计的处理步骤和归纳偏差,如锚的生成,转换和非最大抑制推理。最近,新兴的基于变换器的方法将目标检测视为直接集合预测问题,其有效地消除了对手工设计的组件和电感偏置的需要。在本文中,我们提出了一个面向对象的目标检测Transformer框架,称为AO 2-DETR,它包括三个专用组件。更准确地说,一个定向的建议生成机制,提出了显式地产生定向的建议,这提供了更好的位置先验池功能调制交叉注意的Transformer解码器。提出了一种面向自适应的建议细化模块,用于提取旋转不变的区域特征,消除区域特征与目标之间的错位。并使用旋转感知的集合匹配损失来确保直接集合预测的一对一匹配过程,而没有重复预测。我们的方法大大简化了整个管道,并提出了一个新的AOOD范例。在几个具有挑战性的数据集上的综合实验表明,我们的方法在AOOD任务上取得了优异的性能。
2022-05-25 cs.CV
CoSformer: Detecting Co-Salient Object with Transformers
Nanjing University(南京大学)
共显著目标检测(Co-Salient Object Detection,CoSOD)的目的是模拟人类视觉系统,从一组相关图像中发现共同的显著目标。最近的方法通常开发复杂的基于深度学习的模型,大大提高了CoSOD任务的性能。但仍有两个主要缺点需要进一步解决,1)次优的图像间关系建模; 2)缺乏考虑图像间的可分性。在本文中,我们提出了共同显着的目标检测Transformer(CoSmerer)网络,以捕获显着和共同的视觉模式,从多个图像。通过利用Transformer架构,该方法解决了输入命令的影响,大大提高了CoSOD任务的稳定性。我们还引入了一个新的概念,图像间的可分性。我们构造了一个对比度学习方案来建模图像间的可分性,并学习更多的判别嵌入空间来区分真正的普通对象和噪声对象。在三个具有挑战性的基准上进行了广泛的实验,即,CoCA,CoSOD 3 k和Cosal 2015,证明了我们的CoSmerer优于尖端模型,并达到了新的最先进的水平。我们希望CoSmerer可以激励未来的研究更多的可视化共分析任务。
2022-09-22 cs.CV
Learning Dynamic Query Combinations for Transformer-based Object Detection and Segmentation
University of Florida(佛罗里达大学);ByteDance Inc.(字节跳动公司)
本文提出基于图像高级语义学习动态系数的凸组合生成调制查询,以更好地捕捉目标位置和类别的先验,使广泛的基于DETR的模型在检测和分割等多个任务上取得一致且优越的性能。
2023-07-27 cs.CV
Hierarchical Cross-modal Transformer for RGB-D Salient Object Detection
School of Computer Science, Southeast University(东南大学计算机科学与工程学院)
大多数现有的RGB-D显着目标检测(SOD)方法遵循基于CNN的范式,由于CNN的自然局部性,该范式无法对跨空间和模态的长距离依赖性进行建模。本文提出了一种新的多模态Transformer,即分层交叉模态Transformer(HCT)。与以前的多模态Transformers直接连接来自两个模态的所有补丁不同,我们分层地探索跨模态互补性,以尊重未对齐区域中的模态间隙和空间差异。具体来说,我们建议使用通道内自我注意力来探索互补的全局上下文,并测量空间对齐的通道间注意力本地捕获跨通道的相关性。此外,我们提出了一个特征金字塔模块的Transformer(FPT),以提高信息的跨尺度集成,以及一致性互补模块,解开多模态集成路径,提高融合自适应性。在大量公共数据集上进行的综合实验验证了我们设计的有效性以及对最先进模型的一致改进。
2023-02-16 cs.CV
CAT-Det: Contrastively Augmented Transformer for Multi-modal 3D Object Detection
Beihang University(北京航空航天大学)
在自动驾驶中,LiDAR点云和RGB图像是两种主要的数据形式,具有用于3D目标检测的互补线索。然而,由于各种运输方式之间的差异很大,很难充分利用它们。为了解决这个问题,我们提出了一个新的框架,即对比增强的Transformer多模态三维目标检测(CAT-Det)。具体而言,CAT-Det采用了由Pointformer(PT)分支、Imageformer(IT)分支以及跨模态Transformer(CMT)模块组成的双流结构。PT、IT和CMT联合编码用于表示对象的模态内和模态间长距离上下文,从而充分探索用于检测的多模态信息。此外,我们提出了一种有效的单向多模态数据增强(OMDA)的方法,通过分层对比学习在点和对象的水平,显着提高准确性,只有通过增加点云,这是免费的复杂生成的成对样本的两种方式。在KITTI基准上进行的大量实验表明,CAT-Det达到了一个新的最先进水平,突出了其有效性。
2022-04-04 cs.CV
Combining Transformers and CNNs for Efficient Object Detection in High-Resolution Satellite Imagery
L2TI Laboratory, Institut Galilée Université Sorbonne Paris Nord SAS Impact(L2TI实验室,Galilée研究所,巴黎十一大学SAS Impact)
提出GLOD架构,结合Swin Transformer与CNN模块处理高分辨率卫星图像,通过多尺度融合与注意力机制在xView上超越SOTA 11.46%。
2025-07-15 cs.CV
Lightweight Object Detection: A Study Based on YOLOv7 Integrated with ShuffleNetv2 and Vision Transformer
针对移动设备高效目标检测需求,本研究融合组卷积、ShuffleNetV2与Vision Transformer优化YOLOv7,减少参数量与内存占用,在资源受限设备上实现精度保持下的检测速度提升。
2024-03-04 cs.CV
Object Detection with Transformers: A Review
Technical University of Kaiserslautern(凯泽斯劳滕工业大学);German Research Institute for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI))
本文综述 DETR 及其 21 项近期改进,从骨干网络、查询设计和注意力机制等方面比较各类检测 Transformer 的架构与性能。
2023-07-10 cs.CV
LiDAR-based Online 3D Video Object Detection with Graph-based Message Passing and Spatiotemporal Transformer Attention
Beijing Institute of Technology(北京理工大学);Baidu Research(百度研究院);Inception Institute of Artificial Intelligence(人工智能起源研究所);National Engineering Laboratory of Deep Learning Technology and Application(深度学习技术及应用国家工程实验室);University of Kentucky(肯塔基大学)
现有的基于LiDAR的三维目标检测器通常只关注单帧点云的检测,而忽略了连续帧点云中的时空信息。在本文中,我们提出了一个端到端的在线3D视频对象检测器,点云序列上操作。所提出的模型包括一个空间特征编码组件和时空特征聚合组件。在前一部分中,提出了一种新的柱消息传递网络(PMPNet)编码每个离散点云帧。它通过迭代消息传递自适应地从相邻节点中收集信息,有效地扩大了柱特征的接收域。在后一个组件中,我们提出了一个有注意力的时空Transformer GRU(AST-GRU)聚合的时空信息,这增强了传统的ConvGRU与注意力的记忆门控机制。AST-GRU包含空间Transformer Attention(STA)模块和时间Transformer Attention(TTA)模块,分别用于强调前景对象和对齐动态对象。实验结果表明,所提出的3D视频对象检测器达到了最先进的性能上的大规模nuScenes基准。
2020-04-03 cs.CV
MonoDTR: Monocular 3D Object Detection with Depth-Aware Transformer
National Taiwan University(国立台湾大学);Mobile Drive Technology(移动驱动科技公司)
单目3D目标检测是自动驾驶中一项重要而又具有挑战性的任务。一些现有的方法利用来自现成的深度估计器的深度信息来辅助3D检测,但是遭受额外的计算负担并且实现由不准确的深度先验引起的有限的性能。为了缓解这一问题,我们提出了MonoDTR,一种新型的端到端深度感知Transformer网络,用于单目3D目标检测。它主要由两个组件组成:(1)深度感知特征增强(DFE)模块,该模块隐式地学习具有辅助监督的深度感知特征,而不需要额外的计算;以及(2)深度感知Transformer(DTR)模块,该模块全局地集成上下文和深度感知特征。此外,不同于传统的逐像素位置编码,我们引入了一种新的深度位置编码(DPE)注入深度位置提示到Transformers。我们提出的深度感知模块可以很容易地插入到现有的仅图像的单目3D对象检测器,以提高性能。在KITTI数据集上的大量实验表明,我们的方法优于以前最先进的基于单眼的方法,并实现了实时检测。代码可在https://github.com/kuanchihhuang/MonoDTR上获得
2022-03-28 cs.CV
Generative Transformer for Accurate and Reliable Salient Object Detection
Northwestern Polytechnical University(西北工业大学);Australian National University(澳大利亚国立大学);Nankai University(南开大学)
源自机器翻译的Transformer在建模远程依赖关系方面特别强大。目前,Transformer在各种视觉任务中取得了革命性的进展,与基于卷积神经网络(CNN)的框架相比,性能得到了显著的提高。在本文中,我们进行了广泛的研究,利用Transformers的贡献,准确和可靠的显着目标检测。对于前者,我们将Transformer应用于确定性模型,并解释了与基于CNN的框架相比,有效的结构建模和全局上下文建模能力导致其优越的性能。对于后者,我们观察到基于CNN和Transformer的框架都严重受到过度自信问题的影响,其中模型往往会生成具有高置信度的错误预测。为了评估基于CNN和基于transformer的框架的可靠性程度,我们进一步提出了一种基于生成对抗网络(GAN)的潜变量模型,即推理生成对抗网络(iGAN)。潜变量的随机属性使得预测不确定性的估计变得方便,可以作为辅助输出来评估模型预测的可靠性。与传统的GAN将潜变量的分布定义为固定的标准正态分布$\mathcal{N}(0,\mathbf{I})$不同,本文提出的iGAN通过基于梯度的马尔可夫链蒙特卡罗(MCMC)方法(Langevin dynamics)来推断潜变量,从而得到一个依赖于输入的潜变量模型.我们将我们提出的iGAN应用于完全和弱监督的显着对象检测,并解释了Transformer框架内的iGAN可以实现准确和可靠的显着…
2022-12-30 cs.CV
Deformable DETR: Deformable Transformers for End-to-End Object Detection
University of Science and Technology of China(中国科学技术大学);SenseTime Research(商汤科技研究院);The Chinese University of Hong Kong(香港中文大学)
DETR最近被提出来消除在目标检测中对许多手工设计的组件的需要,同时表现出良好的性能。然而,由于Transformer注意力模块在处理图像特征映射时的局限性,该算法收敛速度慢,特征空间分辨率有限。为了缓解这些问题,我们提出了可变形DETR,其注意力模块只关注参考周围的一小部分关键采样点。可变形DETR可以实现比DETR更好的性能(特别是在小物体上),训练时间减少10倍。在COCO基准上的大量实验证明了该方法的有效性。代码发布于https://github.com/fundamentalvision/Deformable-DETR。
2021-03-18 cs.CV
TransCAR: Transformer-based Camera-And-Radar Fusion for 3D Object Detection
Michigan State University(密歇根州立大学)
针对现有3D目标检测融合研究多聚焦激光雷达与相机的问题,提出基于Transformer的相机-雷达融合方案TransCAR,通过双模块特征交互与软关联机制,在nuScenes数据集上超越同类方法,还可无时序信息提升速度估计。
2023-04-30 cs.CV
SWFormer: Sparse Window Transformer for 3D Object Detection in Point Clouds
Waymo LLC(Waymo有限责任公司)
点云中的3D目标检测是现代机器人和自动驾驶系统的核心组件。3D目标检测中的一个关键挑战来自3D场景内点占用的固有稀疏性质。在本文中,我们提出了稀疏窗口Transformer(SWFormer),一个可扩展的和准确的三维目标检测模型,它可以充分利用点云的稀疏性。SWFormer基于基于窗口的Transformers思想,将3D点转换为稀疏体素和窗口,然后使用桶方案有效地处理这些可变长度的稀疏窗口。除了在每个空间窗口内的自我关注,我们的SWFormer还捕获跨窗口相关性与多尺度特征融合和窗口移位操作。为了进一步解决从稀疏特征中准确检测3D对象的独特挑战,我们提出了一种新的体素扩散技术。Waymo开放数据集上的实验结果显示,我们的SWFormer在官方测试集上实现了最先进的73.36 L2 mAPH,用于车辆和行人的3D目标检测,优于之前所有的单阶段和两阶段模型,同时效率更高。
2022-10-13 cs.CV
ST-DETR: Spatio-Temporal Object Traces Attention Detection Transformer
Valeo R&D(法雷奥研发中心)
我们提出了ST-DETR,一个基于时空变换器的结构,用于从时间帧序列中检测目标检测。我们将时间帧视为空间和时间上的序列,并采用完整的注意力机制来利用两个维度上的特征相关性。这种处理使我们能够处理帧序列作为时间对象特征在空间中的每个位置上的轨迹。我们探讨了两种可能的方法,早期的空间特征聚集的时间维度,和后期的对象查询空间特征的时间聚集。此外,我们提出了一种新的时间位置嵌入技术来编码的时间序列信息。为了评估我们的方法,我们选择了移动目标检测(MOD)任务,因为它是一个完美的候选人,以展示时间维度的重要性。结果显示,在KITTI MOD数据集上,1步空间基线的mAP显著改善了5%。
2021-07-24 cs.CV
End-to-End Object Detection with Transformers
Facebook AI(脸书人工智能研究院)
我们提出了一种新的方法,将目标检测视为一个直接的集合预测问题。我们的方法简化了检测管道,有效地消除了对许多手工设计的组件的需要,例如非最大抑制过程或锚生成,这些组件显式地编码了我们关于任务的先验知识。新框架的主要成分,称为检测转换器或DETR,是一个基于集合的全局损失,通过二分匹配强制唯一的预测,和一个Transformer编码器-解码器架构。给定一个固定的小集合的学习对象查询,DETR的原因有关的对象和全局图像上下文的关系,直接输出并行的最终预测集。新模型在概念上很简单,不像许多其他现代探测器那样需要专门的库。DETR在具有挑战性的COCO目标检测数据集上展示了与成熟且高度优化的Faster RCNN基线相当的准确性和运行时性能。此外,DETR可以很容易地推广到以统一的方式产生全景分割。我们表明,它显着优于竞争对手的基线。训练代码和预训练模型可在https://github.com/facebookresearch/detr上获得。
2020-05-28 cs.CV
Learned Fusion: 3D Object Detection using Calibration-Free Transformer Feature Fusion
RPTU - University of Kaiserslautern-Landau(莱茵兰-普法尔茨理工大学凯泽斯劳滕-兰道分校);DFKI - German Research Center for Artificial Intelligence(德国人工智能研究中心)
针对现有3D目标检测传感器融合高度依赖标定、难大规模部署的问题,提出首个免校准方法,用transformer跨传感器多抽象层级映射特征,BEV mAP较单模态提升14.1%,且对旋转平移变化鲁棒,为免校准融合研究提供新方向。
2023-12-14 cs.CV
HOTR: End-to-End Human-Object Interaction Detection with Transformers
Kakao Brain;Korea University(高丽大学)
人-物体交互(HOI)检测是识别图像中的“一组交互”的任务,其涉及i)对象的定位(即,人)和目标(即,对象)的交互,以及ii)交互标签的分类。大多数现有的方法间接地解决了这个任务,通过检测人和对象的实例,并单独推断每对检测到的实例。在本文中,我们提出了一种新的框架,称为HOTR,它直接预测一组<人,对象,互动>三元组从一个Transformer编码器-解码器架构的基础上的图像。通过集合预测,我们的方法有效地利用了图像中固有的语义关系,并且不需要耗时的后处理,这是现有方法的主要瓶颈。我们提出的算法实现了国家的最先进的性能在两个HOI检测基准与推理时间在1 ms以下的目标检测后。
2021-04-28 cs.CV
TransVOD: End-to-End Video Object Detection with Spatial-Temporal Transformers
Shanghai Jiao Tong University(上海交通大学);Peking University(北京大学);JD Explore Academy(京东探索研究院);SenseTime Research(商汤科技研究院)
检测Transformer(DETR)和可变形DETR已经被提出来消除在目标检测中对许多手工设计的组件的需要,同时展示了与先前复杂的手工制作的检测器一样的良好性能。然而,它们在视频目标检测(VOD)上的性能还没有得到很好的研究。在本文中,我们提出了transVOD,第一个端到端的视频目标检测系统的基础上时空Transformer架构。本文的第一个目标是简化VOD的管道,有效地消除了对许多手工制作的组件的需求,例如,光流模型、关系网络。此外,得益于DETR的对象查询设计,我们的方法不需要复杂的后处理方法,如Seq-NMS。特别是,我们提出了一个时间Transformer聚合空间对象查询和每帧的特征记忆。我们的时间Transformer由两个组件组成:时间查询编码器(TQE)融合对象查询,和时间变形Transformer解码器(TDTD),以获得当前帧检测结果。这些设计在ImageNet VID数据集上显著提高了强基线可变形DETR(3%-4% mAP)。然后,我们提出了两个改进的版本的transVOD,包括transVOD++和transVOD精简版。前者通过动态卷积将对象级信息融合到对象查询中,而后者将整个视频片段建模为输出,以加快推理时间。在实验部分,我们对这三种模型进行了详细的分析。特别是,我们提出的TransVOD++在ImageNet VID的准确性方面创下了新的最先进记录…
2022-11-22 cs.CV
GPTR: Gestalt-Perception Transformer for Diagram Object Detection
Tongji University(同济大学);National University of Singapore(新加坡国立大学);Lenovo Research(联想研究院)
图形目标检测是实现教科书问答等实际应用的关键基础。由于该图主要由简单的线条和色块组成,其视觉特征比自然图像稀疏。此外,图通常表达多样化的知识,其中有许多低频对象类别的图。这些都导致了传统的数据驱动检测模型不适合于图。在这项工作中,我们提出了一个完整的感知Transformer模型的图目标检测,这是基于一个编码器-解码器架构。完形知觉包含了一系列解释人类知觉的规律,即人类视觉系统倾向于将图像中相似、接近或连接而没有突然方向变化的斑块感知为感知的整体对象。受这些思想的启发,我们在Transformer编码器中构建了一个完形感知图,该图以图块为节点,图块之间的关系为边。该图旨在通过这些边缘中隐含的相似性,邻近性和平滑性将这些补丁分组为对象,以便可以有效地检测有意义的对象。实验结果表明,该算法在图目标检测任务中取得了最好的效果。在自然图像目标检测中,我们的模型也获得了与竞争对手相当的结果。
2022-12-29 cs.CV
Transformer-based Multi-Instance Learning for Weakly Supervised Object Detection
Southeast University(东南大学);The University of Newcastle(纽卡斯尔大学)
弱监督目标检测(WSOD)允许仅使用图像级注释来训练目标检测模型。最先进的WSOD检测器通常依赖于多实例学习(MIL)作为其检测器的骨干,并假设图像的限界框建议是相互独立的。然而,由于这种方法只利用最高分的建议,并放弃了潜在的有用信息,从其他建议,其独立的MIL骨干往往限制模型的突出部分的对象,或导致他们只能检测一个对象的类。为了解决上述问题,我们提出了一种新的骨干WSOD的基础上,我们定制的视觉Transformer命名为弱监督Transformer检测网络(WSTDN)。我们的算法不仅是第一个证明,自我注意模块,考虑实例间的关系是有效的骨干WSOD,但我们也引入了一种新的限界框挖掘方法(BBM)集成的内存传输细化(MTR)过程,利用实例的依赖关系,促进实例细化。在PASCAL VOC2007和VOC2012基准测试上的实验结果证明了我们提出的WSTDN和改进的实例精化模块的有效性。
2023-03-27 cs.CV
TokenMotion: Motion-Guided Vision Transformer for Video Camouflaged Object Detection Via Learnable Token Selection
针对视频伪装目标检测的纹理相似与运动不规则难题,提出基于Transformer的TokenMotion模型,通过可学习token选择提取运动引导特征,在MoCA-Mask数据集上多项指标显著超越现有最优方法。
2024-02-01 cs.CV
FusionViT: Hierarchical 3D Object Detection via LiDAR-Camera Vision Transformer Fusion
University of California, Davis(加州大学戴维斯分校)
针对3D目标检测的多模态数据融合需求,提出纯ViT架构的分层检测模型FusionViT,通过Transformer嵌入图像与点云并经融合ViT融合特征,在KITTI、Waymo Open数据集上达到SOTA性能。
2023-11-07 cs.CV
Lightweight Transformer Backbone for Medical Object Detection
Duke University(杜克大学);Vanderbilt University(范德堡大学)
数字乳腺断层合成摄影(DBT)中的病变检测是一个重要且具有挑战性的问题,其特征在于包含肿瘤的图像的低流行率。由于标签稀缺问题,大型深度学习模型和计算密集型算法在应用于此任务时可能会失败。在本文中,我们提出了一个实用而轻量级的骨干,以提高肿瘤检测的准确性。具体来说,我们提出了一种新的修改视觉Transformer(ViT)的图像特征补丁连接的特征补丁的肿瘤与健康背景的乳房图像,并形成一个更强大的骨干肿瘤检测。据我们所知,我们的模型是Transformer骨干目标检测的医学成像的第一个工作。我们的实验表明,该模型可以显着提高病变检测的准确性,并减少典型ViT中所需的标记数据量。我们进一步表明,通过额外的增强肿瘤数据,我们的模型显着优于Faster R-CNN模型和最先进的SWIN Transformer模型。
2022-10-11 cs.CV
Transformer-based stereo-aware 3D object detection from binocular images
Changchun Institute of Optics, Fine Mechanics and Physics, Chinese Academy of Sciences(中国科学院长春光学精密机械与物理研究所);Tianjin University(天津大学);Chongqing University(重庆大学);Northwestern Polytechnical University(西北工业大学)
针对现有Transformer直接应用于双目立体3D检测收敛慢、精度降的问题,提出融合视差感知位置编码和立体保留特征金字塔的TS3D检测器,在KITTI数据集上实现了精度与速度的均衡表现。
2024-09-15 cs.CV
SEGT: A General Spatial Expansion Group Transformer for nuScenes Lidar-based Object Detection Task
Tianyijiaotong Technology Ltd.(天宜交通科技有限公司)
提出SEGT,一种基于Transformer的通用空间扩展组框架,通过将体素迁移至有序字段并采用组注意力机制,有效处理点云稀疏性,在nuScenes激光雷达目标检测任务中取得NDS 73.9(无TTA)和74.5(有TTA)的领先成绩,排名第一。
2025-01-21 cs.CV
Anchor DETR: Query Design for Transformer-Based Object Detection
MEGVII Technology(旷视科技)
在本文中,我们提出了一种新的查询设计的transformer为基础的目标检测。在以前的基于transformer的检测器中,对象查询是一组学习的嵌入。然而,每个学习的嵌入没有明确的物理意义,我们无法解释它将集中在哪里。由于每个对象查询的预测槽没有特定的模式,因此很难优化。换句话说,每个对象查询将不关注特定区域。为了解决这些问题,在我们的查询设计中,对象查询是基于锚点,这是广泛使用的基于CNN的检测器。因此,每个对象查询都关注锚点附近的对象。此外,我们的查询设计可以预测多个对象在一个位置,以解决困难:“一个区域,多个对象”。此外,我们还设计了一个注意变量,它可以减少内存开销,同时达到类似或更好的性能比标准的注意在DETR。由于查询设计和注意力变量,我们称之为锚DETR的检测器可以实现更好的性能,并且比DETR运行得更快,训练次数少10 $\times$。例如,当使用ResNet 50-DC 5功能训练50个epoch时,它在MSCOCO数据集上实现了44.2 AP和19 FPS。在MSCOCO基准测试上的大量实验证明了所提方法的有效性。代码可在\url{https://github.com/megvii-research/AnchorDETR}上获得。
2022-01-04 cs.CV