HRFormer: High-Resolution Transformer for Dense Prediction
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）；Baidu（百度）；University of Chinese Academy of Sciences（中国科学院大学）；Institute of Computing Technology, CAS（中国科学院计算技术研究所）
我们提出了一个高分辨率的Transformer（HRFormer），学习高分辨率表示密集的预测任务，与原始的视觉Transformer，产生低分辨率的表示，并具有较高的内存和计算成本。我们利用高分辨率卷积网络（HRNet）中引入的多分辨率并行设计，以及在小的非重叠图像窗口上执行自注意的局部窗口自注意，以提高内存和计算效率。此外，我们将卷积引入到FFN中，以跨断开的图像窗口交换信息。我们证明了高分辨率Transformer在人体姿势估计和语义分割任务上的有效性，例如，HRFormer在COCO姿态估计方面优于Swin Transformer by $1.3$ AP，具有更少的参数和更少的FLOP，其中$50\%$和$30\%$更少。代码可在：https://github.com/HRNet/HRFormer.
2021-11-07 cs.CV
Vision Transformer Adapter for Dense Predictions
Nanjing University（南京大学）；Shanghai AI Laboratory（上海人工智能实验室）；Tsinghua University（清华大学）
本文研究了一种简单而强大的用于视觉Transformer（ViT）的密集预测任务适配器。与最近将视觉特定的归纳偏差纳入其架构的高级变体不同，由于先前假设较弱，普通ViT在密集预测上的性能较差。为了解决这个问题，我们提出了ViT-Adapter，它允许普通ViT实现与视觉特定Transformers相当的性能。具体来说，我们框架中的主干是一个普通的ViT，它可以从大规模多模态数据中学习强大的表示。当转移到下游任务时，使用预训练的适配器将图像相关的归纳偏差引入模型，使其适合这些任务。我们在多个密集预测任务上验证了ViT-Adapter，包括目标检测、实例分割和语义分割。值得注意的是，在不使用额外检测数据的情况下，我们的ViT-Adapter-L在COCO测试开发中产生了最先进的60.9盒AP和53.0罩AP。我们希望ViT-Adapter可以作为视觉特定Transformers的替代品，并促进未来的研究。代码和模型将在https://github.com/czczup/ViT-Adapter上发布。
2023-02-13 cs.CV
PolyMaX: General Dense Prediction with Mask Transformer
Google Research（谷歌研究院）；ByteDance（字节跳动）
PolyMaX通过将簇预测范式推广到通用密集预测任务，利用掩码变换器统一处理语义分割、深度估计和表面法线预测，在NYUD-v2数据集上达到最先进性能。
2023-11-09 cs.CV
Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions
Nanjing University（南京大学）；The University of Hong Kong（香港大学）；Nanjing University of Science and Technology（南京理工大学）；IIAI（智能信息处理与应用研究院）；SenseTime Research（商汤科技研究院）
虽然使用卷积神经网络（CNN）作为骨干在计算机视觉中取得了巨大的成功，但这项工作研究了一种简单的骨干网络，可用于许多没有卷积的密集预测任务。与最近提出的Transformer模型（例如，ViT）的基础上，提出了Pyramid视觉Transformer ~（PVT），克服了将Transformer移植到各种密集预测任务中的困难。与现有技术相比，PVT具有若干优点。(1)与通常具有低分辨率输出和高计算和内存成本的ViT不同，PVT不仅可以在图像的密集分区上进行训练以实现高输出分辨率，这对于密集预测很重要，而且还可以使用渐进收缩金字塔来减少大型特征图的计算。(2)PVT继承了CNN和Transformer的优点，通过简单地替换CNN骨干，使其成为各种视觉任务中的统一骨干，而无需卷积。(3)我们通过进行广泛的实验来验证PVT，表明它可以提高许多下游任务的性能，例如，目标检测、语义和实例分割。例如，在参数数量相当的情况下，RetinaNet+PVT在COCO数据集上达到40.4 AP，超过RetinNet+ ResNet 50（36.3 AP）4.1绝对AP。我们希望PVT可以作为一个替代和有用的骨干像素级预测和促进未来的研究。代码可在https://github.com/whai362/PVT上获得。
2021-08-11 cs.CV
TDViT: Temporal Dilated Video Transformer for Dense Video Tasks
Queen’s University Belfast（贝尔法斯特女王大学）；Oosto（奥斯特公司）
提出TDViT及其核心模块TDTB，通过分层结构扩展时间感受野并缓解时间冗余，高效解决密集视频任务中的长时序建模问题，在视频目标检测和实例分割基准上表现优越。
2024-02-14 cs.CV
MPViT: Multi-Path Vision Transformer for Dense Prediction
Electronics and Telecommunications Research Institute (ETRI)（电子通信研究院）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；AITRICS
密集的计算机视觉任务，如目标检测和分割需要有效的多尺度特征表示，用于检测或分类具有不同大小的对象或区域。虽然卷积神经网络（CNN）一直是此类任务的主导架构，但最近推出的视觉Transformer（ViTs）旨在取代它们作为骨干。与CNN类似，ViT构建了一个简单的多级结构（即，从细到粗）用于具有单尺度片的多尺度表示。在这项工作中，与现有的Transformers不同的角度，我们探索多尺度补丁嵌入和多路径结构，构建多路径视觉Transformer（MPViT）。MPViT嵌入相同大小的特征~（即，序列长度）同时具有不同尺度的补丁。然后，不同尺度的令牌通过多个路径独立地馈送到Transformer编码器中，并且聚合所得到的特征，从而在相同的特征级别上实现精细和粗略的特征表示。得益于多样化的多尺度特征表示，我们的MPViT从微小的~（5 M）扩展到基本的~（73 M），在ImageNet分类、目标检测、实例分割和语义分割方面始终实现优于最先进的视觉Transformer的性能。这些广泛的结果表明，MPViT可以作为各种视觉任务的通用骨干网络。代码将在\url{https://git.io/MPViT}上公开。
2021-12-27 cs.CV
A Comprehensive Study of Vision Transformers on Dense Prediction Tasks
Advanced Research Lab, NavInfo Europe（NavInfo Europe 高级研究实验室）
卷积神经网络（CNN），由卷积层组成的架构，已经成为视觉任务的标准选择。最近的研究表明，视觉Transformer（VT），基于自我注意模块的架构，在具有挑战性的任务，如目标检测和语义分割，实现相当的性能。然而，VT的图像处理机制与传统CNN的不同。这提出了几个问题，他们的普遍性，鲁棒性，可靠性和纹理偏见时，用于提取复杂任务的功能。为了解决这些问题，我们研究和比较VT和CNN架构作为目标检测和语义分割中的特征提取器。我们广泛的经验结果表明，在这两个任务中，由VT生成的特征对分布偏移、自然损坏和对抗攻击更鲁棒，而CNN在目标检测中在更高的图像分辨率下表现更好。此外，我们的研究结果表明，在密集的预测任务中的VT产生更可靠和更少的纹理偏见的预测。
2022-01-21 cs.CV
ComplETR: Reducing the cost of annotations for object detection in dense scenes with vision transformers
AWS AI Labs（AWS人工智能实验室）；Yonsei University（延世大学）
注释用于目标检测的边界框是昂贵的、耗时的并且容易出错。在这项工作中，我们提出了一个基于DETR的框架，称为COMPLETR，旨在明确地完成部分注释的密集场景数据集缺失的注释。这减少了对场景中的每个对象实例进行注释的需要，从而降低了注释成本。在DETR解码器中，COMPLETR使用图像中对象的补丁信息来增强对象查询。结合匹配损失，它可以有效地找到与输入补丁相似的对象，并完成缺失的注释。我们表明，我们的框架优于最先进的方法，如软采样和无偏见的教师本身，而在同一时间可以与这些方法结合使用，以进一步提高其性能。我们的框架对下游对象检测器的选择也是不可知的;我们在多个密集场景数据集上显示了几种流行检测器的性能改进，例如Faster R-CNN，Cascade R-CNN，CenterNet 2和Deformable DETR。
2022-09-13 cs.CV
Vision Transformers: From Semantic Segmentation to Dense Prediction
School of Data Science, Fudan University（复旦大学数据科学学院）；University of Surrey（萨里大学）；University of Oxford（牛津大学）
本文首次探索视觉Transformer在密集预测中的全局上下文潜力，提出SETR用于语义分割，并进一步设计分层局部-全局Transformer以高效处理目标检测、实例分割等任务，取得优异性能。
2024-08-02 cs.CV
RotaTR: Detection Transformer for Dense and Rotated Object
Mybank Technology（网商银行科技）
针对 DETR 在密集旋转目标检测中注意力难以对准目标的问题，本文提出 RotaTR，并通过 RSDeform 注意力构建特征对齐模块与旋转敏感解码器，在四个基准上取得竞争力性能。
2023-12-05 cs.CV
ComPtr: Towards Diverse Bi-source Dense Prediction Tasks via A Simple yet General Complementary Transformer
Dalian University of Technology（大连理工大学）
本文提出通用互补 Transformer ComPtr，通过一致性增强与差异感知模块建模双源信息，并在多类密集预测任务中验证了统一架构的有效性。
2025-06-09 cs.CV
CLIPSelf: Vision Transformer Distills Itself for Open-Vocabulary Dense Prediction
Nanyang Technological University（南洋理工大学）；The Chinese University of Hong Kong（香港中文大学）；The University of Hong Kong（香港大学）；SenseTime Research and Tetras.AI（商汤科技研究院与Tetras.AI）；Shanghai AI Laboratory（上海人工智能实验室）
针对 CLIP ViT 从全局图像迁移到局部区域时的域偏移问题，本文提出 CLIPSelf 自蒸馏方法，在无需区域-文本对的情况下增强区域-语言对齐，并在多项开放词汇密集预测基准上达到最优性能。
2024-01-24 cs.CV
GRiT: A Generative Region-to-text Transformer for Object Understanding
Microsoft（微软）；State University of New York at Buffalo（纽约州立大学布法罗分校）
本文提出了一种用于对象理解的生成式区域到文本的转换器（GRiT）Transformer。GRiT的精神是将对象理解公式化为<region，text>对，其中region定位对象，text描述对象。例如，目标检测中的文本表示类名，而密集字幕中的文本则表示描述性句子。具体来说，GRiT包括一个视觉编码器来提取图像特征，一个前景对象提取器来定位对象，和一个文本解码器来生成开集对象描述。在相同的模型架构下，GRiT不仅可以通过简单的名词来理解对象，还可以通过包含对象属性或动作的丰富描述性语句来理解对象。实验上，我们将GRiT应用于目标检测和密集字幕任务。GRiT在COCO 2017 test-dev上实现了60.4 AP的目标检测，在Visual Genome上实现了15.5 mAP的密集字幕。代码可在https://github.com/JialianW/GRiT上获得
2022-12-01 cs.CV
DenseDINO: Boosting Dense Self-Supervised Learning with Token-Based Point-Level Consistency
Zhejiang University（浙江大学）；Zhejiang – Singapore Innovation and AI Joint Research Lab（浙江-新加坡创新与人工智能联合实验室）
针对现有自监督Transformer忽略空间信息的问题，提出DenseDINO框架，通过参考token实现跨视点级监督，在分类任务性能可比的同时，显著提升语义分割任务表现。
2023-06-06 cs.CV
Vision Transformers Need Better Token Interaction
University of Szeged（塞格德大学）
针对视觉Transformer在密集预测任务中补丁表示退化的问题，本文提出通过稀疏注意力（entmax-1.5）替代softmax注意力来增强token交互的选择性，从而在不损失全局上下文的前提下显著提升语义分割性能。
2026-05-22 cs.CV
Memory Efficient Transformer Adapter for Dense Predictions
The Hong Kong University of Science and Technology（香港科技大学）；InnoHK AI Chip Center for Smart Emerging Systems（InnoHK智能新兴系统AI芯片中心）；Nanjing University（南京大学）
本文提出META，一种内存高效的ViT适配器，通过共享层归一化、十字形自注意力、轻量级卷积分支和级联头部特征设计，在密集预测任务上实现新的精度-效率最优权衡。
2025-02-04 cs.CV
What Makes for Hierarchical Vision Transformer?
Huazhong University of Science & Technology（华中科技大学）；Horizon Robotics（地平线机器人）
最近的研究表明，分层视觉Transformer与交错的非重叠的基于窗口的自注意\&移位窗口操作的宏架构，能够在各种视觉识别任务中实现最先进的性能，并挑战无处不在的卷积神经网络（CNN）使用密集滑动内核。大多数后续工作试图用其他跨窗口通信范式取代移位窗口操作，而将自我注意视为基于窗口的信息聚合的事实标准。在这篇文章中，我们质疑自我注意力是否是层次视觉Transformer获得强大性能的唯一选择，以及不同类型的跨窗口通信的效果。为此，我们用非常简单的线性映射层取代了自我注意层，由此产生的概念验证架构称为LinMapper，可以在ImageNet-1 k图像识别中实现非常强大的性能。此外，我们发现LinMapper能够更好地利用来自图像识别的预训练表示，并在下游密集预测任务（如目标检测和实例分割）上表现出出色的迁移学习特性。我们还实验了其他替代品，以自我注意力的内容聚合在每个非重叠的窗口内不同的跨窗口通信方法，这都给出了类似的竞争结果。我们的研究表明，Swin模型家族的\textbf{macro architecture}，而不是特定的聚合层或跨窗口通信的特定手段，可能更负责其强大的性能，是无处不在的CNN的密集滑动窗口范式的真正挑战者。代码和模型将公开提供，以促进未来的研究。
2021-09-10 cs.AI cs.CV cs.LG
VPNeXt -- Rethinking Dense Decoding for Plain Vision Transformer
School of Information and Software Engineering, University of Electronic Science and Technology of China（信息与软件工程学院，电子科学与技术大学）；Shenzhen Institute for Advanced Study, University of Electronic Science and Technology of China（深圳先进研究所，电子科学与技术大学）
本文提出 VPNeXt，通过 VCR 替代复杂 Transformer Mask Decoder，并用 ViTUp 挖掘 ViT 真实金字塔特征，以简单密集解码设计在 VOC2012 上取得自 2015 年以来最大 mIoU 提升。
2025-09-27 cs.CV
BatchFormerV2: Exploring Sample Relationships for Dense Representation Learning
The University of Sydney（悉尼大学）；JD Explore Academy（京东探索研究院）
注意力机制在深度神经网络中非常流行，其中Transformer架构不仅在自然语言处理方面取得了巨大成功，而且在视觉识别应用方面也取得了巨大成功。最近，一个新的Transformer模块，应用于批量维度而不是空间/通道维度，即，BatchFormer [18]被引入来探索样本关系，以克服数据稀缺的挑战。但是，它只适用于图像级表示进行分类。在本文中，我们设计了一个更通用的批处理Transformer模块，BatchFormerV 2，它进一步使探索密集表示学习的样本关系。具体地，当应用所提出的模块时，它在训练期间采用双流流水线，即，有或没有BatchFormerV 2模块，其中可以移除batchformer流以进行测试。因此，所提出的方法是一个即插即用的模块，可以很容易地集成到不同的视觉Transformer没有任何额外的推理成本。没有花里胡哨的，我们显示了所提出的方法的有效性，各种流行的视觉识别任务，包括图像分类和两个重要的密集预测任务：目标检测和全景分割。特别地，BatchFormerV 2一致地改进了当前基于DETR的检测方法（例如，DETR，可变形DETR，条件性DETR和SMCA）超过1.3%。代码将公开提供。
2022-04-04 cs.AI cs.CV
TFCNs: A CNN-Transformer Hybrid Network for Medical Image Segmentation
Xiamen University（厦门大学）；Beihang University（北京航空航天大学）；University of Hull（赫尔大学）；Chinese Academy of Sciences（中国科学院）
医学图像分割是医学信息分析中最基本的任务之一。到目前为止，已经提出了各种解决方案，包括许多基于深度学习的技术，如U-Net，FC-DenseNet等。然而，由于医学图像中存在固有的放大和失真，以及存在与正常组织密度相似的病变，高精度医学图像分割仍然是一项极具挑战性的任务。在本文中，我们提出了TFCN（Transformers for Fully Convolutional denseNet），通过将ResLinear-Transformer（RL-Transformer）和卷积线性注意块（CLAB）引入FC-DenseNet来解决这个问题。TFCN不仅能够利用CT图像中更多的潜在信息进行特征提取，而且通过CLAB模块可以更有效地捕获和传播语义特征并过滤非语义特征。我们的实验结果表明，TFCN可以达到最先进的性能，在Synapse数据集上的骰子得分为83.72%。此外，我们评估了TFCN对COVID-19公共数据集上病变面积影响的稳健性。Python代码将在https://github.com/HUANGLIZI/TFCNs上公开。
2022-07-07 cs.CV eess.IV
Location-Aware Self-Supervised Transformers for Semantic Segmentation
Google Research（谷歌研究院）
像素级标签的获取成本特别高。因此，预训练是改进语义分割等任务模型的关键步骤。然而，用于预训练神经网络的突出算法使用图像级目标，例如图像分类、CLIP的图文对齐或自监督对比学习。这些目标不对空间信息进行建模，这可能在使用空间推理对下游任务进行微调时是次优的。在这项工作中，我们使用位置感知（LOCA）自监督方法预训练网络，该方法可以促进强密集特征的出现。具体来说，我们使用补丁级聚类方案来挖掘密集的伪标签和相对位置预测任务，以鼓励学习对象的部分及其空间排列。我们的实验表明，LOCA预训练导致的表示，竞争性地转移到具有挑战性和多样性的语义分割数据集。
2023-03-15 cs.CV
FastMIM: Expediting Masked Image Modeling Pre-training for Vision
University of Sydney（悉尼大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
Transformers和掩码图像建模（MIM）预训练框架的组合在各种视觉任务中显示出巨大的潜力。然而，预训练的计算预算太重，阻碍了MIM成为一个实际的训练范例。本文提出了FastMIM，一个简单而通用的框架，用于加速掩码图像建模，包括以下两个步骤：（i）用低分辨率输入图像预训练视觉骨干;（ii）重建方向分量直方图（HOG）特征，而不是输入图像的原始RGB值。此外，我们提出了FastMIM-P，在预训练阶段逐步扩大输入分辨率，以进一步增强高容量模型的传输结果。我们指出：（i）在预训练阶段中宽范围的输入分辨率可以导致在微调阶段和下游任务（诸如检测和分割）中的类似性能;（ii）编码器的浅层在预训练期间更重要，并且丢弃最后几层可以加速训练阶段而不损害微调性能;（iii）解码器应该匹配所选网络的大小;及（iv）当分辨率转移时，HOG比RGB值更稳定;配备FastMIM，各种视觉骨干都可以高效地进行预训练。例如，我们可以在ImageNet-1 K上实现83.8%/84.1%的top-1准确率，其中ViT-B/Swin-B作为主干。与以前的相关方法相比，我们可以实现相当或更好的前1名的准确性，同时加快训练过程的$\sim$ 5 $\times$。代码可以在https://github.com/ggjy/FastMIM.pytorch中找到。
2022-12-13 cs.CV
QClusformer: A Quantum Transformer-based Framework for Unsupervised Visual Clustering
University of Arkansas（阿肯色大学）；Wells Fargo（富国银行）；Mississippi State University（密西西比州立大学）
本文提出QClusformer，一种基于量子Transformer的无监督视觉聚类框架，通过量子化设计自注意力和Transformer块，在MS-Celeb-1M和DeepFashion等基准上超越经典方法。
2024-08-07 cs.CV
Expediting Building Footprint Extraction from High-resolution Remote Sensing Images via progressive lenient supervision
State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing, Wuhan University（武汉大学测绘遥感信息工程国家重点实验室）；School of Remote Sensing and Information Engineering, Wuhan University（武汉大学遥感信息工程学院）；National Engineering Research Center for Multimedia Software, Wuhan University（武汉大学国家多媒体软件工程技术研究中心）；Institute of Artificial Intelligence, Wuhan University（武汉大学人工智能研究院）；School of Computer Science, Wuhan University（武汉大学计算机学院）
针对高分辨率遥感建筑足迹分割中解码器计算重、深度监督在混合像素区域失效的问题，提出 BFSeg 框架，结合由粗到细融合解码器与宽松深度监督蒸馏，实现更优性能与效率。
2024-04-10 cs.AI cs.CV
Multi-Layer Dense Attention Decoder for Polyp Segmentation
The University of Kansas（堪萨斯大学）；Toronto Metropolitan University（多伦多都会大学）
针对息肉分割中视觉Transformer无法学习多层局部关系及解码器特征聚合不足的问题，提出一种多层密集注意力解码器，通过DAG模块和嵌套架构分层聚合特征，在五个数据集上达到SOTA。
2024-03-27 cs.CV
SDTP: Semantic-aware Decoupled Transformer Pyramid for Dense Image Prediction
Huawei（华为）；CERT（国家计算机网络应急技术处理协调中心）
虽然Transformer在计算机视觉任务上取得了很大的进展，但密集图像预测中的尺度变化仍然是关键挑战。在Transformer中，有效的多尺度技术很少被应用，并且现有方法存在两个主要的局限性。一方面，vanilla Transformer中的自注意模块由于其机制过于僵化，未能充分利用语义信息的多样性。另一方面，由于计算负担沉重，很难在不同层次之间建立注意力和互动。为了缓解这个问题，我们首先回顾了密集预测中的多尺度问题，验证了不同语义表示和多尺度交互的重要性，并探索了Transformer对金字塔结构的适应性。受这些发现的启发，我们提出了一种新的语义感知的解耦Transformer金字塔（SDTP）的密集图像预测，包括层内语义提升（ISP），跨层解耦交互（CDI）和注意力细化功能（ARF）。ISP探讨了不同接受空间中的语义差异。CDI在解耦空间中建立了全局注意力和不同层次之间的交互，解决了计算量大的问题。此外，还进一步增加了ARF，以细化Transformer中的注意力。实验结果表明，该方法的有效性和通用性，它优于国家的最先进的密集图像预测任务的显着保证金。此外，所提出的组件都是即插即用的，可以嵌入到其他方法中。
2021-09-18 cs.CV
DeSTNet: Densely Fused Spatial Transformer Networks
Onfido Research（Onfido研究院）
现代卷积神经网络（CNN）在一系列计算机视觉任务上非常强大。然而，当数据的特点是由空间变换引起的大类内变异时，它们的性能可能会降低。空间Transformer网络（Space-Transformer Network，简称ANN）目前是CNN在端到端学习框架中移除这些转换并提高性能的首选方法。在本文中，我们提出了密集融合空间Transformer网络（DeSTNet），据我们所知，这是第一个密集融合模式，用于组合多个STNs。具体来说，我们展示了如何将多个STNs的连接模式从顺序变为密集，从而产生更强大的对齐模块。在MNIST、GTSRB和IDocDB三个基准上的大量实验表明，所提出的技术优于相关的最先进的方法（即，STNs和CSTNs）在准确性和鲁棒性方面都有改进。
2018-07-16 cs.CV
Depth Estimation with Simplified Transformer
NVIDIA（英伟达）
Transformer及其变体最近在许多视觉任务中显示了最先进的结果，范围从图像分类到密集预测。尽管他们取得了成功，但在提高模型效率以部署在延迟关键型应用（如自动驾驶和机器人导航）方面的工作有限。在本文中，我们旨在改善现有的Transformers在视觉，并提出了一种自监督的单目深度估计方法与简化的Transformer（DEST），这是有效的，特别适合于部署在基于GPU的平台。通过战略性的设计选择，我们的模型导致模型大小，复杂性以及推理延迟的显着降低，同时与最先进的技术相比，实现了更高的准确性。我们还表明，我们的设计可以很好地推广到其他密集的预测任务，而无需花里胡哨。
2022-05-27 cs.CV cs.LG
Vertical LoRA: Dense Expectation-Maximization Interpretation of Transformers
该研究将 Transformer 解释为贝叶斯网络上的稠密 EM 算法，并据此提出可与 LoRA 正交结合的 VLoRA，通过递归增量及 LoRA 分解大幅减少参数且保持性能。
2024-06-13 cs.AI cs.CV cs.LG
PCT-Prompt: A Prompt-Guided Transformer Framework for Dense Prediction Tasks in Point Clouds
China University of Geosciences（中国地质大学）；Li Auto Inc（理想汽车）
PCT-Prompt是一种提示引导Transformer框架，通过引入提示引导特征分支和提示丢弃机制，提升了标准Transformer在点云密集预测任务中的适应性，在多个公开数据集上取得了优异性能。
2026-08-18 cs.CV
UniT3D: A Unified Transformer for 3D Dense Captioning and Visual Grounding
Technical University of Munich（慕尼黑工业大学）；Meta AI；Simon Fraser University（西蒙菲莎大学）
执行3D密集字幕和视觉基础需要对潜在的多模态关系有共同的理解。然而，尽管之前有一些尝试将这两个相关的任务与高度任务特异性的神经模块连接起来，但如何明确描述它们的共享性质以同时学习它们仍然没有得到充分研究。在这项工作中，我们提出了UniT 3D，一个简单而有效的完全统一的基于变压器的架构，共同解决三维视觉接地和密集字幕。UniT 3D通过具有双向和seq-to-seq目标的监督联合预训练方案，可以在两个任务中学习强大的多模态表示。通过通用架构设计，UniT 3D允许将预训练范围扩展到更多不同的训练源，例如来自2D先验知识的合成数据，以利于3D视觉语言任务。大量的实验和分析表明，UniT 3D获得了显着的收益，为3D密集字幕和视觉接地。
2022-12-01 cs.CV
InvPT: Inverted Pyramid Multi-task Transformer for Dense Scene Understanding
HKUST（香港科技大学）
多任务密集场景理解是一个蓬勃发展的研究领域，需要同时感知和推理的一系列相关的任务与像素明智的预测。由于大量使用卷积运算，大多数现有的作品在局部建模时遇到了严重的限制，而在全局空间位置和多任务环境中学习交互和推理对于这个问题至关重要。在本文中，我们提出了一种新的端到端的倒金字塔多任务Transformer（InvPT），在一个统一的框架中执行空间位置和多个任务的同时建模。据我们所知，这是第一个工作，探索设计一个Transformer结构的多任务密集预测场景理解。此外，广泛证明了更高的空间分辨率对于密集预测是非常有益的，而由于大空间尺寸的巨大复杂性，现有Transformers以更高的分辨率进行更深的处理是非常具有挑战性的。InvPT提出了一个高效的UP-Transformer模块，用于以逐渐增加的分辨率学习多任务特征交互，该模块还结合了有效的自注意力消息传递和多尺度特征聚合，以高分辨率生成特定于任务的预测。我们的方法分别在NYUD-v2和PASCAL-Context数据集上实现了卓越的多任务性能，并且显著优于以前的最先进技术。代码可在https://github.com/prismformore/InvPT上获得
2022-11-07 cs.CV
Selective Feature Adapter for Dense Vision Transformers
ByteDance（字节跳动）；Hong Kong University of Science and Technology（香港科技大学）
针对预训练密集视觉Transformer微调参数量大的问题，提出由外部、内部适配器组成的选择性特征适配器SFA，通过选插MLP和彩票算法筛选关键参数变换，在任意参数预算下达SOTA，性能优于单模块适配器和全微调模型。
2023-10-03 cs.CV
RCDPT: Radar-Camera fusion Dense Prediction Transformer
KU Leuven（鲁汶大学）
最近，Transformer网络在自然语言处理方面的表现优于传统的深度神经网络，并且与卷积骨干相比，在许多计算机视觉任务中显示出巨大的潜力。在原始的Transformer中，读出令牌被用作用于聚集来自其他令牌的信息的指定向量。然而，在视觉Transformer中使用读出令牌的性能是有限的。因此，我们提出了一种新的融合策略，将雷达数据集成到一个密集的预测Transformer网络，通过重组相机表示与雷达表示。代替使用读出令牌，雷达表示向单目深度估计模型贡献附加深度信息并提高性能。我们进一步研究了不同的融合方法，通常用于在密集的预测Transformer网络中集成额外的模态。实验是在nuScenes数据集上进行的，该数据集包括相机图像、激光雷达和雷达数据。结果表明，我们提出的方法产生更好的性能比常用的融合策略，并优于现有的卷积深度估计模型，融合相机图像和雷达。
2023-03-02 cs.CV eess.IV
TransCenter: Transformers with Dense Representations for Multiple-Object Tracking
Inria Grenoble Rhône-Alpes（法国国家信息与自动化研究所罗纳-阿尔卑斯大区格勒诺布尔中心）；Massachusetts Institute of Technology（麻省理工学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
自推出以来，Transformers已被证明在各种任务中具有卓越的性能。近年来，它们在诸如图像分类和目标检测等任务中引起了视觉界的关注。尽管如此，一个准确和有效的多目标跟踪（MOT）方法的基础上Transformers器尚未被设计。我们认为，直接应用的Transformer架构与二次复杂性和不足的噪声初始化稀疏查询-是不是最佳的MOT。我们提出了transCenter，一个基于transformer的MOT架构与密集的表示，准确地跟踪所有的对象，同时保持合理的运行时间。在方法上，我们提出了使用图像相关的密集检测查询和高效的稀疏跟踪查询我们精心设计的查询学习网络（QLN）。一方面，密集的图像相关检测查询允许我们通过密集的热图输出来全局和鲁棒地推断目标的位置。另一方面，稀疏跟踪查询集有效地与我们的transCenter解码器中的图像特征进行交互，以通过时间关联对象位置。因此，TransCenter表现出显着的性能改进，并在两个标准的MOT基准测试中（两个跟踪设置（公共/私人））大幅优于当前最先进的方法。通过广泛的消融研究以及与更简单的替代方案和并行工作的比较，也证明了TransCenter的有效性和准确性。出于科学兴趣，该代码在https://github.com/yihongxu/transcenter上公开提供。
2022-09-30 cs.CV
Event-based Monocular Dense Depth Estimation with Recurrent Transformers
提供高时间分辨率和高动态范围的事件摄像机为解决常见挑战带来了新的视角（例如，运动模糊和低光深度估计。然而，如何有效地利用稀疏的空间信息和丰富的时间线索，从异步事件仍然是一个具有挑战性的努力。为此，我们提出了一种新的基于事件的单目深度估计与经常性的Transformers器，即EReFormer，这是第一个纯Transformer与递归机制来处理连续的事件流。在空间建模方面，提出了一种基于空间Transformer融合模块的变换器编解码器，具有比基于CNN的方法更好的全局上下文信息建模能力。对于时间建模，我们设计了一个门递归视觉Transformer单元，引入了递归机制到Transformers，提高时间建模能力，同时减轻昂贵的GPU内存成本。实验结果表明，我们的EReFormer在合成和真实世界的数据集上都优于最先进的方法。我们希望我们的工作将吸引进一步的研究，在基于事件的视觉社区中开发出令人惊叹的Transformers。我们的开源代码可以在补充材料中找到。
2022-12-06 cs.CV
A residual dense vision transformer for medical image super-resolution with segmentation-based perceptual loss fine-tuning
University of Cambridge（剑桥大学）；Imperial College London（帝国理工学院）；Royal Brompton Hospital（皇家布朗普顿医院）
超分辨率在医学成像中起着至关重要的作用，因为它提供了一种替代方法来实现高空间分辨率和图像质量，而无需额外的采集成本。在过去的几十年里，深度神经网络的快速发展促进了超分辨率性能，具有新颖的网络架构，损失函数和评估指标。具体来说，Vision Transformers在广泛的计算机视觉任务中占主导地位，但在将其应用于低级医疗图像处理任务时仍然存在挑战。本文提出了一种有效的Vision Transformer与剩余密集连接和局部特征融合，以实现有效的单图像超分辨率（SISR）的医疗模式。此外，我们实现了一个通用的感知损失与手动控制图像质量的改善所需的方面，通过将医学图像分割的先验知识。在四个公共医学图像数据集上与现有方法进行比较，在七种模态中，该方法在六种模态下获得了最好的PSNR分数。该算法仅用SwinIR的38%的参数就能使PSNR平均提高$+0.09$ dB.另一方面，对于SOTA方法，包括CNN和Vision Transformers，基于分割的感知损失平均增加了$+0.14$ dB PSNR。此外，我们还进行了全面的消融研究，以讨论Vision Transformers优于CNN的潜在因素以及网络和损失功能组件的影响。代码将与论文一起发布在GitHub上。
2023-03-03 cs.CV cs.LG eess.IV
A Better Use of Audio-Visual Cues: Dense Video Captioning with Bi-modal Transformer
Tampere University（坦佩雷大学）
密集视频描述旨在定位和描述未修剪视频中的重要事件。现有的方法主要通过只利用视觉特征来解决这个任务，而完全忽略了音轨。只有少数先前的作品利用了这两种模式，但它们显示出较差的结果或证明了具有特定域的数据集的重要性。在本文中，我们介绍了双模态Transformer，它概括了双模态输入的Transformer架构。我们展示了所提出的模型的有效性与音频和视觉模态的密集视频描述任务，但该模块能够消化任何两种形式的序列到序列的任务。我们还表明，作为双模态Transformer的一部分，预训练的双模态编码器可以用作简单提案生成模块的特征提取器。该性能在具有挑战性的ActivityNet Captions数据集上得到了证明，我们的模型在该数据集上实现了出色的性能。代码可在以下网址获得：v-iashin.github.io/bmt
2020-08-11 cs.CL cs.CV cs.LG
3D Shuffle-Mixer: An Efficient Context-Aware Vision Learner of Transformer-MLP Paradigm for Dense Prediction in Medical Volume
Tencent AI Lab（腾讯人工智能实验室）；Peking Union Medical College Hospital（北京协和医院）
医学体积中的密集预测为临床分析提供了丰富的指导。CNN主干由于缺乏长距离依赖性和全局上下文建模能力而遇到瓶颈。由于CNN具有较强的全局捕获能力和学习能力，最近的工作提出将视觉Transformer与CNN相结合。然而，大多数工作仅限于简单地应用具有几个致命缺陷的纯Transformer（即，缺乏归纳偏差、计算量大且很少考虑3D数据）。因此，设计一个优雅和高效的视觉Transformer学习器在医学体积密集预测是有前途的和具有挑战性的。在本文中，我们提出了一种新的3D洗牌混合器网络的一个新的本地视觉Transformer -MLP范例的医疗密集预测。在我们的网络中，一个本地的视觉Transformer块被用来洗牌和学习空间上下文从全视图切片的重新排列的体积，一个剩余的轴向MLP被设计为混合和捕获剩余的体积上下文切片感知的方式，和一个MLP视图聚合器被用来投影学习的全视图丰富的上下文以视图感知的方式的体积功能。此外，提出了一种自适应缩放增强的局部视觉Transformer，以增强沿空间和通道的自适应特征，并提出了一种交叉合并的金字塔结构中的多尺度功能适当的跳跃连接。大量的实验表明，该模型优于其他国家的最先进的医疗密集预测方法。
2022-04-14 cs.AI cs.CV
IRISformer: Dense Vision Transformers for Single-Image Inverse Rendering in Indoor Scenes
UC San Diego（加州大学圣地亚哥分校）；Qualcomm AI Research（高通人工智能研究院）
由于任意不同的物体形状、空间变化的材料和复杂的照明之间的无数相互作用，室内场景表现出显着的外观变化。由可见和不可见光源引起的阴影、高光和相互反射需要推理出逆向渲染的远程交互，逆向渲染试图恢复图像形成的组成部分，即形状、材质和照明。在这项工作中，我们的直觉是，Transformer架构学习的长距离注意力非常适合解决单图像逆渲染中的长期挑战。我们演示了一个具体的实例化的密集的视觉Transformer，IRISformer，擅长在单任务和多任务推理所需的逆渲染。具体来说，我们提出了一个Transformer架构，同时估计深度，法线，空间变化的亮度，粗糙度和照明从一个单一的图像的室内场景。我们对基准数据集的广泛评估展示了上述每个任务的最新结果，使对象插入和材料编辑等应用程序能够在单个不受约束的真实图像中实现，比以前的作品具有更高的照片真实感。代码和数据在https://github.com/ViLab-UCSD/IRISformer上公开发布。
2022-06-16 cs.CV
DeMT: Deformable Mixer Transformer for Multi-Task Learning of Dense Prediction
National Engineering Research Center for Multimedia Software, School of Computer Science, Wuhan University（武汉大学多媒体软件国家工程研究中心）；Hubei Luojia Laboratory（湖北珞珈实验室）；JD Explore Academy（京东探索研究院）
卷积神经网络（CNN）和Transformers各有优势，在多任务学习（MTL）中被广泛用于稠密预测。目前对MTL的研究大多数仅依赖于CNN或Transformer。在这项工作中，我们提出了一种新的MTL模型结合变形CNN和基于查询的Transformer的多任务学习的密集预测的优点。我们的方法，名为DeMT，是基于一个简单而有效的编码器-解码器架构（即，可变形混合器编码器和任务感知Transformer解码器）。首先，可变形混合器编码器包含两种类型的算子：被利用以允许不同声道之间的通信的声道感知混合算子（$i.e.,$高效声道位置混合），以及具有应用于高效地对更多信息空间位置进行采样的可变形卷积的空间感知可变形算子（即，变形的特征）。第二，任务感知的Transformer解码器由任务交互模块和任务查询模块组成。前者通过自我注意捕捉任务交互特征。后者利用变形特征和任务交互特征，通过基于查询的Transformer生成相应的任务特定特征，用于相应的任务预测。在两个密集图像预测数据集NYUD-v2和PASCAL-Context上进行的大量实验表明，我们的模型使用更少的GFLOP，并且在各种指标上显著优于当前基于Transformer和CNN的竞争模型。代码可在https://github.com/yangyangxu0/DeMT上获得。
2023-03-04 cs.AI cs.CV
Dense Prediction Transformer for Scale Estimation in Monocular Visual Odometry
Aeronautics Institute of Technology（航空技术研究所）
单目视觉里程计通过单个摄像机的图像来估计智能体的位置，并且它被应用于自动驾驶车辆、医疗机器人和增强现实。然而，单目系统由于在2D帧中缺乏深度信息而遭受尺度模糊问题。本文的贡献，显示应用密集预测Transformer模型的规模估计单目视觉里程计系统。实验结果表明，该模型通过对深度图的精确估计，可以有效降低单目系统的尺度漂移问题，在视觉里程计基准测试中具有较好的性能。
2022-10-04 cs.AI cs.CV
Dense Transformer based Enhanced Coding Network for Unsupervised Metal Artifact Reduction
KU Leuven（鲁汶大学）
针对CT图像金属伪影去除中难以保留结构信息的问题，提出DTEC-Net，通过高阶密集过程与transformer增强编码并采用二阶解耦改进解码，在基准数据集上优于现有方法且有效恢复纹理细节。
2023-07-28 cs.CV eess.IV
CompleteDT: Point Cloud Completion with Dense Augment Inference Transformers
Beijing Institute of Technology（北京理工大学）
点云补全任务的目的是预测不完整点云中缺失的部分，生成具有细节的完整点云。在本文中，我们提出了一种新的点云完成网络，即CompleteDT。具体地说，从具有不同分辨率的点云中学习特征，这些特征是从不完整的输入中采样的，并且基于几何结构被转换成一系列\textit{spots}。然后，提出了基于Transformer的稠密关系增强模块（Dense Relationship Augment Module，简称DRE），用于学习\textit{spots}中的特征，并考虑这些\textit{spots}之间的相关性。该算法由点局部注意模块（PLA）和点密集多尺度注意模块（PDMA）组成，PLA通过自适应地测量邻域的权重来获取局部\textit{spots}中的局部信息，PDMA以多尺度密集连接的方式利用这些\textit{spots}之间的全局关系.最后，通过多分辨率点融合模块（MPF）从\textit{spots}预测完整的形状，MPF从\textit{spots}逐渐生成完整的点云，并基于这些生成的点云更新\textit{spots}。实验结果表明，由于基于Transformer的预测器能够从不完整的输入中学习表情特征，而MPF能够充分挖掘这些特征来预测完整的输入，因此该方法在很大程度上优于现有方法。
2022-06-10 cs.CV
GridFormer: Residual Dense Transformer with Grid Structure for Image Restoration in Adverse Weather Conditions
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Hong Kong University of Science and Technology（香港科技大学）；Rakuten Institute of Technology（乐天理工研究院）；Imperial College London（伦敦帝国学院）；KAIST（韩国科学技术院）；Tencent（腾讯）；Australian National University（澳大利亚国立大学）；Nanjing University（南京大学）
针对恶劣天气下图像复原难题，提出基于网格结构与残差密集Transformer块的GridFormer框架，通过增强注意力机制和RDTB提升特征学习能力，在五类图像复原任务上达到SOTA水平。
2024-06-21 cs.CV
ViT-CoMer: Vision Transformer with Convolutional Multi-scale Feature Interaction for Dense Predictions
Baidu Inc.（百度公司）
针对ViT在密集预测任务中局部交互受限和特征尺度单一的问题，提出无需预训练的ViT-CoMer主干网络，通过注入多感受野卷积特征与双向融合模块增强多尺度特征交互，在COCO和ADE20K上取得优异性能。
2024-03-27 cs.CV
Spatiality-guided Transformer for 3D Dense Captioning on Point Clouds
University of Sydney（悉尼大学）
3D点云中的密集字幕是一项新兴的视觉和语言任务，涉及对象级3D场景理解。除了传统3D目标检测中的粗略语义类预测和限界框回归之外，3D密集字幕旨在为每个感兴趣的场景对象产生关于视觉外观和空间关系的自然语言描述的更进一步和更精细的实例级标签。为了检测和描述场景中的对象，遵循神经机器翻译的精神，我们提出了一种基于转换器的编码器-解码器架构，即SpaCap 3D，将对象转换为描述，其中，我们特别研究了3D场景中对象的相对空间性，并通过令牌到令牌空间关系学习目标和以对象为中心的解码器设计了空间性引导的编码器，以实现精确和空间性。增强的对象标题生成。在两个基准数据集ScanRefer和ReferIt 3D上进行评估，我们提出的SpaCap 3D在CIDEr@0.5IoU上分别比基线方法Scan 2Cap高出4.94%和9.61%。包含源代码和补充文件的项目页面可在https://SpaCap3D.github.io/上找到。
2022-04-22 cs.CV
Phase Marginalization for Patch-Grid Instability in Vision Transformers
Scientific and Technological Research Council of Türkiye（土耳其科学技术研究委员会）
提出相位边缘化方法，通过评估结构化补丁网格相位、逆对齐密集输出并在原始图像坐标系聚合，消除视觉Transformer中补丁网格相位引起的预测不稳定性，无需训练即可提升分割、深度和匹配性能。
2026-06-06 cs.CV cs.LG
Integrative Feature and Cost Aggregation with Transformers for Dense Correspondence
Korea University（高丽大学）；Microsoft Research Asia（微软亚洲研究院）
我们提出了一种新的架构密集对应。当前最先进的方法是基于Transformer的方法，这些方法专注于特征描述符或成本量聚合。然而，它们通常聚合一个或另一个，而不是两者，尽管联合聚合可以通过提供一个拥有而另一个缺乏的信息来促进彼此，即，图像的结构或语义信息，或逐像素匹配相似性。在这项工作中，我们提出了一种新的基于transformer的网络，以利用其互补信息的方式交织这两种形式的聚合。具体来说，我们设计了一个自我关注层，利用描述符来消除嘈杂的成本量的歧义，并利用成本量聚合功能的方式，促进准确的匹配。随后的交叉注意层执行进一步的聚合，条件是两个图像的描述符，并通过较早层的聚合输出的帮助。我们进一步提高了分层处理的性能，其中粗层次的聚合指导那些在更精细的水平。我们评估了所提出的方法在密集匹配任务上的有效性，并在所有主要基准上实现了最先进的性能。还提供了广泛的消融研究，以验证我们的设计选择。
2022-09-20 cs.CV
SDLFormer: A Sparse and Dense Locality-enhanced Transformer for Accelerated MR Image Reconstruction
Indian Institute of Technology Madras (IITM)（印度理工学院马德拉斯分校）；Healthcare Technology Innovation Centre (HTIC), IITM（印度理工学院马德拉斯分校医疗技术创新中心）
本文提出SDLFormer，一种融合扩张与稠密邻域注意力及深度卷积的窗口Transformer，通过自监督学习在k空间拆分策略下实现多线圈MRI加速重建，在PSNR和SSIM上显著优于其他架构和并行域自监督基线。
2023-08-08 cs.CV cs.LG eess.IV
Strong-TransCenter: Improved Multi-Object Tracking based on Transformers with Dense Representations
School of Electrical Engineering, Tel-Aviv University（特拉维夫大学电气工程学院）
针对多目标跟踪中的轨迹位移估计问题，本文提出Strong-TransCenter，通过集成卡尔曼滤波器与嵌入网络的后处理机制优化TransCenter，显著提升了跟踪准确性与鲁棒性。
2024-12-21 cs.CV
Dense residual Transformer for image denoising
University of Science and Technology Beijing（北京科技大学）；Beijing Jiaotong University（北京交通大学）
图像去噪是一个重要的底层计算机视觉任务，其目的是从含噪图像中重建出无噪的高质量图像。随着深度学习的发展，卷积神经网络（CNN）逐渐得到应用，并在图像去噪、图像压缩、图像增强等方面取得了巨大成功。最近，Transformer成为热门技术，被广泛用于解决计算机视觉任务。然而，很少有基于transformer的方法已经提出了低层次的视觉任务。本文提出了一种基于Transformer的图像去噪网络结构，命名为DenS former。DenSinformer由三个模块组成，包括预处理模块、局部-全局特征提取模块和重建模块。具体地，局部-全局特征提取模块由若干个变换器组组成，每个变换器组具有若干个ETransformer层和卷积层，以及残差连接。这些变形器组是密集的跳跃连接，融合不同层的功能，他们共同捕捉局部和全局信息，从给定的噪声图像。我们进行综合实验我们的模型。实验结果表明，与现有的一些方法相比，无论是对合成噪声数据还是对真实噪声数据，本文提出的方法在客观评价和主观评价方面都有了很大的改进。
2022-05-14 cs.CV
End-to-End Dense Video Captioning with Masked Transformer
University of Michigan（密歇根大学）；Salesforce Research（Salesforce研究院）
密集视频描述旨在为未修剪视频中的所有事件生成文本描述。这包括检测和描述事件。因此，所有以前的密集视频描述的方法解决这个问题，通过建立两个模型，即事件建议和字幕模型，这两个子问题。这些模型可以单独训练，也可以交替训练。这防止了语言描述对事件提议的直接影响，这对于生成准确的描述是重要的。为了解决这个问题，我们提出了一个端到端的Transformer模型密集的视频描述。编码器将视频编码成适当的表示。建议解码器从具有不同锚的编码解码以形成视频事件建议。字幕解码器采用掩蔽网络来限制其对编码特征上的提议事件的注意力。该掩码网络将事件提案转换为可区分的掩码，以确保在训练期间提案和字幕之间的一致性。此外，我们的模型采用了自我注意力机制，这使得在编码过程中使用高效的非递归结构，并导致性能的改善。我们在ActivityNet Captions和YouCookII数据集上证明了这种端到端模型的有效性，我们分别获得了10.12和6.58的METEOR分数。
2018-04-03 cs.CV
Stacked Dense U-Nets with Dual Transformers for Robust Face Alignment
InsightFace；Imperial College London（帝国理工学院）
在野外拍摄的图像中，面部标志点定位是一个重要且具有挑战性的问题。目前的最新技术围绕着某些类型的深度卷积神经网络（DCNN），如堆叠U网和沙漏网络。在这项工作中，我们创新性地提出了堆叠密集U网来完成这项任务。我们设计了一种新的规模聚合网络拓扑结构和信道聚合模块，在不牺牲计算复杂性和模型规模的前提下提高了模型的容量。借助于堆叠密集U网内部的可变形卷积和外部数据变换的相干损失，我们的模型获得了对任意输入人脸图像空间不变的能力。在大量野外数据集上的实验验证了该方法在极端姿态、夸张表情和严重遮挡情况下的鲁棒性。最后，我们表明，准确的三维人脸对齐可以帮助姿态不变的人脸识别，我们实现了一个新的国家的最先进的CFP-FP的准确性。
2018-12-05 cs.CV
