InstaFormer: Instance-Aware Image-to-Image Translation with Transformer
Korea University（高丽大学）
我们提出了一种新的基于transformer的网络架构，用于实例感知的图像到图像翻译，称为InstaFormer，以有效地集成全局和实例级信息。通过将从图像中提取的内容特征视为令牌，我们的网络通过考虑Transformers中的自我注意模块的上下文信息来发现内容特征的全局共识。通过增强这样的令牌与实例级功能提取的内容特征相对于限界框信息，我们的框架是能够学习对象实例和全局图像之间的交互，从而提高实例意识。我们将标准Transformers中的层归一化（LayerNorm）替换为自适应实例规范化（AdaIN），以实现具有样式代码的多模态转换。此外，为了提高对象区域的实例感知和翻译质量，我们提出了一种定义在输入和翻译图像之间的实例级内容对比度损失。我们进行实验以证明InstaFormer在最新方法中的有效性，并提供广泛的消融研究。
2022-03-30 cs.CV
Braided Vision Transformer for Stroke Detection in Multi-view Retinal Fundus Imaging
VTT Technical Research Centre of Finland（芬兰国家技术研究中心）
该研究提出BViT模型，利用双眼多视角视网膜眼底成像检测卒中，在自制Stroke-Data数据集上AUC达0.75，性能优于常规视觉Transformer。
2026-08-18 cs.CV
SnowFormer: Context Interaction Transformer with Scale-awareness for Single Image Desnowing
Jimei University（集美大学）；Southwest University（西南大学）
由于积雪退化的多样性和复杂性，单帧图像去噪是一项具有挑战性的图像复原任务。由于现有技术不能理想地处理它，我们提出了一种新的Transformer，SnowFormer，它探索了有效的交叉注意力，以建立跨补丁的局部-全局上下文交互，并超越了现有的工作，采用本地操作员或香草Transformers。与现有的去噪方法和通用的图像复原方法相比，SnowFormer具有几个优点。首先，不同于最近的图像复原视觉Transformer中的多头自注意，SnowFormer结合了多头交叉注意力机制来执行尺度感知的雪查询和局部块嵌入之间的局部-全局上下文交互。其次，SnowFormer中的雪查询由查询生成器从聚合的尺度感知特征生成，这些特征富含潜在的干净线索，从而获得优异的恢复结果。第三，SnowFormer在六个合成和真实世界数据集上胜过先进的最先进的去噪网络和普遍的通用图像复原Transformers。代码在\url{https://github.com/Ephemeral182/SnowFormer}中发布。
2022-11-13 cs.CV
Towards Robust Video Instance Segmentation with Temporal-Aware Transformer
Alibaba Group（阿里巴巴集团）
现有的基于Transformer的视频实例分割方法多是独立地提取每帧的特征，难以解决外观变形问题。在本文中，我们观察到的时间信息是很重要的，以及我们提出TAFormer聚合时空特征在Transformer编码器和解码器。具体而言，在Transformer编码器中，提出了一种时空联合的多尺度可变形注意力模型，动态地融合时空信息，获得丰富的时空特征。在Transformer解码器中，我们引入了一个时间自关注模块，以增强帧级的框查询与时间的关系。此外，TAFormer采用实例级对比损失来增加实例查询嵌入的可区分性。因此，可以减少由视觉相似实例引起的跟踪误差。实验结果表明，TAFormer有效地利用空间和时间信息来获得上下文感知的特征表示，并优于最先进的方法。
2023-01-20 cs.CV
Evaluating the Explainability of Vision Transformers in Medical Imaging
Department of Computing, Imperial College London, UK（计算系，帝国理工学院伦敦分校，英国）
本研究评估ViT、DeiT、DINO和Swin Transformer在医学影像中的可解释性，发现DINO结合Grad-CAM提供最忠实和局部化的解释，支持ViTs在临床诊断中的可靠集成。
2025-10-13 cs.CV
ViTOC: Vision Transformer and Object-aware Captioner
本文提出ViTOC模型，通过Vision Transformer与目标检测器双路径架构融合全局与局部特征，结合目标感知提示策略，在COCO数据集上超越基线模型，并提出基于CLIP的无参考评估方法，提升图像描述生成的准确性与多样性。
2025-04-17 cs.CV
MATrIX -- Modality-Aware Transformer for Information eXtraction
AWS AI（亚马逊云科技人工智能部门）
本文提出了一种用于可视化文档理解（VDU）领域的信息抽取的模态感知Transformer--MATrIX。VDU涵盖了从视觉丰富的文档中提取信息抽取，这些文档包括表单、发票、收据、表格、图表、演示文稿或广告。其中，文本语义和视觉信息相互补充，以提供对文档的全局理解。MATrIX以无监督的方式进行预训练，专门设计需要使用多模态信息（空间，视觉或文本）的任务。我们认为空间和文本模态一次在一个单一的令牌集。为了使注意更加灵活，我们在注意力机制中使用了一个学习到的模态感知相对偏差来调节不同模态的标记之间的注意。我们在3个不同的数据集上评估MATrIX，每个数据集都有很强的基线。
2022-05-17 cs.CV
PiSLTRc: Position-informed Sign Language Transformer with Content-aware Convolution
Beihang University（北京航空航天大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
由于Transformer在学习长时依存关系方面的优势，手语Transformer模型在手语识别和翻译方面取得了显著的进展。然而，Transformer存在几个问题，这些问题妨碍了它更好地理解符号语言理解。第一个问题是自注意力机制以逐帧的方式学习手势视频表示，忽略了手势的时间语义结构。其次，具有绝对位置编码的注意力机制是方向和距离不知道的，从而限制了其能力。为了解决这些问题，我们提出了一种新的模型架构，即PiSLTRc，具有两个独特的特征：（i）内容感知和位置感知卷积层。具体来说，我们明确地选择相关功能，使用一种新的内容感知的邻域收集方法。然后，我们将这些特征与位置通知的时间卷积层聚合，从而生成鲁棒的邻域增强符号表示。(ii)将相对位置信息注入到编码器、解码器甚至编码器-解码器交叉注意中的注意力机制。与香草Transformer模型相比，我们的模型在三个大规模手语基准测试中表现更好：PHOENIX-2014，PHOENIX-2014-T和CSL。此外，大量的实验表明，所提出的方法达到了最先进的性能与$+1.6$ BLEU改进的翻译质量。
2021-07-27 cs.CV
Vision Transformers in Medical Imaging: A Review
Covenant University（盟约大学）；Virginia Tech（弗吉尼亚理工大学）
Transformer是一种包括基于注意力的编码器-解码器体系结构的模型，在自然语言处理（NLP）领域中已经获得了流行，并且最近影响了计算机视觉（CV）空间。计算机视觉和医学成像之间的相似之处，审查了研究人员之间的问题，如果Transformers对计算机视觉的影响可以转化为医学成像？本文就Transformers在医学成像中的应用作一综述。描述了Transformer模型，并将其与多种卷积神经网络（CNN）进行了比较，详细介绍了基于Transformer的医学图像分类、分割、配准和重建方法，重点关注图像模态，在标准医疗数据集上比较最先进的Transformer架构与最佳性能CNN的性能。
2022-11-18 cs.AI cs.CV
Diverse Part Discovery: Occluded Person Re-identification with Part-Aware Transformer
University of Science and Technology of China（中国科学技术大学）；Dongguan University of Technology（东莞理工学院）
被遮挡人员重新识别（Re-ID）是一项具有挑战性的任务，因为人员经常被各种障碍物或其他人遮挡，特别是在人群场景中。为了解决这些问题，我们提出了一种新的端到端的部分感知Transformer（PAT）闭塞的人重新识别通过不同的部分发现通过一个Transformer encoderdecoder架构，包括一个基于像素上下文的Transformer编码器和一个基于部分原型的Transformer解码器。所提出的PAT模型具有几个优点。首先，据我们所知，这是第一个在统一的深度模型中利用Transformer编码器-解码器架构来实现被遮挡人员Re-ID的工作。其次，为了更好地学习零件原型，我们设计了两个有效的机制，包括零件多样性和零件可辨别性。因此，我们可以实现不同的部分发现被遮挡的人Re-ID在弱监督的方式。针对三个任务（遮挡，部分和整体Re-ID）的六个具有挑战性的基准测试的广泛实验结果表明，我们提出的PAT对最先进的方法表现良好。
2021-06-08 cs.CV
Geometry Attention Transformer with Position-aware LSTMs for Image Captioning
University of Electronic Science and Technology of China（电子科技大学）
近年来，Transformer结构已经广泛应用于图像描述中，并具有令人印象深刻的性能。为了获得良好的字幕效果，不同视觉对象的几何形状和位置关系通常被认为是关键信息。为了进一步促进基于Transformers的图像描述，提出了一种改进的几何注意力Transformer（GAT）模型.为了进一步利用几何信息，两个新的几何感知架构分别设计的编码器和解码器在我们的GAT。此外，该模型还包括两个工作模块：1）几何门控自注意细化器，用于在编码步骤中显式地将相对空间信息合并到图像区域表示中; 2）一组位置LSTM，用于在生成字幕文本时精确地通知解码器相对单词位置。在MS COCO和Flickr 30 K数据集上的实验结果表明，该方法具有较好的效果，并且性能优于现有的图像描述模型.
2021-10-01 cs.CV
SOIT: Segmenting Objects with Instance-Aware Transformers
Hikvision Research Institute（海康威视研究院）
本文提出了一个端到端的实例分割框架，称为SOIT，分割对象与实例感知Transformers。受DETR \cite{carion2020end}的启发，我们的方法将实例分割视为直接集预测问题，并有效地消除了对许多手工制作的组件（如ROI裁剪，一对多标签分配和非最大抑制（NMS））的需要。在SOIT中，学习多个查询以在全局图像上下文下并行地直接推理一组语义类别、边界框位置和像素掩码的对象嵌入。类和边界盒可以很容易地嵌入一个固定长度的向量。尤其是像素级掩码，通过一组参数来嵌入，以构造轻量级的实例感知的Transformer。之后，由实例感知的Transformer生成全分辨率掩码，而不涉及任何基于RoI的操作。总的来说，SOIT引入了一个简单的单阶段实例分割框架，它既没有RoI，也没有NMS。在MS COCO数据集上的实验结果表明，SOIT明显优于最先进的实例分割方法。此外，在统一的查询嵌入多个任务的联合学习也可以大大提高检测性能。代码可在\url{https://github.com/yuxiaodongHRI/SOIT}上获得。
2021-12-23 cs.CV
Neighbor-Aware Token Reduction via Hilbert Curve for Vision Transformers
本文提出基于Hilbert曲线的邻域感知令牌减少方法，通过保留邻域结构提升ViTs的计算效率和准确率。
2026-09-23 cs.CV
Speed-up of Vision Transformer Models by Attention-aware Token Filtering
Hitachi, Ltd.（日立公司）
本文提出注意力感知令牌过滤方法ATF，通过在ViT的令牌化器与编码器间引入无需微调的过滤模块，动态保留高注意力区域令牌，在保持SigLIP检索召回率的同时实现2.8倍加速。
2025-06-02 cs.CV
Frequency-Aware Vision Transformers for High-Fidelity Super-Resolution of Earth System Models
Computer Science, Texas State University（德克萨斯州立大学计算机科学系）；Chemical Engineering, The University of Utah（犹他大学化学工程系）
本文提出ViSIR和ViFOR两种频率感知框架，通过结合视觉变换器与正弦激活或傅里叶过滤，提升地球系统模型超分辨率的保真度和结构相似度。
2026-02-18 cs.CV
Graph-Segmenter: Graph Transformer with Boundary-aware Attention for Semantic Segmentation
ZongMu Technology（纵目科技）；Technical University of Braunschweig（布伦瑞克工业大学）
本文提出Graph-Segmenter，通过Graph Transformer联合建模窗口间全局关系与窗口内像素局部关系，并利用Boundary-aware Attention优化对象边缘，在三个主流语义分割数据集上达到SOTA性能。
2023-08-15 cs.CV
Enhancing cross-domain detection: adaptive class-aware contrastive transformer
Shanghai Jiao Tong University（上海交通大学）
针对跨域目标检测中标签不足与类别不平衡问题，提出结合 mean-teacher、IoU 感知伪标签筛选、动态阈值和类别感知对比学习的 Transformer 方法，性能优于现有方法。
2024-01-24 cs.CV
FaceFormer: Scale-aware Blind Face Restoration with Transformers
Tencent PCG（腾讯平台与内容事业群）；ARC Lab, Tencent PCG（腾讯平台与内容事业群ARC实验室）
盲人脸恢复通常会遇到不同尺度的人脸输入，特别是在现实世界中。然而，目前大多数的工作支持特定的比例的面孔，这限制了它在现实世界中的应用能力。在这项工作中，我们提出了一种新的规模感知的盲人脸恢复框架，命名为FaceFormer，制定了规模感知变换的面部特征恢复。建议的面部特征上采样（FFUP）模块动态生成上采样滤波器的基础上，原始的比例因子先验，这有利于我们的网络，以适应任意的面部尺度。此外，我们进一步提出了面部特征嵌入（FFE）模块，它利用Transformer分层提取的多样性和鲁棒性的面部潜在的。因此，我们的FaceFormer实现保真度和鲁棒性恢复的脸，具有逼真和对称的面部组件的细节。大量的实验表明，我们提出的方法训练合成数据集更好地推广到一个自然的低质量图像比目前的最先进的。
2022-07-20 cs.CV
Ghost-free High Dynamic Range Imaging with Context-aware Transformer
Megvii Technology（旷视科技）；Noah’s Ark Lab, Huawei Technologies（华为技术有限公司诺亚方舟实验室）；University of Electronic Science and Technology of China（电子科技大学）
高动态范围（HDR）去重影算法旨在生成具有真实细节的无重影HDR图像。受感受野局部性的限制，现有的基于CNN的方法在存在大运动和严重饱和的情况下通常容易产生重影伪影和强度失真。在本文中，我们提出了一种新的上下文感知视觉Transformer（CA-ViT）的无重影高动态范围成像。CA-ViT被设计为双分支架构，可以联合捕获全局和局部依赖关系。具体而言，全局分支采用基于窗口的Transformer编码器来对长距离对象移动和强度变化进行建模，以解决重像。对于局部分支，我们设计了一个局部上下文提取器（LCE）来捕获短距离图像特征，并使用通道注意力机制来选择信息丰富的局部细节，以补充全局分支。通过将CA-ViT作为基本组件，我们进一步构建了HDR-Transformer，这是一个用于重建高质量无重影HDR图像的分层网络。在三个基准数据集上的大量实验表明，我们的方法在定性和定量上都优于最先进的方法，并且大大减少了计算预算。代码可在https://github.com/megvii-research/HDR-Transformer上获得
2022-08-10 cs.CV
Person Re-Identification with a Locally Aware Transformer
University of Maryland Baltimore County（马里兰大学巴尔的摩县分校）
人员再识别是基于计算机视觉的监控应用中的一个重要问题，其中试图从多个附近区域的监控照片中识别出同一个人。目前，大多数人员重新识别技术都是基于卷积神经网络（CNN），但视觉Transformer开始取代纯CNN用于各种对象识别任务。视觉变换器的主要输出是全局分类标记，但是视觉Transformer也产生包含关于图像的局部区域的附加信息的局部标记。利用这些局部标记来提高分类精度的技术是一个活跃的研究领域。我们提出了一种新的本地感知的Transformer（LA-Transformer），采用基于部件的卷积基线（PCB）启发的策略，用于将全局增强的本地分类令牌聚合到$\sqrt{N}$分类器的集合中，其中$N$是补丁的数量。另一个新颖之处在于，我们采用了块式微调，进一步提高了重新ID的准确性。采用分块微调的LA-Transformer在Market-1501数据集上实现了$98.27 \%$的1级精度，标准差为$0.13$，在CUHK 03数据集上实现了$98.7\%$的1级精度，标准差为$0.2$，优于撰写本文时所有其他最先进的已发布方法。
2021-06-08 cs.CV
Semantic-Aware Local-Global Vision Transformer
Harbin Institute of Technology at Shenzhen（哈尔滨工业大学（深圳））；Xiaomi Corporation（小米公司）
视觉Transformer已经取得了令人瞩目的进展，其中Swin Transformer展示了Transformer在视觉任务方面的巨大潜力。它克服了高计算复杂性的关键挑战，通过在移位窗口内执行局部自注意。在这项工作中，我们提出了语义感知局部全局视觉Transformer（SALG），进一步研究两个潜在的改进Swin Transformer。首先，与Swin Transformer不同，它执行均匀分区以产生相同大小的常规窗口用于局部自我注意，我们的SALG以无监督的方式执行语义分割以探索图像中的潜在语义先验。因此，每个分割区域可以对应于图像中语义上有意义的部分，潜在地导致每个分割区域内的更有效的特征。其次，而不是像Swin Transformer那样仅在局部窗口内执行局部自注意，所提出的SALG执行1）用于学习每个区域内的细粒度特征的局部区域内自注意和2）用于建模所有区域之间的全局依赖关系的全局区域间特征传播。因此，我们的模型能够在学习每个令牌的特征时获得全局视图，这是Transformer的本质优势。由于显式建模的语义先验和建议的局部-全局建模机制，我们的SALG是特别有利的小规模模型时，建模能力是不够的其他模型隐式学习语义。在各种视觉任务的广泛实验表明，我们的模型的优点比其他视觉Transformer，特别是在小规模的建模场景。
2022-11-27 cs.CV
TransPose: 6D Object Pose Estimation with Geometry-Aware Transformer
College of Electronics and Information Engineering, Tongji University（同济大学电子与信息工程学院）
提出TransPose框架，通过引入几何感知模块和Transformer Encoder处理点云特征，有效利用深度几何信息提升6D物体位姿估计在遮挡等场景下的准确性。
2024-04-23 cs.CV
MAT: Mask-Aware Transformer for Large Hole Image Inpainting
The Chinese University of Hong Kong（香港中文大学）；Adobe Inc.（奥多比公司）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；Shanghai AI Laboratory（上海人工智能实验室）
最近的研究表明，在修复问题中建模远程相互作用的重要性。为了实现这一目标，现有的方法利用独立的注意力技术或Transformers，但通常在一个低分辨率的计算成本的考虑。在本文中，我们提出了一种新的基于变压器的模型，大孔洞修复，它结合了Transformers和卷积的优点，有效地处理高分辨率图像。我们精心设计我们的框架的每个组件，以保证恢复图像的高保真度和多样性。具体来说，我们自定义一个inpainting导向的Transformer块，其中的注意力模块聚合非本地信息，仅从部分有效的令牌，由动态掩码表示。大量的实验证明了新模型在多个基准数据集上的最新性能。代码发布于https://github.com/fenglinglwb/MAT。
2022-06-27 cs.CV
Category-Aware Transformer Network for Better Human-Object Interaction Detection
Huazhong University of Science and Technology（华中科技大学）
人-物交互（HOI）检测，其目的是定位的人和相关的对象，同时认识到他们的互动，是至关重要的理解静止图像。最近，基于变压器的模型显着推进了HOI检测的进展。然而，这些模型的能力还没有得到充分的探索，因为模型的对象查询总是简单地初始化为零，这将影响性能。在本文中，我们试图研究的问题，促进基于transformer的HOI检测器初始化的对象查询与类别感知的语义信息。为此，我们创新性地提出了类别感知Transformer网络（CATN）。具体地，对象查询将经由由外部目标检测模型表示的类别先验来初始化，以产生更好的性能。此外，此类类别先验还可用于通过注意力机制增强特征的表示能力。我们首先通过Oracle实验验证了我们的想法，通过使用groundtruth类别信息初始化对象查询。然后进行了大量的实验，表明配备了我们的想法的HOI检测模型的性能大大优于基线，达到了一个新的国家的最先进的结果。
2022-05-09 cs.CV
MiKASA: Multi-Key-Anchor & Scene-Aware Transformer for 3D Visual Grounding
DFKI（德国人工智能研究中心）；Augmented Vision（增强视觉（机构））
针对3D视觉定位中多锚点和视角依赖查询理解困难的问题，本文提出端到端MiKASA Transformer，通过场景感知编码器与多关键锚点技术提升准确率、空间理解和可解释性，并在Sr3D与Nr3D上取得最优结果。
2024-12-01 cs.CV
OTPose: Occlusion-Aware Transformer for Pose Estimation in Sparsely-Labeled Videos
Korea University（高丽大学）
虽然许多方法在视频中的多人姿态估计已经显示出深刻的结果，他们需要密集的注释数据，这需要过多的人力劳动。此外，存在遮挡和运动模糊，这不可避免地导致差的估计性能。为了解决这些问题，我们提出了一种方法，利用注意掩模遮挡关节和编码使用Transformers帧之间的时间依赖性。首先，我们的框架组成了不同的组合稀疏注释的帧，表示整体关节运动的轨迹。我们从这些组合中提出了一个遮挡注意掩码，使编码遮挡感知热图成为一个半监督任务。其次，所提出的时间编码器采用Transformer架构，以有效地聚合每个时间步长的时间关系和关键点关注，并精确地细化目标帧的最终姿态估计。我们为PoseTrack2017和PoseTrack2018数据集实现了最先进的姿态估计结果，并证明了我们的方法对稀疏注释视频数据中的遮挡和运动模糊的鲁棒性。
2022-07-28 cs.CV
Local Perception-Aware Transformer for Aerial Tracking
Tongji University（同济大学）
基于transformer的视觉对象跟踪已经被广泛使用。然而，Transformer结构缺乏足够的电感偏置。此外，只关注全局特征的编码不利于对局部细节的建模，从而限制了飞行机器人的跟踪能力。具体而言，局部建模的全局搜索机制，建议跟踪器取代了一种新的局部识别编码器的全局编码器。在编码器中，一个本地识别注意和本地元素校正网络的精心设计，以减少全局冗余信息的干扰和增加本地的归纳偏差。同时，后者通过细节查询网络，可以在鸟瞰图下精确建模局部目标细节。该方法实现了竞争力的准确性和鲁棒性，在几个权威的航空基准与316个序列。实际测试验证了该跟踪器的实用性和有效性。
2022-08-06 cs.CV
Boundary-Aware Vision Transformer for Angiography Vascular Network Segmentation
College of Computing and Informatics, University of Sharjah（计算机与信息学院，沙迦大学）；Scientific and Technical Research Center for the Development of Arabic Language (CRSTDLA)（阿拉伯语言发展科学技术研究中心（CRSTDLA））；Artificial Intelligence Research Institute（人工智能研究所）；Skolkovo Institute of Science and Technology（斯克尔科沃科学与技术研究所）；Bauman Moscow State Technical University（莫斯科巴乌姆技术大学）；Moscow Technical University of Communications and Informatics（莫斯科通信与信息大学）；BIMAI-Lab, Biomedically Informed Artificial Intelligence Laboratory（BIMAI实验室，生物医学引导的人工智能实验室）
针对冠脉造影血管分割中CNN拓扑连续性差、ViT边界感知不足的问题，提出带边缘感知损失的边界感知视觉Transformer BAVT，结构极简可适配VFM预训练，在DCA-1数据集上性能优于CNN及混合基线，实现临床级血管分割。
2025-06-15 cs.CV
Frequency Guidance Matters: Skeletal Action Recognition by Frequency-Aware Mixed Transformer
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；Carnegie Mellon University（卡内基梅隆大学）；Microsoft Corporation（微软公司）；University of Central Florida（中佛罗里达大学）
针对相似骨骼动作判别难的问题，本文提出频率感知混合 Transformer（FreqMixFormer），通过频率注意力解构关节频率表示并融合空间与时间特征，在 NTU RGB+D 等三个数据集上取得领先性能。
2024-07-29 cs.CV
Efficient Joint Detection and Multiple Object Tracking with Spatially Aware Transformer
Columbia University（哥伦比亚大学）；Sony Group Corporation（索尼集团公司）
我们提出了一个轻量级和高效的联合检测和跟踪流水线的任务，多目标跟踪使用全变压器架构。它是TransTrack的修改版本，克服了与其设计相关的计算瓶颈，同时实现了最先进的73.20%的MOTA评分。模型设计由基于Transformer的主干而不是CNN驱动，其具有高度的输入分辨率可扩展性。我们还提出了一种用于Transformer编码器层的前馈网络的插入式替换，通过使用蝴蝶变换操作来执行通道融合和深度卷积，以学习特征图内的空间上下文，否则在Transformer的注意力图内丢失。作为我们的修改的结果，我们减少了58.73%的整体模型大小的TransTrack和78.72%的复杂性。因此，我们希望我们的设计提供新的视角架构优化在未来的研究与多目标跟踪。
2022-11-09 cs.CV
Array Camera Image Fusion using Physics-Aware Transformers
Duke University（杜克大学）；University of Arizona（亚利桑那大学）
我们展示了一个物理感知的Transformer，用于从具有不同分辨率、颜色空间、焦平面、焦距和曝光的相机进行基于特征的数据融合。我们还展示了一个可扩展的解决方案，合成训练数据生成的Transformer使用开源计算机图形软件。我们展示了不同的光谱响应，瞬时视场和帧速率的阵列上的图像合成。
2022-07-05 cs.CV eess.IV
Degradation-Aware Self-Attention Based Transformer for Blind Image Super-Resolution
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；La Trobe University（乐卓博大学）
针对盲图像超分辨率中Transformer网络难自适应退化的问题，提出融合对比学习、结合CNN与退化感知Transformer的模型，在多个基准上取得最优性能。
2023-10-06 cs.CV
SDTP: Semantic-aware Decoupled Transformer Pyramid for Dense Image Prediction
Huawei（华为）；CERT（国家计算机网络应急技术处理协调中心）
虽然Transformer在计算机视觉任务上取得了很大的进展，但密集图像预测中的尺度变化仍然是关键挑战。在Transformer中，有效的多尺度技术很少被应用，并且现有方法存在两个主要的局限性。一方面，vanilla Transformer中的自注意模块由于其机制过于僵化，未能充分利用语义信息的多样性。另一方面，由于计算负担沉重，很难在不同层次之间建立注意力和互动。为了缓解这个问题，我们首先回顾了密集预测中的多尺度问题，验证了不同语义表示和多尺度交互的重要性，并探索了Transformer对金字塔结构的适应性。受这些发现的启发，我们提出了一种新的语义感知的解耦Transformer金字塔（SDTP）的密集图像预测，包括层内语义提升（ISP），跨层解耦交互（CDI）和注意力细化功能（ARF）。ISP探讨了不同接受空间中的语义差异。CDI在解耦空间中建立了全局注意力和不同层次之间的交互，解决了计算量大的问题。此外，还进一步增加了ARF，以细化Transformer中的注意力。实验结果表明，该方法的有效性和通用性，它优于国家的最先进的密集图像预测任务的显着保证金。此外，所提出的组件都是即插即用的，可以嵌入到其他方法中。
2021-09-18 cs.CV
Modular Transformer Architecture for Precision Agriculture Imaging
University Park The Pennsylvania State University PA, United States（帕克大学帕萨迪纳分校）；Engineering Division, Great Valley The Pennsylvania State University PA, United States（工程部，大山谷帕萨迪纳分校）
本文提出一种质量感知的模块化Transformer框架，通过分析无人机图像退化类型并动态路由至专用模型，实现高效准确的杂草分割，优于现有CNN方法。
2025-08-07 cs.CV
SwinNet: Swin Transformer drives edge-aware RGB-D and RGB-T salient object detection
Anhui University（安徽大学）
卷积神经网络（CNN）擅长于提取特定感受野内的纹理特征，而Transformers则可以对全局的长程依赖特征进行建模。Swin Transformer吸收了Transformer的优点和CNN的优点，表现出较强的特征表示能力。在此基础上，我们提出了一种用于RGB-D和RGB-T显着目标检测的跨模态融合模型SwinNet。该方法以Swin Transformer为驱动，提取层次特征;以注意力机制为辅助，弥合两种模态之间的鸿沟;以边缘信息为引导，锐化显著对象的轮廓。具体而言，两码流Swin Transformer编码器首先提取多模态特征，然后提出空间对齐和通道重校准模块，优化层内跨模态特征。为了澄清模糊边界，边缘引导解码器在边缘特征的指导下实现跨模态融合。该模型在RGB-D和RGB-T数据集上的表现优于最先进的模型，表明它提供了对跨模态互补任务的更多见解。
2022-04-12 cs.CV
Diverse Instance Discovery: Vision-Transformer for Instance-Aware Multi-Label Image Recognition
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）
以前关于多标签图像识别（MLIR）的工作通常使用CNN作为研究的起点。本文以纯视觉Transformer（ViT）为研究基础，充分利用Transformer具有长程依赖建模的优势，克服了CNN局限于局部感受野的缺点。然而，对于包含来自不同类别、尺度和空间关系的多个对象的多标签图像，单独使用全局信息并不是最佳的。我们的目标是利用ViT的补丁令牌和自我注意力机制来挖掘多标签图像中的丰富实例，称为多样性实例发现（DiD）。为此，我们提出了一个语义类别感知模块和空间关系感知模块，分别，然后结合两者的重新约束策略，以获得实例感知的注意力地图。最后，我们提出了一种基于弱监督目标定位的方法来提取多尺度局部特征，以形成多视图管道。我们的方法只需要弱监督信息在标签级别，没有额外的知识注入或其他强监督信息是必需的。在三个基准数据集上的实验表明，我们的方法显着优于以前的作品，并在公平的实验比较下达到最先进的结果。
2022-04-22 cs.CV
Decision-Aware Attention Propagation for Vision Transformer Explainability
Aarhus University（奥胡斯大学）；University of Colorado Boulder（科罗拉多大学波德分校）；KIST（韩国科学技术院）
本文提出DAP方法，通过注入决策相关的先验知识到Transformer注意力传播中，生成更敏感、紧凑且忠实的属性图，提升ViT的可解释性。
2026-04-20 cs.CV
Target-Grounded Graph-Aware Transformer for Aerial Vision-and-Dialog Navigation
UCAS（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
针对空中视觉-对话导航的跨模态关联难题，提出TG-GAT框架，结合图感知Transformer、辅助视觉锚定任务与大语言模型混合增强，在AVDN挑战赛中SPL、SR指标较基线分别提升2.2%、3.0%并夺冠。
2023-12-14 cs.CV
FreqMixFormerV2: Lightweight Frequency-aware Mixed Transformer for Human Skeleton Action Recognition
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；University of Central Florida（中佛罗里达大学）
本文提出轻量级模型FreqMixFormerV2，通过重新设计频率算子和简化频率感知注意力模块，在仅用60%参数量的情况下超越现有方法，实现人体骨架动作识别中效率与精度的更优平衡。
2024-12-29 cs.CV
Towards Scale-Aware Full Surround Monodepth with Transformers
AMD（超威半导体公司）；USTC（中国科学技术大学）
本研究针对全环绕单目深度估计的尺度感知提升问题，提出含邻域增强跨视图注意力的Transformer深度网络与结合渐进训练的Transformer特征匹配SfM优化方案，所提SA-FSM方法在DDAD基准上精度优于现有先进方法。
2024-07-15 cs.CV
Retrieval-Augmented Layout Transformer for Content-Aware Layout Generation
The University of Tokyo（东京大学）；CyberAgent（CyberAgent公司）
针对高维布局训练数据有限的问题，提出 RALF，利用基于输入图像检索到的最近邻布局增强自回归 Transformer，在统一架构中完成多种可控布局生成并显著优于基线。
2024-04-15 cs.CV
SoMoFormer: Social-Aware Motion Transformer for Multi-Person Motion Prediction
Hangzhou Dianzi University（杭州电子科技大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
多人运动预测仍然是一个具有挑战性的问题，特别是在个人运动和社会交互的联合表示学习中。大多数现有方法仅涉及学习个体运动的局部姿势动态（没有全局身体轨迹），并且还难以捕获社交交互的复杂交互依赖性。在本文中，我们提出了一种新的社会感知运动Transformer（SoMoFormer），有效地模拟个人运动和社会互动的联合方式。具体来说，SoMoFormer从位移轨迹空间的子序列中提取运动特征，以有效地学习每个人的局部和全局姿态动态。此外，我们在SoMoFormer中设计了一种新的社会感知运动注意力机制，以进一步优化动态表示，并通过跨时间和社会维度的运动相似性计算同时捕获交互依赖关系。在短期和长期范围内，我们在多人运动数据集上对我们的框架进行了经验评估，并证明我们的方法大大优于最先进的单人和多人运动预测方法。代码将在接受后公开提供。
2023-02-05 cs.CV
3D Human Pose Estimation via Spatial Graph Order Attention and Temporal Body Aware Transformer
School of Computer and Information Engineering, Henan University（河南大学计算机与信息工程学院）
提出结合图阶注意力与时间身体感知Transformer的3D人体姿态估计方法，通过多阶图建模和中心姿态感知自注意力机制解决现有Transformer与GCN方法的局限，在多个数据集上验证了有效性。
2025-05-02 cs.CV
UIA-ViT: Unsupervised Inconsistency-Aware Method based on Vision Transformer for Face Forgery Detection
University of Science and Technology of China（中国科学技术大学）
帧内不一致性在人脸伪造检测的推广中被证明是有效的。然而，学习关注这些不一致性需要额外的像素级伪造位置注释。获取这样的注释是不平凡的。现有的一些方法生成的大规模合成数据带有位置标注，这些数据仅由真实图像组成，无法捕捉伪造区域的属性。其他人通过减去成对的真实和虚假图像来生成伪造位置标签，然而这样的成对数据很难收集，并且生成的标签通常是不连续的。为了克服这些局限性，我们提出了一种新的无监督的不一致性感知方法的基础上视觉Transformer，称为UIA-ViT，它只利用视频级标签，可以学习不一致性感知功能，没有像素级的注释。由于自注意力机制，补丁嵌入之间的注意图自然地表示一致性关系，使得视觉Transformer适合于一致性表示学习。在视觉Transformer的基础上，提出了两个关键组件：无监督的块一致性学习（UPCL）和渐进一致性加权装配（PCWA）。UPCL被设计用于学习具有渐进优化的伪注释的一致性相关表示。PCWA增强了最终的分类嵌入与先前的补丁嵌入优化UPCL，以进一步提高检测性能。大量的实验证明了该方法的有效性。
2022-10-23 cs.CV
Patch Similarity Aware Data-Free Quantization for Vision Transformers
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
视觉Transformer最近在各种计算机视觉任务上取得了巨大成功;然而，它们的高模型复杂性使得在资源受限的设备上部署具有挑战性。量化是降低模型复杂度的有效方法，而无数据量化能够解决模型部署过程中的数据隐私和安全问题，受到了广泛的关注。不幸的是，所有现有的方法，例如BN正则化，都是为卷积神经网络设计的，并且不能应用于具有显著不同的模型架构的视觉Transformer。在本文中，我们提出了PSAQ-ViT，一个补丁相似性感知无数据量化框架的视觉变换器，使“现实”的样本的生成基于Vision Transformer的独特属性校准的量化参数。具体来说，我们分析了自我注意模块的属性，并揭示了一般的差异（补丁相似性）在其处理高斯噪声和真实图像。上述见解指导我们设计一个相对值度量来优化高斯噪声以近似真实图像，然后利用该相对值度量来校准量化参数。在各种基准上进行了大量的实验和消融研究，以验证PSAQ-ViT的有效性，它甚至可以优于真实数据驱动的方法。代码可从以下网址获得：https://github.com/zkkli/PSAQ-ViT。
2023-01-05 cs.CV
HGFormer: Topology-Aware Vision Transformer with HyperGraph Learning
School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院）
本文提出HGFormer，通过超图学习建模视觉token的局部组与空间拓扑关系，结合CS-KNN语义引导和拓扑感知超图注意力机制，在多个视觉基准上取得与最先进方法相当的竞争力。
2025-04-09 cs.CV
MR-Transformer: Vision Transformer for Total Knee Replacement Prediction Using Magnetic Resonance Imaging
New York University Langone Health（纽约大学朗格尼健康中心）；New York University（纽约大学）
本文提出MR-Transformer模型，结合ImageNet预训练与3D空间相关性，利用多对比度膝关节MRI实现全膝关节置换术预测，并在两个骨关节炎数据库上取得最先进性能。
2024-05-05 cs.CV eess.IV
Symmetry-Aware Transformer-based Mirror Detection
Harbin Institute of Technology（哈尔滨工业大学）；City University of Hong Kong（香港城市大学）
镜像检测的目的是识别给定输入图像中的镜像区域。现有的工作主要集中在结合语义特征和结构特征来挖掘镜像区域和非镜像区域之间的特定关系，或者引入深度、手征等镜像属性来分析镜像的存在性。在这项工作中，我们观察到，一个真实的对象通常形成一个松散的对称关系，其相应的反射在镜子中，这是有益的区分镜子从真实的对象。基于这一观察，我们提出了一个双路径对称性感知的基于变换器的镜像检测网络（SATNet），它包括两个新的模块：对称性感知注意模块（SAAM）和对比度和融合解码器模块（CFDM）。具体来说，我们首先采用一个Transformer骨干来模拟图像中的全局信息聚合，在两条路径上提取多尺度特征。然后，我们饲料的高层次的双路径功能SAAM捕捉对称关系。最后，我们融合双路径特征，并使用CFDM逐步完善我们的预测图，以获得最终的镜像掩码。实验结果表明，SATNet优于RGB和RGB-D镜像检测方法在所有可用的镜像检测数据集。代码和训练模型可在https://github.com/tyhuang0428/SATNet上获得。
2022-09-04 cs.CV
Semi-UFormer: Semi-supervised Uncertainty-aware Transformer for Image Dehazing
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；PLA Dalian Naval Academy（中国人民解放军大连海军学院）
图像去雾是计算机视觉中的一个基本问题，但一直没有得到很好的解决。大多数先进的模型都是在合成数据中训练的，这导致了在现实世界的朦胧场景中表现不佳。此外，它们通常给出确定性的去雾图像，而忽略了挖掘它们的不确定性。为了弥合领域差距，提高去雾性能，我们提出了一种新的半监督不确定性感知Transformer网络，称为半UFormer。Semi-UFormer可以很好地利用现实世界的模糊图像及其不确定性指导信息。具体来说，Semi-UFormer建立在知识蒸馏框架之上。这样的师生网络有效地吸收了真实世界的雾霾信息，以实现高质量的去雾。此外，一个不确定性估计块被引入到模型中，以估计像素的不确定性表示，然后将其用作指导信号，以帮助学生网络更准确地产生无雾图像。大量的实验表明，半UFormer概括以及从合成到现实世界的图像。
2022-10-28 cs.CV
Location-Aware Self-Supervised Transformers for Semantic Segmentation
Google Research（谷歌研究院）
像素级标签的获取成本特别高。因此，预训练是改进语义分割等任务模型的关键步骤。然而，用于预训练神经网络的突出算法使用图像级目标，例如图像分类、CLIP的图文对齐或自监督对比学习。这些目标不对空间信息进行建模，这可能在使用空间推理对下游任务进行微调时是次优的。在这项工作中，我们使用位置感知（LOCA）自监督方法预训练网络，该方法可以促进强密集特征的出现。具体来说，我们使用补丁级聚类方案来挖掘密集的伪标签和相对位置预测任务，以鼓励学习对象的部分及其空间排列。我们的实验表明，LOCA预训练导致的表示，竞争性地转移到具有挑战性和多样性的语义分割数据集。
2023-03-15 cs.CV
A Novel Lightweight Transformer with Edge-Aware Fusion for Remote Sensing Image Captioning
针对遥感图像描述模型计算成本高且忽视边缘等细粒度结构的问题，本文提出结合 GPT-2 蒸馏解码器、知识蒸馏与边缘感知增强的轻量级 Transformer，显著提升描述质量。
2025-06-11 cs.CV
Event Transformer. A sparse-aware solution for efficient event data processing
Universidad de Zaragoza（萨拉戈萨大学）；Bitbrain Technologies（比特布莱恩科技公司）
事件摄像机是许多在低资源和挑战性环境中运行的应用程序非常感兴趣的传感器。它们记录稀疏照明变化，具有高时间分辨率和高动态范围，同时它们呈现最小的功耗。然而，性能最好的方法往往忽略特定的事件数据属性，导致通用的，但计算昂贵的算法的发展。对于复杂的任务，努力寻求有效的解决方案通常无法实现最高精度的结果。这项工作提出了一种新的框架，事件Transformer（EvT），有效地利用事件数据属性是高效和准确的。我们引入了一个新的基于补丁的事件表示和一个紧凑的transformer-like架构来处理它。EvT是在不同的动作和手势识别基于事件的基准进行评估。评估结果显示，EvT的准确性优于或相当于最先进的水平，同时需要的计算资源显著减少，这使得EvT能够在GPU和CPU上以最小的延迟工作。
2022-04-18 cs.CV
Entity-aware and Motion-aware Transformers for Language-driven Action Localization in Videos
Beijing Laboratory of Intelligent Information Technology（北京智能信息技术实验室）；Beijing Institute of Technology（北京理工大学）
视频中的语义驱动的动作定位是一项具有挑战性的任务，不仅涉及视觉语言匹配，而且还涉及动作边界预测。通过将语言查询与视频片段对齐已经取得了最新进展，但是估计精确的边界仍然没有得到充分的探索。在本文中，我们提出了实体感知和运动感知的Transformers，逐步本地化的行动，在视频中的第一个粗略定位剪辑与实体查询，然后精细预测准确的边界在一个收缩的时间区域与运动查询。实体感知的Transformer通过跨模态和跨帧注意力将文本实体并入视觉表示学习中，以促进与动作相关的视频片段的注意力。运动感知的Transformer通过将长短期记忆集成到自我注意模块中来捕获多个时间尺度上的细粒度运动变化，以进一步提高动作边界预测的精度。在Charades-STA和TACoS数据集上进行的大量实验表明，该方法比现有方法具有更好的性能。
2022-05-12 cs.CV cs.MM
Target-aware Bi-Transformer for Few-shot Segmentation
Chongqing University（重庆大学）
本文提出目标感知双Transformer网络TBTNet，通过等价处理支持图像与查询图像，并利用目标感知Transformer层提取前景相关性，以仅0.4M参数的轻量模型在少样本分割任务上实现高效收敛与优异性能。
2023-09-18 cs.CV
