Cross-domain Detection Transformer based on Spatial-aware and Semantic-aware Token Alignment
University of Electronic Science and Technology of China（电子科技大学）
像DETR这样的检测Transformers最近在许多目标检测任务上显示出有希望的性能，但是这些方法的泛化能力对于跨领域自适应场景仍然是相当具有挑战性的。为了解决跨域问题，一个简单的方法是在Transformers中使用对抗训练来执行令牌对齐。然而，它的性能往往是不令人满意的检测Transformers中的令牌是相当多样化的，并表示不同的空间和语义信息。在本文中，我们提出了一种新的方法称为空间感知和语义感知令牌对齐（SSTA）的跨域检测Transformers。特别是，我们利用交叉注意的特点，用于检测Transformer，并提出了空间感知的令牌对齐（SpaTA）和语义感知的令牌对齐（SemTA）策略，以指导令牌对齐跨域。对于空间感知的标记对齐，我们可以从交叉注意力图（CAM）中提取信息，以根据标记对对象查询的注意力来对齐标记的分布。对于语义感知的标记对齐，我们将类别信息注入到交叉注意力图中，并构造域嵌入来指导多类学习，从而在整个自适应过程中对类别关系进行建模并实现类别级标记对齐。我们在几个广泛使用的基准上进行了大量的实验，结果清楚地表明了我们所提出的方法在现有的最先进的基线上的有效性。
2022-06-01 cs.CV
SSTVOS: Sparse Spatiotemporal Transformers for Video Object Segmentation
University of Toronto（多伦多大学）；University of Guelph（圭尔夫大学）；Université de Lyon（里昂大学）；INSA-Lyon（里昂国立应用科学学院）；Modiface Inc（Modiface公司）；Vector Institute（矢量研究所）
在本文中，我们介绍了一种基于transformer的视频对象分割（VOS）的方法。为了解决复合误差和可扩展性的问题，以前的工作，我们提出了一个可扩展的，端到端的VOS方法称为稀疏时空Transformers（SST）。SST提取每像素表示为视频中的每个对象使用稀疏注意时空功能。我们基于注意力的VOS公式允许模型学习在多帧的历史上参加，并提供适当的归纳偏差，用于执行解决运动分割所需的类似对应的计算。我们证明了在时空域中基于注意力的递归网络的有效性。我们的方法在YouTube-VOS和DAVIS 2017上取得了有竞争力的结果，与现有技术相比，可扩展性和对遮挡的鲁棒性有所提高。代码可在https://github.com/dukebw/SSTVOS上获得。
2021-03-29 cs.CV
FlatFusion: Delving into Details of Sparse Transformer-based Camera-LiDAR Fusion for Autonomous Driving
School of Computer Science and School of Artificial Intelligence, Shanghai Jiao Tong University（计算机科学学院和人工智能学院，上海交通大学）；Carnegie Mellon University（卡内基梅隆大学）
本文全面探索了基于 Transformer 的稀疏相机-LiDAR 融合设计选择，提出 FlatFusion 框架，通过优化映射策略、注意力分组和微结构，在 nuScenes 上以 10.1 FPS 达到 73.7 NDS，显著超越现有方法。
2025-06-30 cs.CV
LISTA-Transformer Model Based on Sparse Coding and Attention Mechanism and Its Application in Fault Diagnosis
Beijing University of Chemical Technology（北京化工大学）
本文提出基于LISTA和Transformer的稀疏编码模型，通过时频转换提升故障诊断性能，在CWRU数据集上达到98.5%的识别率。
2026-03-04 cs.CV
OTPose: Occlusion-Aware Transformer for Pose Estimation in Sparsely-Labeled Videos
Korea University（高丽大学）
虽然许多方法在视频中的多人姿态估计已经显示出深刻的结果，他们需要密集的注释数据，这需要过多的人力劳动。此外，存在遮挡和运动模糊，这不可避免地导致差的估计性能。为了解决这些问题，我们提出了一种方法，利用注意掩模遮挡关节和编码使用Transformers帧之间的时间依赖性。首先，我们的框架组成了不同的组合稀疏注释的帧，表示整体关节运动的轨迹。我们从这些组合中提出了一个遮挡注意掩码，使编码遮挡感知热图成为一个半监督任务。其次，所提出的时间编码器采用Transformer架构，以有效地聚合每个时间步长的时间关系和关键点关注，并精确地细化目标帧的最终姿态估计。我们为PoseTrack2017和PoseTrack2018数据集实现了最先进的姿态估计结果，并证明了我们的方法对稀疏注释视频数据中的遮挡和运动模糊的鲁棒性。
2022-07-28 cs.CV
Parameter Efficient Continual Learning for Sparse Event-Based Transformers
IIT Guwahati（古瓦哈蒂印度理工学院）；SustainAI Lab, MFSDS&AI（SustainAI实验室、MFSDS&AI）
本文针对稀疏事件驱动视觉Transformer提出参数高效持续学习框架sLoTh，仅更新不足1%参数即可实现无重放的类增量与在线持续学习，能耗约为传统密集Transformer的1/6.5。
2026-08-28 cs.CV
Scene Adaptive Sparse Transformer for Event-based Object Detection
University of Science and Technology of China（中国科学技术大学）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）
针对事件相机目标检测中稀疏Transformer稀疏性和适应性不足的问题，本文提出场景自适应稀疏Transformer（SAST），通过窗口-token协同稀疏化和动态场景优化，在1Mpx和Gen1数据集上以更低计算成本超越了现有稠密与稀疏网络。
2024-04-02 cs.CV
AxWin Transformer: A Context-Aware Vision Transformer Backbone with Axial Windows
Xinjiang University（新疆大学）；Shanghai AI Laboratory（上海人工智能实验室）；University of Chinese Academy of Sciences（中国科学院大学）
针对现有视觉Transformer注意力方法难以兼顾局部-全局信息交互、粗细粒度信息平衡的问题，提出可同时建模局部窗口与轴向视图上下文的AxWin注意力，并构建AxWin Transformer骨干网络，在多项视觉任务上取得SOTA性能。
2023-05-02 cs.CV
Fusion of regional and sparse attention in Vision Transformers
Purdue University（普渡大学）；Futurewei Technologies Inc.（华为主机技术公司）
针对区域注意力与稀疏注意力在层级结构和全局上下文间的权衡，本文提出Atrous Attention并构建ACC-ViT，以更少参数在ImageNet-1K上超过MaxViT。
2024-06-13 cs.CV
Sparse Double Descent in Vision Transformers: real or phantom threat?
LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院电信巴黎LTCI实验室）
研究探讨了ViT中稀疏双重下降现象，发现传统架构如Resnet受此影响，而最优调优的$l_2$正则化能缓解ViT的该现象，但代价是牺牲潜在压缩率。
2023-07-26 cs.CV
MonoDTR: Monocular 3D Object Detection with Depth-Aware Transformer
National Taiwan University（国立台湾大学）；Mobile Drive Technology（移动驱动科技公司）
单目3D目标检测是自动驾驶中一项重要而又具有挑战性的任务。一些现有的方法利用来自现成的深度估计器的深度信息来辅助3D检测，但是遭受额外的计算负担并且实现由不准确的深度先验引起的有限的性能。为了缓解这一问题，我们提出了MonoDTR，一种新型的端到端深度感知Transformer网络，用于单目3D目标检测。它主要由两个组件组成：（1）深度感知特征增强（DFE）模块，该模块隐式地学习具有辅助监督的深度感知特征，而不需要额外的计算;以及（2）深度感知Transformer（DTR）模块，该模块全局地集成上下文和深度感知特征。此外，不同于传统的逐像素位置编码，我们引入了一种新的深度位置编码（DPE）注入深度位置提示到Transformers。我们提出的深度感知模块可以很容易地插入到现有的仅图像的单目3D对象检测器，以提高性能。在KITTI数据集上的大量实验表明，我们的方法优于以前最先进的基于单眼的方法，并实现了实时检测。代码可在https://github.com/kuanchihhuang/MonoDTR上获得
2022-03-28 cs.CV
SparseVoxFormer: Sparse Voxel-based Transformer for Multi-modal 3D Object Detection
Samsung Electronics, AI Center（三星电子人工智能中心）；Samsung R&D Institute China Xi’an (SRCX)（三星中国西安研发中心）
本文提出SparseVoxFormer，利用稀疏体素特征替代BEV作为Transformer检测器输入，并通过体素坐标到图像的投影实现显式多模态融合，在降低计算成本的同时提升3D目标检测的整体与远距离性能。
2025-03-11 cs.CV
LGT-Net: Indoor Panoramic Room Layout Estimation with Geometry-Aware Transformer Network
East China Normal University（华东师范大学）；Yiwo Technology（易沃科技）
使用深度神经网络通过单个全景图进行3D房间布局估计已经取得了很大进展。然而，以前的方法不能获得有效的几何感知的房间布局与唯一的纬度的边界或水平深度。我们提出，使用水平深度随着房间高度可以获得全向几何意识的房间布局在水平和垂直方向。此外，我们提出了一个平面几何感知的损失函数与法线和法线的梯度，以监督墙壁的平面度和拐角的转折。我们提出了一个有效的网络，LGT-Net，房间布局估计，其中包含一个新的Transformer架构称为SWG-Transformer模型的几何关系。SWG-Transformer由（移位）窗口块和全局块组成，以结合局部和全局几何关系。此外，我们设计了一种新的相对位置嵌入的Transformer，以提高空间识别能力的全景。实验结果表明，建议的LGT-Net取得了更好的性能比当前的最先进的（SOTA）的基准数据集。
2022-03-25 cs.CV
InstaFormer: Instance-Aware Image-to-Image Translation with Transformer
Korea University（高丽大学）
我们提出了一种新的基于transformer的网络架构，用于实例感知的图像到图像翻译，称为InstaFormer，以有效地集成全局和实例级信息。通过将从图像中提取的内容特征视为令牌，我们的网络通过考虑Transformers中的自我注意模块的上下文信息来发现内容特征的全局共识。通过增强这样的令牌与实例级功能提取的内容特征相对于限界框信息，我们的框架是能够学习对象实例和全局图像之间的交互，从而提高实例意识。我们将标准Transformers中的层归一化（LayerNorm）替换为自适应实例规范化（AdaIN），以实现具有样式代码的多模态转换。此外，为了提高对象区域的实例感知和翻译质量，我们提出了一种定义在输入和翻译图像之间的实例级内容对比度损失。我们进行实验以证明InstaFormer在最新方法中的有效性，并提供广泛的消融研究。
2022-03-30 cs.CV
SVT-Net: Super Light-Weight Sparse Voxel Transformer for Large Scale Place Recognition
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院）；Department of Management Science and Engineering, Tsinghua University（清华大学管理科学与工程系）
基于点云的大规模地点识别是同时定位与地图构建等应用的基础。虽然已经提出了许多模型，并取得了良好的性能，通过学习短期的本地功能，长期的上下文属性往往被忽视。此外，模型尺寸也成为其广泛应用的瓶颈。为了克服这些挑战，我们提出了一个超轻量的网络模型称为SVT-Net的大规模地点识别。具体而言，在高效的3D稀疏卷积（SP-Conv）之上，提出了基于原子的稀疏体素Transformer（ASVT）和基于粒子的稀疏体素Transformer（CSVT）来学习该模型中的短程局部特征和长程上下文特征。SVT-Net由ASVT和CSVT组成，可以在超轻模型大小（0.9M）的基准数据集上实现最先进的精度和速度。同时，介绍了SVT-Net的两个简化版本，它们也达到了最先进的水平，并进一步将模型大小分别减少到0.8M和0.4M。
2021-12-13 cs.CV
DynaST: Dynamic Sparse Transformer for Exemplar-Guided Image Generation
National University of Singapore（新加坡国立大学）
样本引导图像生成的一个关键挑战在于在输入图像和引导图像之间建立细粒度的对应关系。先前的方法，尽管有希望的结果，依赖于估计密集的注意力来计算每点匹配，这是有限的，由于二次存储器成本，只有粗略的尺度，或固定的对应关系的数量，以实现线性复杂度，这缺乏灵活性。在本文中，我们提出了一个动态稀疏注意力的基础上Transformer模型，称为动态稀疏Transformer（DynaST），以实现良好的效率与精细级匹配。我们的方法的核心是一个新的动态注意力单元，致力于覆盖一个位置应该关注的最佳标记数量的变化。具体来说，DynaST利用了Transformer结构的多层性质，并以级联的方式执行动态注意力方案，以优化匹配结果并合成视觉上令人愉悦的输出。此外，我们为DynaST引入了统一的训练目标，使其成为监督和无监督场景下通用的基于参考的图像翻译框架。在姿态引导的人物图像生成、基于边缘的人脸合成和不失真的图像风格转移三个应用上的大量实验表明，DynaST在局部细节方面具有优异的性能，在显著降低计算成本的同时优于最先进的技术。我们的代码可在https://github.com/Huage001/DynaST上获得
2023-03-27 cs.CV
Sparse but not Simpler: A Multi-Level Interpretability Analysis of Vision Transformers
University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文通过DeiT-III B/16模型评估了权重稀疏性与可解释性之间的关系，引入IMPACT框架分析四个层级，发现稀疏模型虽减少边数但节点活跃度无显著提升，表明稀疏性不必然提升可解释性。
2026-03-22 cs.CV
Sculpt4D: Generating 4D Shapes via Sparse-Attention Diffusion Transformers
The University of Hong Kong（香港大学）；ARC Lab, Tencent PCG（腾讯PCG实验室）
Sculpt4D通过在预训练的3D扩散变换器中集成高效时间建模，解决4D生成中的时间伪影和计算需求问题，实现高保真4D合成。
2026-04-23 cs.CV
Competition Domains Matter: Selective Head Globalization for Training-Free Sparse Attention in Video Diffusion Transformers
University of Chinese Academy of Sciences（中国科学院大学）
该研究针对视频扩散Transformer的无训练稀疏注意力，提出EG-Sparse框架，通过选择性适配竞争域提升性能，降低延迟并优于基线方法。
2026-10-14 cs.CV
SparseSwin: Swin Transformer with Sparse Transformer Block
Brawijaya University（布拉维贾亚大学）
针对Transformer参数量大、效率低的问题，提出带稀疏令牌转换器的SparTa块并嵌入Swin T架构得到SparseSwin，在更少参数下于多个图像分类数据集上取得优于现有最优模型的准确率。
2023-09-11 cs.AI cs.CV cs.LG
SASFormer: Transformers for Sparsely Annotated Semantic Segmentation
Zhejiang Lab（之江实验室）；Zhejiang University（浙江大学）
近年来，基于稀疏标注的语义分割得到了发展。它只标记图像中每个对象的一部分，其余部分未标记。大多数现有的方法都很耗时，往往需要多阶段的培训战略。在这项工作中，我们提出了一个简单而有效的稀疏注释的语义分割框架的基础上segformer，称为SASFormer，取得了显着的性能。具体来说，该框架首先生成分层补丁注意力图，然后将其乘以网络预测，以产生由有效标签分隔的相关区域。此外，我们还引入了亲和力损失，以确保相关结果和网络预测之间的特征之间的一致性。大量的实验表明，我们提出的方法优于现有的方法，并实现了尖端的性能。源代码可从\url{https://github.com/su-hui-zz/SASFormer}获得。
2023-02-25 cs.CV
Towards Robust Video Instance Segmentation with Temporal-Aware Transformer
Alibaba Group（阿里巴巴集团）
现有的基于Transformer的视频实例分割方法多是独立地提取每帧的特征，难以解决外观变形问题。在本文中，我们观察到的时间信息是很重要的，以及我们提出TAFormer聚合时空特征在Transformer编码器和解码器。具体而言，在Transformer编码器中，提出了一种时空联合的多尺度可变形注意力模型，动态地融合时空信息，获得丰富的时空特征。在Transformer解码器中，我们引入了一个时间自关注模块，以增强帧级的框查询与时间的关系。此外，TAFormer采用实例级对比损失来增加实例查询嵌入的可区分性。因此，可以减少由视觉相似实例引起的跟踪误差。实验结果表明，TAFormer有效地利用空间和时间信息来获得上下文感知的特征表示，并优于最先进的方法。
2023-01-20 cs.CV
Coarse-to-Fine Sparse Transformer for Hyperspectral Image Reconstruction
Shenzhen Institute of Future Media Technology（深圳未来媒体技术研究院）；Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Westlake University（西湖大学）；ETH Zürich（苏黎世联邦理工学院）
编码孔径快拍光谱成像（CASSI）逆问题的求解已经有很多算法，从2D压缩测量恢复所述3D高光谱图像（HSI）。近年来，基于学习的方法表现出良好的性能，并主导了主流的研究方向。然而，现有的基于CNN的方法在捕获长程依赖性和非局部自相似性方面表现出局限性。以前的基于transformer的方法密集地对令牌进行采样，其中一些令牌是无信息的，并计算一些内容无关的令牌之间的多头自注意力（MSA）。这不适合HSI信号的空间稀疏性质，并限制了模型的可扩展性。在本文中，我们提出了一种新的基于transformer的方法，粗到细稀疏Transformer（CST），首先嵌入HSI稀疏到深度学习HSI重建。特别是，CST使用我们提出的频谱感知筛选机制（SASM）的粗补丁选择。然后将所选的图像块送入我们定制的谱聚合散列多头自注意算法（SAH-MSA）进行精细像素聚类和自相似性捕获。综合实验表明，我们的CST显着优于国家的最先进的方法，同时需要更便宜的计算成本。代码和模型将在https://github.com/caiyuanhao1998/MST上发布
2022-07-11 cs.CV
SparseLaneSTP: Leveraging Spatio-Temporal Priors with Sparse Transformers for 3D Lane Detection
Bosch Mobility Solutions, Robert Bosch GmbH（博世移动解决方案，罗伯特·博世有限公司）；Institute of Neuro- and Bioinformatics, University of Lübeck（神经与生物医学研究所，吕贝克大学）；Institute for Signal Processing and System Theory, University of Stuttgart（信号处理与系统理论研究所，斯图加特大学）
SparseLaneSTP通过整合车道结构的几何属性和时间信息，利用稀疏变换器和时空注意力机制，提升3D车道检测的精度和一致性。
2026-01-08 cs.CV
Sprint: Sparse-Dense Residual Fusion for Efficient Diffusion Transformers
Snap Inc.（Snap公司）；Korea University（韩国大学）；KAIST（韩国科学技术院）
SPRINT通过稀疏-密集残差融合实现高效扩散变换器训练，实现高达75%的标记丢弃率，同时保持生成质量与效率。
2026-01-09 cs.CV
Dual Sparse Aggregation Transformer for Multispectral Object Detection
Northwestern Polytechnical University（西北工业大学）；School of Computer Science, Northwestern Polytechnical University（西北工业大学计算机学院）；School of Cybersecurity, Northwestern Polytechnical University（西北工业大学网络空间安全学院）；Shaanxi Provincial Key Laboratory of Speech and Image Information Processing（陕西省语音与图像信息处理重点实验室）；National Engineering Laboratory for Integrated Aerospace-Ground-Ocean Big Data Application Technology（空天地海一体化大数据应用技术国家工程实验室）
提出双稀疏聚合Transformer（DSAFormer），通过空间和通道稀疏注意力机制减少冗余交互，并引入可学习加法融合模块增强多模态特征融合，在四个数据集上达到最优检测性能。
2026-07-01 cs.CV
SViTT: Temporal Learning of Sparse Video-Text Transformers
UC San Diego（加州大学圣地亚哥分校）；Intel Labs（英特尔实验室）
针对视频-文本变换器时间推理不足的问题，本文提出稀疏架构SViTT，通过边稀疏和节点稀疏降低多帧推理成本，并在多个检索与问答基准上以更少计算量超越密集变换器。
2023-04-18 cs.CV
ViTOC: Vision Transformer and Object-aware Captioner
本文提出ViTOC模型，通过Vision Transformer与目标检测器双路径架构融合全局与局部特征，结合目标感知提示策略，在COCO数据集上超越基线模型，并提出基于CLIP的无参考评估方法，提升图像描述生成的准确性与多样性。
2025-04-17 cs.CV
Fast Multi-Organ Fine Segmentation in CT Images with Hierarchical Sparse Sampling and Residual Transformer
Siemens Medical Solutions USA Inc（西门子医疗解决方案美国公司）
针对3D医学图像多器官分割的速度与精度权衡问题，提出结合分层稀疏采样与残差Transformer的快速分割框架，在减少计算量的同时提升分割性能，CPU上处理速度达约2.24秒，具备实时精细分割潜力。
2025-11-11 cs.CV
MATrIX -- Modality-Aware Transformer for Information eXtraction
AWS AI（亚马逊云科技人工智能部门）
本文提出了一种用于可视化文档理解（VDU）领域的信息抽取的模态感知Transformer--MATrIX。VDU涵盖了从视觉丰富的文档中提取信息抽取，这些文档包括表单、发票、收据、表格、图表、演示文稿或广告。其中，文本语义和视觉信息相互补充，以提供对文档的全局理解。MATrIX以无监督的方式进行预训练，专门设计需要使用多模态信息（空间，视觉或文本）的任务。我们认为空间和文本模态一次在一个单一的令牌集。为了使注意更加灵活，我们在注意力机制中使用了一个学习到的模态感知相对偏差来调节不同模态的标记之间的注意。我们在3个不同的数据集上评估MATrIX，每个数据集都有很强的基线。
2022-05-17 cs.CV
PiSLTRc: Position-informed Sign Language Transformer with Content-aware Convolution
Beihang University（北京航空航天大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
由于Transformer在学习长时依存关系方面的优势，手语Transformer模型在手语识别和翻译方面取得了显著的进展。然而，Transformer存在几个问题，这些问题妨碍了它更好地理解符号语言理解。第一个问题是自注意力机制以逐帧的方式学习手势视频表示，忽略了手势的时间语义结构。其次，具有绝对位置编码的注意力机制是方向和距离不知道的，从而限制了其能力。为了解决这些问题，我们提出了一种新的模型架构，即PiSLTRc，具有两个独特的特征：（i）内容感知和位置感知卷积层。具体来说，我们明确地选择相关功能，使用一种新的内容感知的邻域收集方法。然后，我们将这些特征与位置通知的时间卷积层聚合，从而生成鲁棒的邻域增强符号表示。(ii)将相对位置信息注入到编码器、解码器甚至编码器-解码器交叉注意中的注意力机制。与香草Transformer模型相比，我们的模型在三个大规模手语基准测试中表现更好：PHOENIX-2014，PHOENIX-2014-T和CSL。此外，大量的实验表明，所提出的方法达到了最先进的性能与$+1.6$ BLEU改进的翻译质量。
2021-07-27 cs.CV
Sparse Fine-Tuning of Transformers for Generative Tasks
Purdue University（普渡大学）
提出受稀疏编码启发的 Transformers 微调框架，通过特征字典原子的稀疏组合提升可解释性，在图像编辑与文本到图像概念定制任务中均优于基线方法。
2025-07-14 cs.CV
HiST: A Hierarchical Sparse Transformer for Cross-Modal Spatial Transcriptomics Modeling
New Jersey Institute of Technology（新泽西理工学院）；Stevens Institute of Technology（史蒂文斯理工学院）；Karolinska Institutet（卡罗林斯卡学院）；Dartmouth College（达特茅斯学院）
提出HiST，一种分层稀疏Transformer，通过稀疏窗口注意力和分辨率变换算子实现高效的多尺度空间转录组推断，显著降低计算开销并提升预测性能。
2026-06-15 cs.CV
Diverse Part Discovery: Occluded Person Re-identification with Part-Aware Transformer
University of Science and Technology of China（中国科学技术大学）；Dongguan University of Technology（东莞理工学院）
被遮挡人员重新识别（Re-ID）是一项具有挑战性的任务，因为人员经常被各种障碍物或其他人遮挡，特别是在人群场景中。为了解决这些问题，我们提出了一种新的端到端的部分感知Transformer（PAT）闭塞的人重新识别通过不同的部分发现通过一个Transformer encoderdecoder架构，包括一个基于像素上下文的Transformer编码器和一个基于部分原型的Transformer解码器。所提出的PAT模型具有几个优点。首先，据我们所知，这是第一个在统一的深度模型中利用Transformer编码器-解码器架构来实现被遮挡人员Re-ID的工作。其次，为了更好地学习零件原型，我们设计了两个有效的机制，包括零件多样性和零件可辨别性。因此，我们可以实现不同的部分发现被遮挡的人Re-ID在弱监督的方式。针对三个任务（遮挡，部分和整体Re-ID）的六个具有挑战性的基准测试的广泛实验结果表明，我们提出的PAT对最先进的方法表现良好。
2021-06-08 cs.CV
Geometry Attention Transformer with Position-aware LSTMs for Image Captioning
University of Electronic Science and Technology of China（电子科技大学）
近年来，Transformer结构已经广泛应用于图像描述中，并具有令人印象深刻的性能。为了获得良好的字幕效果，不同视觉对象的几何形状和位置关系通常被认为是关键信息。为了进一步促进基于Transformers的图像描述，提出了一种改进的几何注意力Transformer（GAT）模型.为了进一步利用几何信息，两个新的几何感知架构分别设计的编码器和解码器在我们的GAT。此外，该模型还包括两个工作模块：1）几何门控自注意细化器，用于在编码步骤中显式地将相对空间信息合并到图像区域表示中; 2）一组位置LSTM，用于在生成字幕文本时精确地通知解码器相对单词位置。在MS COCO和Flickr 30 K数据集上的实验结果表明，该方法具有较好的效果，并且性能优于现有的图像描述模型.
2021-10-01 cs.CV
SOIT: Segmenting Objects with Instance-Aware Transformers
Hikvision Research Institute（海康威视研究院）
本文提出了一个端到端的实例分割框架，称为SOIT，分割对象与实例感知Transformers。受DETR \cite{carion2020end}的启发，我们的方法将实例分割视为直接集预测问题，并有效地消除了对许多手工制作的组件（如ROI裁剪，一对多标签分配和非最大抑制（NMS））的需要。在SOIT中，学习多个查询以在全局图像上下文下并行地直接推理一组语义类别、边界框位置和像素掩码的对象嵌入。类和边界盒可以很容易地嵌入一个固定长度的向量。尤其是像素级掩码，通过一组参数来嵌入，以构造轻量级的实例感知的Transformer。之后，由实例感知的Transformer生成全分辨率掩码，而不涉及任何基于RoI的操作。总的来说，SOIT引入了一个简单的单阶段实例分割框架，它既没有RoI，也没有NMS。在MS COCO数据集上的实验结果表明，SOIT明显优于最先进的实例分割方法。此外，在统一的查询嵌入多个任务的联合学习也可以大大提高检测性能。代码可在\url{https://github.com/yuxiaodongHRI/SOIT}上获得。
2021-12-23 cs.CV
Sparse Local Patch Transformer for Robust Face Alignment and Landmarks Inherent Relation Learning
University of Technology Sydney（悉尼科技大学）；Southern University of Technology and Science（南方科技大学）；CalmCar（天瞳威视）
近年来，热图回归方法在人脸配准领域占据主导地位，但它们忽略了不同特征点之间的内在联系。在本文中，我们提出了一个稀疏局部补丁Transformer（SLPT）的学习的内在关系。SLPT从局部块中生成每个单个地标的表示，并基于注意力机制通过自适应的内在关系聚合它们。基于聚合特征独立地预测每个地标的子像素坐标。此外，还引入了一个由粗到细的框架与SLPT相结合，这使得初始地标逐渐收敛到目标面部地标使用细粒度的功能，从动态调整大小的局部补丁。实验结果表明，该方法通过学习人脸特征点之间的内在联系，以较低的计算复杂性达到了最新水平。该代码可在项目网站上获得。
2022-03-26 cs.CV
SparseOcc++: Geometry-Aware Sparse Latent Representation for Semantic Occupancy Prediction
MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University（教育部人工智能重点实验室，上海交通大学人工智能研究院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
研究针对基于视觉的3D语义占用预测，提出SparseOcc++框架，通过场景完成场将场景完成与语义分割解耦，用新方法建模复杂户外几何，实验表明其提升了IoU且速度更快。
2026-07-07 cs.CV
SwinBERT: End-to-End Transformers with Sparse Attention for Video Captioning
Microsoft（微软）
视频描述的规范方法规定了从离线提取的密集视频特征中学习的字幕生成模型。这些特征提取器通常对以固定帧速率采样的视频帧进行操作，并且通常在图像/视频理解任务上进行训练，而不适应视频描述数据。在这项工作中，我们提出了SwinBERT，一个端到端的基于转换器的模型视频描述，它需要视频帧补丁直接作为输入，并输出一个自然语言的描述。我们的方法不是利用多个2D/3D特征提取器，而是采用视频Transformer来编码时空表示，该时空表示可以适应可变长度的视频输入，而无需针对不同的帧速率进行专门的设计。基于这个模型架构，我们表明，视频描述可以从更密集的采样视频帧中受益，而不是以前的成功与稀疏采样视频帧的视频和语言理解任务（例如，视频问答）。此外，为了避免连续视频帧中的固有冗余，我们提出了自适应学习稀疏注意力掩码并通过更好的长距离视频序列建模来优化它以提高特定任务的性能。通过对5个视频描述数据集的广泛实验，我们表明SwinBERT比以前的方法实现了全面的性能改进，通常是大幅度的。此外，学习的稀疏注意力掩码将限制推到了新的技术水平，并且可以在不同的视频长度之间和不同的数据集之间传输。代码可在https://github.com/microsoft/SwinBERT上获得
2022-06-18 cs.CV
PS-Transformer: Learning Sparse Photometric Stereo Network using Self-Attention Mechanism
National Institute of Informatics（国立信息学研究所）
现有的深度校准的光度立体网络基本上是基于预定义的操作（如线性投影和最大池化）在不同灯光下聚合观察结果。虽然它们对密集捕获是有效的，但简单的一阶运算往往无法捕获少量不同光下观测之间的高阶相互作用。为了解决这个问题，本文提出了一种深度稀疏校准的光度立体网络，名为{ \it PS-Transformer}，它利用可学习的自我注意力机制来正确捕获复杂的图像间交互。PS-Transformer建立在双分支设计的基础上，以探索像素和图像特征，并使用中间表面法线监督来训练单个特征，以最大限度地提高几何可行性。一个新的合成数据集命名为CyclesPS+与综合分析，成功地训练光度立体网络。在公开的基准数据集上的大量结果表明，所提出的方法的表面法线预测精度显着优于其他国家的最先进的算法与相同数量的输入图像，甚至是可比的密集算法，输入10 $\times$更多的图像。
2022-11-21 cs.CV
Neighbor-Aware Token Reduction via Hilbert Curve for Vision Transformers
本文提出基于Hilbert曲线的邻域感知令牌减少方法，通过保留邻域结构提升ViTs的计算效率和准确率。
2026-09-23 cs.CV
CVT-xRF: Contrastive In-Voxel Transformer for 3D Consistent Radiance Fields from Sparse Inputs
The Hong Kong University of Science and Technology（香港科技大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文提出CVT-xRF方法，通过基于体素的射线采样和Transformer建模3D空间场一致性，结合对比损失提升稀疏输入下NeRF的性能。
2024-03-25 cs.CV
Speed-up of Vision Transformer Models by Attention-aware Token Filtering
Hitachi, Ltd.（日立公司）
本文提出注意力感知令牌过滤方法ATF，通过在ViT的令牌化器与编码器间引入无需微调的过滤模块，动态保留高注意力区域令牌，在保持SigLIP检索召回率的同时实现2.8倍加速。
2025-06-02 cs.CV
Sparse then Prune: Toward Efficient Vision Transformers
Universitas Brawijaya（布劳爪哇大学）
针对视觉Transformer计算负担重的问题，提出先稀疏正则化再剪枝的优化方法，在多个图像分类数据集上实现了准确率提升，兼顾了模型性能与效率。
2023-07-22 cs.AI cs.CV
Frequency-Aware Vision Transformers for High-Fidelity Super-Resolution of Earth System Models
Computer Science, Texas State University（德克萨斯州立大学计算机科学系）；Chemical Engineering, The University of Utah（犹他大学化学工程系）
本文提出ViSIR和ViFOR两种频率感知框架，通过结合视觉变换器与正弦激活或傅里叶过滤，提升地球系统模型超分辨率的保真度和结构相似度。
2026-02-18 cs.CV
Few-Shot Object Detection with Sparse Context Transformers
School of Computer and Artificial Intelligence, Zhengzhou University（郑州大学计算机与人工智能学院）；Zhengzhou University（郑州大学）；National Supercomputing Center in Zhengzhou（郑州国家超级计算中心）；Sorbonne University（索邦大学）
本文提出稀疏上下文Transformer（SCT），通过利用源域目标知识并从目标域少量图像中学习稀疏上下文，结合相关线索增强判别力并减少类别混淆，在少样本目标检测基准上取得竞争力性能。
2024-02-14 cs.CV
Graph-Segmenter: Graph Transformer with Boundary-aware Attention for Semantic Segmentation
ZongMu Technology（纵目科技）；Technical University of Braunschweig（布伦瑞克工业大学）
本文提出Graph-Segmenter，通过Graph Transformer联合建模窗口间全局关系与窗口内像素局部关系，并利用Boundary-aware Attention优化对象边缘，在三个主流语义分割数据集上达到SOTA性能。
2023-08-15 cs.CV
Array Camera Image Fusion using Physics-Aware Transformers
Duke University（杜克大学）；University of Arizona（亚利桑那大学）
我们展示了一个物理感知的Transformer，用于从具有不同分辨率、颜色空间、焦平面、焦距和曝光的相机进行基于特征的数据融合。我们还展示了一个可扩展的解决方案，合成训练数据生成的Transformer使用开源计算机图形软件。我们展示了不同的光谱响应，瞬时视场和帧速率的阵列上的图像合成。
2022-07-05 cs.CV eess.IV
SAF3R: Dynamic Sparse Attention for Feed-Forward 3D Reconstruction Transformers
University of Pittsburgh（匹兹堡大学）；University of Arizona（亚利桑那大学）；Tongji University（同济大学）；University of Central Florida（中佛罗里达大学）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
研究前馈3D重建Transformer，分析其全局注意力模式，提出SAF3R框架，集成稀疏注意力机制、离线头部分析和在线适应策略，在保持质量同时提高稀疏率加速端到端速度。
2026-08-14 cs.CV cs.LG
Entity-aware and Motion-aware Transformers for Language-driven Action Localization in Videos
Beijing Laboratory of Intelligent Information Technology（北京智能信息技术实验室）；Beijing Institute of Technology（北京理工大学）
视频中的语义驱动的动作定位是一项具有挑战性的任务，不仅涉及视觉语言匹配，而且还涉及动作边界预测。通过将语言查询与视频片段对齐已经取得了最新进展，但是估计精确的边界仍然没有得到充分的探索。在本文中，我们提出了实体感知和运动感知的Transformers，逐步本地化的行动，在视频中的第一个粗略定位剪辑与实体查询，然后精细预测准确的边界在一个收缩的时间区域与运动查询。实体感知的Transformer通过跨模态和跨帧注意力将文本实体并入视觉表示学习中，以促进与动作相关的视频片段的注意力。运动感知的Transformer通过将长短期记忆集成到自我注意模块中来捕获多个时间尺度上的细粒度运动变化，以进一步提高动作边界预测的精度。在Charades-STA和TACoS数据集上进行的大量实验表明，该方法比现有方法具有更好的性能。
2022-05-12 cs.CV cs.MM
A microstructure estimation Transformer inspired by sparse representation for diffusion MRI
Zhejiang University（浙江大学）；Shandong Medical Imaging Research Institute（山东医学影像研究所）；Shandong University（山东大学）；Lanzhou University（兰州大学）；Siemens Healthineers Ltd.（西门子医疗有限公司）；Beijing Institute of Technology（北京理工大学）
扩散磁共振成像（dMRI）是一种基于生物物理模型表征组织微观结构的重要工具，这些模型是复杂的和高度非线性的。用优化技术解析微观结构容易产生估计误差，并且需要在q空间中进行密集采样。已经提出了基于深度学习的方法来克服这些限制。出于优越的性能的Transformer，在这项工作中，我们提出了一个基于学习的框架的基础上Transformer，即，一个微结构估计Transformer与稀疏编码（METSC）的dMRI为基础的微结构估计与下采样的q空间数据。为了利用Transformer的优势，同时解决其在大训练数据需求方面的限制，我们使用稀疏编码技术将归纳偏差-模型偏差显式引入Transformer中以促进训练过程。因此，METSC由三个阶段组成：嵌入阶段、稀疏表示阶段和映射阶段。嵌入阶段是一个基于变换器的结构，它对信号进行编码，以确保有效地表示体素。在稀疏表示阶段，通过求解稀疏重构问题来构造字典，该稀疏重构问题展开了迭代硬存储（IHT）过程。映射阶段本质上是一个解码器，它根据第二阶段的输出计算微结构参数，基于归一化字典系数的加权和，其中权重也被学习。我们测试了我们的框架上的两个dMRI模型与下采样的q-空间数据，包括体素内不相干运动（IVIM）模型和神经突取向分散和密度成像（NODDI）模型。该方法在扫描时间上实现了高达11.25倍的加速，优于其他最先进的基于学习的方法。
2022-05-13 cs.CV eess.SP
SCTN: Sparse Convolution-Transformer Network for Scene Flow Estimation
KAUST（阿卜杜拉国王科技大学）
我们提出了一种新的场景流估计方法来捕获和推断点云的三维运动。估计点云的3D运动是具有挑战性的，因为点云是无序的并且其密度是显著不均匀的。这种非结构化数据在匹配点云之间的对应点时造成困难，导致不准确的流量估计。我们提出了一种新的架构称为稀疏卷积-Transformer网络（SCTN），配备了Transformer的稀疏卷积。具体而言，通过利用稀疏卷积，SCTN将不规则点云转换为局部一致的流特征，用于估计对象/局部对象部分内的连续和一致的运动。我们进一步建议显式学习点关系使用点Transformer模块，不同于现有的方法。我们表明，学习的基于关系的上下文信息是丰富的，有助于匹配对应点，有利于场景流量估计。此外，提出了一种新的损失函数，根据特征相似性自适应地激励流一致性。大量的实验表明，我们提出的方法实现了一个新的艺术状态的场景流量估计。我们的方法在FlyingThings 3D和KITTI Scene Flow上分别实现了0.038和0.037（EPE 3D）的误差，大大优于以前的方法。
2022-03-09 cs.AI cs.CV
Sparse Fusion for Multimodal Transformers
University of California, Santa Barbara（加州大学圣巴巴拉分校）；Saratoga High School（萨拉托加高中）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
多模态分类是以人为中心的机器学习的核心任务。我们观察到，信息是高度互补的方式，因此单峰信息可以大大稀疏之前，多模态融合，而不会损失的准确性。为此，我们提出了稀疏融合Transformers（SFT），一种新的多模态融合方法的变压器，执行并行现有的国家的最先进的方法，同时大大减少了内存占用和计算成本。我们的想法的关键是一个稀疏池块，它在跨模态建模之前减少了单峰令牌集。对多个多模态基准数据集进行评估，用于广泛的分类任务。在类似的实验条件下，在多个基准测试中获得了最先进的性能，同时报告计算成本和内存需求降低了六倍。广泛的消融研究展示了我们结合稀疏化和多模态学习的优势。这为在低资源设备上实现多模式学习铺平了道路。
2021-11-24 cs.CV cs.LG
SparseFormer: Detecting Objects in HRW Shots via Sparse Vision Transformer
Shanghai Jiao Tong University（上海交通大学）；Tsinghua University（清华大学）
针对HRW镜头目标检测的极端稀疏性和尺度变化挑战，提出模型无关稀疏视觉Transformer SparseFormer，通过选择性注意力标记、特征融合及C-NMS算法，在PANDA和DOTA-v1.0基准上精度提升5.8%、速度提升3倍。
2025-02-11 cs.AI cs.CV
