Cost Aggregation with 4D Convolutional Swin Transformer for Few-Shot Segmentation
Korea University（高丽大学）；Microsoft Research Asia（微软亚洲研究院）
本文提出了一种新的成本聚合网络，称为体积聚合与Transformers（增值税），为Few-Shot分割。Transformers的使用可以通过全局感受野上的自我注意来有益于相关图聚合。然而，用于Transformer处理的相关图的令牌化可能是有害的，因为令牌边界处的不连续性减少了令牌边缘附近可用的局部上下文并减少了感应偏差。为了解决这个问题，我们提出了一个4D卷积Swin Transformer，其中高维Swin Transformer之前是一系列小内核卷积，这些卷积将局部上下文赋予所有像素并引入卷积感应偏置。此外，我们还通过在金字塔结构中应用Transformers来提高聚合性能，其中较粗级别的聚合指导较细级别的聚合。Transformer输出中的噪声随后在后续解码器中借助查询的外观嵌入进行过滤。通过该模型，为少镜头分割（Few-Shot segmentation）中的所有标准基准设置了新的最先进技术。结果表明，增值税达到国家的最先进的性能，以及语义对应，其中成本聚合也发挥了核心作用。
2022-07-22 cs.CV
On the Effectiveness of Vision Transformers for Zero-shot Face Anti-Spoofing
Idiap Research Institute（Idiap研究所）
人脸识别系统对呈现攻击的脆弱性限制了其在安全关键场景中的应用。检测此类恶意尝试的自动方法对于安全使用面部识别技术至关重要。虽然已经提出了各种方法来检测这种攻击，但大多数方法都过拟合训练集，并且无法推广到看不见的攻击和环境。在这项工作中，我们使用迁移学习的视觉Transformer模型的zero-shot反欺骗任务。通过在公开数据集上的实验证明了该方法的有效性。所提出的方法在HQ-WMCA和SiW-M数据集中的zero-shot协议中的性能大大优于最先进的方法。此外，该模型在跨数据库性能方面也有很大的提高。
2021-06-02 cs.CV
Task-Adaptive Feature Transformer with Semantic Enrichment for Few-Shot Segmentation
Ulsan National Institute of Science and Technology（蔚山科学技术院）
少样本学习允许机器仅使用少量标记样本对新类别进行分类。近年来，针对低样本数据的语义分割的Few-Shot分割也引起了人们极大的兴趣。在本文中，我们提出了一个可学习的模块，可以放置在现有的分割网络进行Few-Shot分割。该模块称为任务自适应特征Transformer（TAFT），将特定于任务的高级特征线性转换为一组非常适合进行Few-Shot分割的任务不可知特征。任务条件的特征变换允许有效利用新类中的语义信息来生成紧密的分割掩模。我们还提出了一个语义丰富（SE）模块，利用像素级的注意力模块的高层次功能和辅助损失的辅助分割网络进行语义分割的所有训练类。$5^i$和$20^i$数据集上的实验证实，添加的模块成功地扩展了现有分割器的能力，以产生具有高度竞争力的Few-Shot分割性能。
2022-02-14 cs.CV
Boosting Few-shot Semantic Segmentation with Transformers
ETH Zurich（苏黎世联邦理工学院）
由于全监督语义分割方法需要足够的全标记数据才能很好地工作，并且不能推广到不可见的类别，因此Few-Shot分割引起了大量的研究关注。现有技术从支持图像和查询图像中提取特征，在对查询图像进行预测之前对其进行联合处理。整个过程基于卷积神经网络（CNN），导致仅使用局部信息的问题。本文提出了一种基于变换器的Few-Shot语义分割方法。具体来说，我们的模型包括两个模块：全球增强模块（GEM）和本地增强模块（LEM）。GEM采用Transformer块来利用全局信息，而LEM利用传统的卷积来利用跨查询和支持特征的局部信息。GEM和LEM是互补的，有助于学习更好的特征表示来分割查询图像。在PASCAL-5i和COCO数据集上的大量实验表明，我们的方法实现了新的最先进的性能，证明了其有效性。
2021-08-04 cs.CV
OVO: One-shot Vision Transformer Search with Online distillation
针对纯Transformer在中小型数据集上准确率不佳的问题，提出基于在线蒸馏的一次性视觉Transformer搜索框架OVO，通过为师生网络采样子网实现高效蒸馏，使超网中数千子网免微调即可充分训练，并在ImageNet和CIFAR-100上取得优异准确率。
2023-11-24 cs.CV
tSF: Transformer-based Semantic Filter for Few-Shot Learning
Youtu Lab, Tencent（腾讯优图实验室）
提出轻量通用模块tSF，通过语义过滤器重新设计Transformer输入，嵌入基类知识并过滤目标语义特征，在少样本分类等任务中提升约2%性能并超越现有最先进方法。
2024-07-17 cs.CV
SaiT: Sparse Vision Transformers through Adaptive Token Pruning
Samsung Semiconductor Inc.（三星半导体公司）
虽然视觉Transformer已经取得了令人印象深刻的结果，有效和高效地加速这些模型可以进一步提高性能。在这项工作中，我们提出了一个密集/稀疏的训练框架，以获得一个统一的模型，使不同的令牌密度的权重共享。因此，一个模型为不同的应用提供了一系列的准确性和吞吐量权衡。此外，我们引入自适应标记修剪，以优化基于输入图像的补丁标记稀疏度。此外，我们研究知识蒸馏，以提高令牌选择能力的早期Transformer模块。稀疏自适应图像Transformer（SaiT）仅通过动态改变令牌稀疏度来提供不同级别的模型加速。具体而言，SaiT将计算复杂度（FLOPs）降低了39% - 43%，并将吞吐量提高了67% - 91%，而各种视觉Transformer模型的准确性损失小于0.5%。同时，同一模型还通过跳过稀疏化步骤提供了零精度下降选项。SaiT实现了比最先进的Transformer和卷积模型更好的精度和计算权衡。
2022-10-11 cs.CV
CATrans: Context and Affinity Transformer for Few-Shot Segmentation
Australian National University（澳大利亚国立大学）；Baidu Research（百度研究院）；National Engineering Laboratory for Deep Learning Technology and Application（深度学习技术及应用国家工程实验室）
Few-Shot分割（FSS）的目的是分割新的类别给稀缺的注释支持图像。FSS的关键是如何聚集支持和查询图像之间的密集相关性，以进行查询分割，同时对外观和上下文的大变化具有鲁棒性。为此，以前的基于transformer的方法探索支持查询对之间的上下文相似性或亲和映射的全局共识。在这项工作中，我们有效地整合了上下文和亲和力信息，通过提出新的上下文和亲和力Transformer（CATrans）的层次结构。具体而言，引导上下文Transformer（RCT）传播上下文信息从支持查询图像的条件下，更多的信息支持功能。基于支持对和查询对之间的巨大特征差异给上下文知识传递带来障碍的观察，基于自相似度的关联度Transformer（RAT）测量注意感知的关联度作为FSS的辅助信息，其中自关联度负责更可靠的交叉关联度。我们进行实验，以证明所提出的模型的有效性，优于国家的最先进的方法。
2022-04-27 cs.CV
SparseTT: Visual Tracking with Sparse Transformers
Beihang University（北京航空航天大学）；Hangzhou Innovation Institute, Beihang University（北京航空航天大学杭州创新研究院）
Transformers已成功应用于视觉跟踪任务，并显着提高跟踪性能。自注意力机制是Transformers成功的关键。然而，自我注意力缺乏对搜索区域中最相关信息的关注，很容易被背景分散注意力。在本文中，我们缓解这个问题与稀疏的注意力机制，通过集中在搜索区域中的最相关的信息，这使得更准确的跟踪。此外，我们引入了双头预测器，以提高前景-背景分类和目标边界框回归的准确性，从而进一步提高跟踪性能。大量的实验表明，在没有花里胡哨的情况下，我们的方法在以40 FPS运行时，在LaSOT、GOT-10 k、TrackingNet和UAV 123上的性能明显优于最先进的方法。值得注意的是，我们的方法的训练时间比TransT减少了75%。源代码和模型可以在https://github.com/fzh0917/SparseTT上找到。
2022-05-08 cs.CV
DSVT: Dynamic Sparse Voxel Transformer with Rotated Sets
Peking University（北京大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Huawei（华为）；Zhejiang Lab（之江实验室）
设计一个高效且部署友好的3D主干来处理稀疏点云是3D感知中的一个基本问题。与定制的稀疏卷积相比，Transformers中的注意力机制更适合灵活地建模远程关系，并且更容易在现实世界的应用中部署。然而，由于点云的稀疏特性，在稀疏点上应用标准Transformer是不平凡的。在本文中，我们提出了动态稀疏体素Transformer（DSVT），一个单步长窗口为基础的体素Transformer骨干户外三维感知。为了高效地并行处理稀疏点，提出了动态稀疏窗口注意力算法，该算法根据稀疏性在每个窗口中划分一系列局部区域，然后以完全并行的方式计算所有区域的特征。为了允许交叉集连接，我们设计了一个旋转集分区策略，在连续的自我注意力层中的两个分区配置之间交替。为了支持有效的下采样和更好地编码几何信息，我们还提出了一个稀疏点上的注意力风格3D池化模块，该模块功能强大且部署友好，无需使用任何定制的CUDA操作。我们的模型在广泛的3D感知任务中实现了最先进的性能。更重要的是，DSVT可以通过TensorRT轻松部署，具有实时推理速度（27 Hz）。代码将在\url{https://github.com/Haiyang-W/DSVT}上提供。
2023-03-20 cs.CV
Few-Shot 3D Point Cloud Semantic Segmentation via Stratified Class-Specific Attention Based Transformer Network
University of South Carolina（南卡罗来纳大学）
三维点云语义分割的目的是将所有的点按不同的语义分类，有利于点云场景重建和理解等重要应用。现有的监督点云语义分割方法通常需要大规模的标注点云进行训练，并且不能处理新的类别。虽然最近提出了一种少样本学习方法来解决这两个问题，但它存在由图构造引起的高计算复杂性以及由于使用池化操作而无法学习点之间的细粒度关系。在本文中，我们进一步解决这些问题，通过开发一个新的多层Transformer网络的Few-Shot点云语义分割。在该网络中，查询点云特征基于不同尺度下的类特定支持特征进行聚合。在不使用池操作的情况下，我们的方法充分利用了支持样本中的所有像素级特征。通过更好地利用支持功能的少样本学习，所提出的方法实现了新的国家的最先进的性能，与现有的Few-Shot 3D点云分割模型的S3DIS数据集和ScanNet数据集的推理时间减少了15\%。
2023-03-28 cs.CV
CodedVTR: Codebook-based Sparse Voxel Transformer with Geometric Guidance
Tsinghua University（清华大学）；Peking University（北京大学）；Shanghai Qizhi Institude（上海期智研究院）
Transformers在许多2D视觉任务中的表现优于卷积神经网络，因此备受关注。然而，众所周知，它们存在泛化问题，并且依赖于大规模的预训练和复杂的训练技术。在应用于三维任务时，不规则的数据结构和有限的数据规模增加了Transformer的应用难度。提出了CodedVTR（Codebook-based Voxel Transformer）算法，提高了三维稀疏体素Transformers的数据效率和泛化能力。一方面，我们提出了基于码本的注意力，将注意力空间投影到由可学习码本中的“原型”组合表示的子空间中。它使注意力学习规则化，提高了泛化能力。另一方面，我们提出了几何感知的自我注意，利用几何信息（几何图案，密度）来指导注意学习。CodedVTR可以嵌入到现有的基于稀疏卷积的方法中，并为室内和室外3D语义分割任务带来一致的性能改进
2022-03-27 cs.CV
Multiscale Memory Comparator Transformer for Few-Shot Video Segmentation
York University（约克大学）
针对少样本视频分割中单层比较丢失多尺度信息的问题，提出在 transformer 解码器中保留详细特征图的多尺度记忆比较器 MMC，并验证其达到最先进性能。
2023-07-15 cs.CV
CAT: Cross-Attention Transformer for One-Shot Object Detection
Northwestern Polytechnical University（西北工业大学）；National Engineering Lab for Integrated Aero-Space-Ground-Ocean（国家级空天地海一体化工程实验室）；The University of Adelaide（阿德莱德大学）；Big Data Application Technology（大数据应用技术）
给定一个新类别的查询块，单次目标检测的目的是通过语义相似性比较来检测目标图像中该类别的所有实例。然而，由于在小说类的指导，以及看不见的外观之间的差异查询和目标实例，这是很难适当地利用它们的语义相似性和推广。为了缓解这个问题，我们提出了一个通用的交叉注意力Transformer（CAT）模块准确和高效的语义相似性比较在一次目标检测。建议CAT利用Transformer机制，全面捕捉双向对应关系的任何成对的像素从查询和目标图像，这使我们能够充分利用其语义特征进行准确的相似性比较。此外，建议的CAT使特征维数压缩的推理速度没有性能损失。在COCO、VOC和FSOD上的大量实验证明了我们方法的有效性和效率，例如，在COCO上，它在AP中超过CoAE（该任务的主要基线）1.0%，并且运行速度快近2.5倍。代码将在未来可用。
2021-04-30 cs.CV
Few-Shot Image Classification Along Sparse Graphs
HRL Laboratories, LLC（HRL实验室有限责任公司）
少样本学习仍然是一个具有挑战性的问题，对于大多数真实世界的数据来说，单次学习的准确性并不令人满意。在这里，我们提出了深度网络特征空间中数据分布的不同视角，并展示了如何将其用于少样本学习。首先，我们观察到特征空间中的最近邻具有高概率的同类成员，而通常来自一个类的两个随机点并不比来自不同类的点彼此更接近。这一观察结果表明，特征空间中的类形成稀疏，松散连接的图，而不是密集的集群。为了利用这一特性，我们建议使用少量的标签传播到未标记的空间，然后使用核PCA重建误差作为每个类的特征空间数据分布的决策边界。使用这种方法，我们称之为“K-Prop”，我们证明了大大改善的少样本学习性能（例如，在RESISC 45卫星图像数据集上进行单次5向分类的准确率为83%），对于可以用高类内最近邻概率训练骨干网络的数据集。我们使用六个不同的数据集来证明这种关系。
2021-12-07 cs.CV
SWFormer: Sparse Window Transformer for 3D Object Detection in Point Clouds
Waymo LLC（Waymo有限责任公司）
点云中的3D目标检测是现代机器人和自动驾驶系统的核心组件。3D目标检测中的一个关键挑战来自3D场景内点占用的固有稀疏性质。在本文中，我们提出了稀疏窗口Transformer（SWFormer），一个可扩展的和准确的三维目标检测模型，它可以充分利用点云的稀疏性。SWFormer基于基于窗口的Transformers思想，将3D点转换为稀疏体素和窗口，然后使用桶方案有效地处理这些可变长度的稀疏窗口。除了在每个空间窗口内的自我关注，我们的SWFormer还捕获跨窗口相关性与多尺度特征融合和窗口移位操作。为了进一步解决从稀疏特征中准确检测3D对象的独特挑战，我们提出了一种新的体素扩散技术。Waymo开放数据集上的实验结果显示，我们的SWFormer在官方测试集上实现了最先进的73.36 L2 mAPH，用于车辆和行人的3D目标检测，优于之前所有的单阶段和两阶段模型，同时效率更高。
2022-10-13 cs.CV
Adaptive Hebbian Memory Routing in Vision Transformers for Few-Shot Learning
Department of Computer Science（计算机科学系）；The University of Alabama（阿拉巴马大学）；Tuscaloosa, AL, USA（塔斯卡洛萨, 阿拉巴马州, 美国）
提出自适应赫布路由方法，通过轻量MLP路由器控制赫布记忆的贡献、更新强度和保留，提升小样本视觉Transformer性能，在多个基准上超越固定赫布记忆。
2026-06-24 cs.CV
SPG: Sparse-Projected Guides with Sparse Autoencoders for Zero-Shot Anomaly Detection
Yachiyo Engineering Co., Ltd., Japan（八千代工程有限公司，日本）；Chubu University, Japan（中部大学，日本）
本文提出SPG框架，通过稀疏自编码器学习引导系数，实现零样本异常检测与分割，实验显示其在多个数据集上表现优异。
2026-04-03 cs.CV
A Lightweight Sparse Focus Transformer for Remote Sensing Image Change Captioning
本文提出一种轻量级Sparse Focus Transformer（SFT），通过引入稀疏聚焦注意力机制，在保持性能的同时大幅降低Transformer编码器的参数量和计算复杂度，用于遥感图像变化描述任务。
2024-10-11 cs.CV
Few-Shot Object Detection with Sparse Context Transformers
School of Computer and Artificial Intelligence, Zhengzhou University（郑州大学计算机与人工智能学院）；Zhengzhou University（郑州大学）；National Supercomputing Center in Zhengzhou（郑州国家超级计算中心）；Sorbonne University（索邦大学）
本文提出稀疏上下文Transformer（SCT），通过利用源域目标知识并从目标域少量图像中学习稀疏上下文，结合相关线索增强判别力并减少类别混淆，在少样本目标检测基准上取得竞争力性能。
2024-02-14 cs.CV
Semantic-visual Guided Transformer for Few-shot Class-incremental Learning
Huazhong University of Science and Technology（华中科技大学）；JD Retail POMC（京东零售平台运营与营销中心）
Few-Shot类增量学习（FSCIL）近年来受到了各个领域的广泛关注。现有的FSCIL方法高度依赖于在基类上预先训练的特征骨干的鲁棒性。近年来，不同的Transformer变体在海量领域的特征表示学习中取得了显著的进展。尽管如此，Transformer在FSCIL场景中的进展迄今为止还没有达到在其他领域所承诺的潜力。在本文中，我们开发了一个语义视觉引导的Transformer（SV-T），以提高增量类的预训练特征骨干的特征提取能力。具体来说，我们首先利用基类提供的可视（图像）标签来监督Transformer的优化。然后，引入文本编码器，自动生成相应的语义（文本）标签为每个图像从基类。最后，将所构造的语义标签应用于Transformer，指导其超参数的更新.我们的SV-T可以充分利用更多的监督信息，从基类，并进一步提高训练的鲁棒性的特征骨干。更重要的是，我们的SV-T是一个独立的方法，它可以直接应用到现有的FSCIL架构，以获取各种增量类的嵌入。在三个基准测试、两个FSCIL架构和两个Transformer变体上的大量实验表明，与现有的最先进的FSCIL方法相比，我们提出的SV-T获得了显着的改进。
2023-03-27 cs.CV
Learning Cross-Image Object Semantic Relation in Transformer for Few-Shot Fine-Grained Image Classification
Fudan University（复旦大学）；Oracle Health and AI（甲骨文健康与人工智能部门）；Shanghai AI Laboratory（上海人工智能实验室）
Few-Shot细粒度学习旨在将查询图像分类到具有细粒度差异的一组支持类别中的一个。虽然通过深度神经网络学习不同对象的局部差异已经取得了成功，但如何在基于transformer的架构中利用查询支持的跨图像对象语义关系，在Few-Shot细粒度场景中仍然探索不足。在这项工作中，我们提出了一个基于transformer的双螺旋模型，即HelixFormer，实现跨图像对象语义关系挖掘的双向和对称的方式。HelixFormer由两个步骤组成：1）跨不同分支的关系挖掘过程（RMP），以及2）每个分支内的表示增强过程（REP）。通过所设计的RMP，每个分支可以提取细粒度的对象级跨图像语义关系映射（CSRMs）从其他分支的信息，确保更好的跨图像的交互语义相关的局部对象区域。此外，在CSRMs的帮助下，开发的REP可以加强每个分支中发现的语义相关局部区域的提取特征，提高模型区分细粒度对象的细微特征差异的能力。在五个公开的细粒度基准上进行的大量实验表明，HelixFormer可以有效地增强跨图像对象语义关系匹配，以识别细粒度对象，在1-shot和5-shot场景下实现比大多数最先进的方法更好的性能。我们的代码可在：https://github.com/JiakangYuan/HelixFormer
2022-07-02 cs.CV
DiTVR: Zero-Shot Diffusion Transformer for Video Restoration
针对视频复原中回归方法依赖配对数据且扩散模型难保时间一致性的问题，提出零样本框架DiTVR，结合扩散Transformer、轨迹感知注意力与小波引导采样器，在多个基准上实现新的零样本SOTA。
2025-08-11 cs.CV
Generative Sparse Detection Networks for 3D Single-shot Object Detection
Stanford University（斯坦福大学）；NVIDIA（英伟达）
三维目标检测由于其在机器人技术和增强现实等领域的潜在应用而得到了广泛的研究。然而，3D数据的稀疏性对这项任务提出了独特的挑战。最值得注意的是，3D点云的可观察表面与实例的中心不相交，以作为限界框预测的基础。为此，我们提出了生成稀疏检测网络（GSDN），这是一种完全卷积的单次稀疏检测网络，可以有效地生成对对象建议的支持。我们模型的关键组件是生成稀疏张量解码器，它使用一系列转置卷积和修剪层来扩展稀疏张量的支持，同时丢弃不太可能的对象中心，以保持最小的运行时间和内存占用。GSDN可以用一个完全卷积的前馈通道处理前所未有的大规模输入，因此不需要像其他以前的方法那样从滑动窗口缝合结果的启发式后处理阶段。我们在三个3D室内数据集上验证了我们的方法，包括大规模3D室内重建数据集，我们的方法比最先进的方法相对提高了7.14%，同时比最好的先前工作快3.78倍。
2020-06-22 cs.CV
Vision Transformer-based Feature Extraction for Generalized Zero-Shot Learning
Seoul National University（首尔国立大学）
广义零触发学习（Generalized zero-shot learning，GSTOL）是一种训练深度学习模型的技术，用于使用图像属性识别未见过的类。在本文中，我们提出了一种新的GREML方法，利用视觉Transformer（ViT），以最大限度地提高包含在图像特征的属性相关信息。在ViT中，整个图像区域被处理而不降低图像分辨率，并且局部图像信息被保留在补丁特征中。为了充分利用ViT的这些优点，我们利用补丁功能以及CLS功能提取属性相关的图像特征。特别是，我们提出了一种新的注意力为基础的模块，称为属性注意力模块（AAM），聚集的属性相关信息的补丁功能。在AAM中，每个块特征与合成图像属性之间的相关性被用作每个块的重要性权重。从基准数据集上的广泛实验，我们证明了所提出的技术优于国家的最先进的GALML方法的大幅度。
2023-02-02 cs.CV
SSTVOS: Sparse Spatiotemporal Transformers for Video Object Segmentation
University of Toronto（多伦多大学）；University of Guelph（圭尔夫大学）；Université de Lyon（里昂大学）；INSA-Lyon（里昂国立应用科学学院）；Modiface Inc（Modiface公司）；Vector Institute（矢量研究所）
在本文中，我们介绍了一种基于transformer的视频对象分割（VOS）的方法。为了解决复合误差和可扩展性的问题，以前的工作，我们提出了一个可扩展的，端到端的VOS方法称为稀疏时空Transformers（SST）。SST提取每像素表示为视频中的每个对象使用稀疏注意时空功能。我们基于注意力的VOS公式允许模型学习在多帧的历史上参加，并提供适当的归纳偏差，用于执行解决运动分割所需的类似对应的计算。我们证明了在时空域中基于注意力的递归网络的有效性。我们的方法在YouTube-VOS和DAVIS 2017上取得了有竞争力的结果，与现有技术相比，可扩展性和对遮挡的鲁棒性有所提高。代码可在https://github.com/dukebw/SSTVOS上获得。
2021-03-29 cs.CV
Super-class guided Transformer for Zero-Shot Attribute Classification
Korea University（高丽大学）
针对零样本属性分类中可见与不可见属性关系利用不足及属性规模带来的可扩展性问题，提出 SugaFormer，通过超类查询、多上下文解码和 VLM 知识迁移实现最先进性能。
2025-01-16 cs.CV
FlatFusion: Delving into Details of Sparse Transformer-based Camera-LiDAR Fusion for Autonomous Driving
School of Computer Science and School of Artificial Intelligence, Shanghai Jiao Tong University（计算机科学学院和人工智能学院，上海交通大学）；Carnegie Mellon University（卡内基梅隆大学）
本文全面探索了基于 Transformer 的稀疏相机-LiDAR 融合设计选择，提出 FlatFusion 框架，通过优化映射策略、注意力分组和微结构，在 nuScenes 上以 10.1 FPS 达到 73.7 NDS，显著超越现有方法。
2025-06-30 cs.CV
LISTA-Transformer Model Based on Sparse Coding and Attention Mechanism and Its Application in Fault Diagnosis
Beijing University of Chemical Technology（北京化工大学）
本文提出基于LISTA和Transformer的稀疏编码模型，通过时频转换提升故障诊断性能，在CWRU数据集上达到98.5%的识别率。
2026-03-04 cs.CV
Semantic-aligned Fusion Transformer for One-shot Object Detection
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research Asia（微软亚洲研究院）
单次目标检测的目的是仅根据一个给定实例来检测新的目标。在数据极度稀缺的情况下，目前的方法探索各种特征融合以获得可直接转移的元知识。然而，他们的表现往往不能令人满意。在本文中，我们把这归因于不适当的相关方法，不一致的查询支持语义忽略空间结构和规模的变化。经过分析，我们利用注意力机制，并提出了一个简单而有效的架构命名为语义对齐的融合Transformer（SaFT）来解决这些问题。具体来说，我们配备了一个垂直融合模块（VFM）的跨尺度语义增强和水平融合模块（HFM）的跨样本特征融合的SaFT。总之，它们将每个特征点的视野从支持扩展到查询的整个增强特征金字塔，促进语义对齐的关联。在多个基准上的大量实验证明了我们框架的优越性。在不对新类进行微调的情况下，它为单阶段基线带来了显着的性能提升，将最先进的结果提升到更高的水平。
2022-03-20 cs.CV
Parameter Efficient Continual Learning for Sparse Event-Based Transformers
IIT Guwahati（古瓦哈蒂印度理工学院）；SustainAI Lab, MFSDS&AI（SustainAI实验室、MFSDS&AI）
本文针对稀疏事件驱动视觉Transformer提出参数高效持续学习框架sLoTh，仅更新不足1%参数即可实现无重放的类增量与在线持续学习，能耗约为传统密集Transformer的1/6.5。
2026-08-28 cs.CV
Self-Promoted Supervision for Few-Shot Transformer
Harbin Institute of Technology（哈尔滨工业大学）；National University of Singapore（新加坡国立大学）
视觉Transformer（ViTs）的少样本学习能力很少被研究，但非常期望。在这项工作中，我们根据经验发现，使用相同的少样本学习框架\eg ~Meta-Baseline，用ViT模型取代广泛使用的CNN特征提取器通常会严重损害Few-Shot分类性能。此外，我们的实证研究表明，在没有归纳偏差的情况下，ViT通常在少样本学习机制下学习低质量的令牌依赖关系，其中只有少数标记的训练数据可用，这在很大程度上导致了上述性能下降。为了缓解这个问题，第一次，我们提出了一个简单而有效的Few-Shot培训框架的ViTs，即自我提升的sUperadioN（SUN）。具体地，除了用于全局语义学习的常规全局监督之外，SUN进一步在少样本学习数据集上预训练ViT，然后使用它来生成用于引导每个补丁令牌的单独的位置特定的监督。这种特定于位置的监督告诉ViT哪些补丁令牌相似或不相似，从而加速令牌依赖性学习。此外，它在每个补丁令牌的局部语义建模，以提高对象的接地和识别能力，这有助于学习可推广的模式。为了提高特定位置监督的质量，我们进一步提出了两种技术：~1）背景补丁过滤，过滤出背景补丁，并将它们分配到一个额外的背景类;和2）空间一致性增强，为数据增强引入足够的多样性，同时保持生成的本地监督的准确性。实验结果表明，SUN使用ViTs显着优于其他少样本学习框架与ViTs，是第一个达到更高的性能比那些CNN国家的艺术…
2022-06-09 cs.CV
Scene Adaptive Sparse Transformer for Event-based Object Detection
University of Science and Technology of China（中国科学技术大学）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）
针对事件相机目标检测中稀疏Transformer稀疏性和适应性不足的问题，本文提出场景自适应稀疏Transformer（SAST），通过窗口-token协同稀疏化和动态场景优化，在1Mpx和Gen1数据集上以更低计算成本超越了现有稠密与稀疏网络。
2024-04-02 cs.CV
Few-Shot Medical Image Segmentation via a Region-enhanced Prototypical Transformer
Nanjing University of Science and Technology（南京理工大学）；Newcastle University（纽卡斯尔大学）
提出区域增强原型Transformer（RPT），通过细分策略生成区域原型并结合自选择机制的BaT模块消除干扰，迭代优化原型以提升少样本医学图像分割精度。
2023-09-09 cs.CV
Pre-trained Vision and Language Transformers Are Few-Shot Incremental Learners
Kyung Hee University（庆熙大学）；Yonsei University（延世大学）
本文提出FSCIL框架PriViLege，利用预训练视觉与语言Transformer结合提示函数、知识蒸馏及预训练知识调优，显著缓解灾难性遗忘和过拟合，并在多个基准上大幅超越现有方法。
2024-04-02 cs.CV
ESP-Zero: Unsupervised enhancement of zero-shot classification for Extremely Sparse Point cloud
Inspur Gensoft Co. Ltd., Inspur Group Co. Ltd.（浪潮软件股份有限公司、浪潮集团有限公司）；Zhejiang University（浙江大学）；University of Nottingham（诺丁汉大学）
针对极稀疏点云零样本分类中特征与文本嵌入错位问题，提出融合交叉注意力层和互补自蒸馏的无监督自适应方法，无需重新预训练即可显著提升零样本性能。
2024-04-30 cs.CV
Fusion of regional and sparse attention in Vision Transformers
Purdue University（普渡大学）；Futurewei Technologies Inc.（华为主机技术公司）
针对区域注意力与稀疏注意力在层级结构和全局上下文间的权衡，本文提出Atrous Attention并构建ACC-ViT，以更少参数在ImageNet-1K上超过MaxViT。
2024-06-13 cs.CV
TcGAN: Semantic-Aware and Structure-Preserved GANs with Individual Vision Transformer for Fast Arbitrary One-Shot Image Generation
Zhejiang Normal University（浙江师范大学）；Huzhou University（湖州师范学院）；Zhejiang University（浙江大学）；Hangzhou Dianzi University（杭州电子科技大学）
利用生成对抗网络从给定图像的内部块学习的单次图像生成（One-shot image generation，OSG）引起了世界范围的关注。在最近的研究中，学者们主要集中在使用纯卷积神经网络（CNN）从概率分布的输入中提取图像的特征。然而，这是相当困难的CNN有限的接受域提取和维护的全局结构信息。因此，在本文中，我们提出了一种新的结构保持方法TcGAN与个人视觉Transformer，以克服现有的单次图像生成方法的缺点。具体而言，TcGAN在训练期间保留图像的全局结构，以与局部细节兼容，同时通过利用Transformer强大的远程依赖建模能力来保持语义感知信息的完整性。我们还提出了一个新的缩放公式具有尺度不变性在计算期间，有效地提高了图像超分辨率任务的OSG模型生成的图像质量。我们提出了TcGAN转换器框架的设计，全面的实验以及烧蚀研究证明了TcGAN以最快的运行时间实现任意图像生成的能力。最后，TcGAN在将其应用于其他图像处理任务方面实现了最优异的性能，例如，超分辨率以及图像的协调性，结果进一步证明了它的优越性。
2023-02-16 cs.CV
Hybrid Routing Transformer for Zero-Shot Learning
Xidian University（西安电子科技大学）；Tsinghua University（清华大学）；Northwestern Polytechnical University（西北工业大学）
零样本学习（Zero-shot learning，ZRL）的目标是通过训练具有可见语义的数据来学习能够识别不可见图像语义的模型。最近的研究要么利用全局图像特征，要么挖掘有区别的局部补丁特征，将提取的视觉特征与语义属性相关联。然而，由于缺乏必要的自上而下的指导和语义对齐，以确保该模型出席真正的属性相关区域，这些方法仍然遇到了显着的视觉模态和属性模态之间的语义差距，这使得他们的预测看不见的语义不可靠。为了解决这个问题，本文建立了一种新的Transformer编解码器模型，称为混合路由Transformer（HRT）。在HRT编码器中，我们嵌入了一个主动注意，它是由自底向上和自顶向下的动态路由路径来生成属性对齐的视觉特征。而在HRT解码器中，我们使用静态路由来计算属性对齐的视觉特征、相应的属性语义和类属性向量之间的相关性，以生成最终的类标签预测。这种设计使得所提出的Transformer模型成为1）自顶向下和自底向上的注意路径以及2）动态和静态路由路径的混合。在三个广泛使用的基准数据集，即CUB，SUN和AWA 2，进行了全面的实验。实验结果证明了该方法的有效性。
2022-03-29 cs.CV
Sparse Double Descent in Vision Transformers: real or phantom threat?
LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院电信巴黎LTCI实验室）
研究探讨了ViT中稀疏双重下降现象，发现传统架构如Resnet受此影响，而最优调优的$l_2$正则化能缓解ViT的该现象，但代价是牺牲潜在压缩率。
2023-07-26 cs.CV
Event Transformer. A sparse-aware solution for efficient event data processing
Universidad de Zaragoza（萨拉戈萨大学）；Bitbrain Technologies（比特布莱恩科技公司）
事件摄像机是许多在低资源和挑战性环境中运行的应用程序非常感兴趣的传感器。它们记录稀疏照明变化，具有高时间分辨率和高动态范围，同时它们呈现最小的功耗。然而，性能最好的方法往往忽略特定的事件数据属性，导致通用的，但计算昂贵的算法的发展。对于复杂的任务，努力寻求有效的解决方案通常无法实现最高精度的结果。这项工作提出了一种新的框架，事件Transformer（EvT），有效地利用事件数据属性是高效和准确的。我们引入了一个新的基于补丁的事件表示和一个紧凑的transformer-like架构来处理它。EvT是在不同的动作和手势识别基于事件的基准进行评估。评估结果显示，EvT的准确性优于或相当于最先进的水平，同时需要的计算资源显著减少，这使得EvT能够在GPU和CPU上以最小的延迟工作。
2022-04-18 cs.CV
Contour Transformer Network for One-shot Segmentation of Anatomical Structures
University of South Carolina（南卡罗来纳大学）；PAII Inc.（PAII公司）；University of Rochester（罗切斯特大学）；Chang Gung Memorial Hospital（长庚纪念医院）；Ping An Technology（平安科技）
解剖结构的准确分割是医学图像分析的关键。最先进的精度通常是通过监督学习方法来实现的，其中以可扩展的方式收集必要的专家标记的图像注释仍然是一个主要障碍。因此，高度期望允许产生准确的解剖结构分割的注释高效的方法。在这项工作中，我们提出了轮廓Transformer网络（CTN），一个一次性的解剖分割方法与自然内置的人在循环机制。我们制定解剖分割作为一个轮廓的演变过程和模型的演变行为的图卷积网络（GCN）。训练CTN模型只需要一个标记的图像样本，并通过新引入的损失函数来利用额外的未标记数据，该损失函数测量轮廓的全局形状和外观一致性。在四种不同解剖结构的分割任务中，我们证明了我们的一次性学习方法显著优于非基于学习的方法，并且与最先进的全监督深度学习方法相比具有竞争力。通过最少的人工编辑反馈，分割性能可以进一步提高，以超过完全监督的方法。
2020-12-02 cs.CV
From Saliency to DINO: Saliency-guided Vision Transformer for Few-shot Keypoint Detection
The Australian National University（澳大利亚国立大学）；Data61/CSIRO（联邦科学与工业研究组织Data61部门）
提出显著性引导的视觉Transformer模型SalViT，通过掩码自注意力和形态学学习器实现动态感受野，在五个数据集上表现优异且严重遮挡下PCK提升约10%。
2023-04-06 cs.CV
Target-aware Bi-Transformer for Few-shot Segmentation
Chongqing University（重庆大学）
本文提出目标感知双Transformer网络TBTNet，通过等价处理支持图像与查询图像，并利用目标感知Transformer层提取前景相关性，以仅0.4M参数的轻量模型在少样本分割任务上实现高效收敛与优异性能。
2023-09-18 cs.CV
SparseVoxFormer: Sparse Voxel-based Transformer for Multi-modal 3D Object Detection
Samsung Electronics, AI Center（三星电子人工智能中心）；Samsung R&D Institute China Xi’an (SRCX)（三星中国西安研发中心）
本文提出SparseVoxFormer，利用稀疏体素特征替代BEV作为Transformer检测器输入，并通过体素坐标到图像的投影实现显式多模态融合，在降低计算成本的同时提升3D目标检测的整体与远距离性能。
2025-03-11 cs.CV
Learning to Segment Medical Images from Few-Shot Sparse Labels
Universidade Federal de Minas Gerais（米纳斯吉拉斯联邦大学）
在本文中，我们提出了一种新的方法，Few-Shot语义分割稀疏标记的图像。我们研究了我们的方法的有效性，这是基于模型不可知元学习（MAML）算法，在医疗场景中，使用稀疏标记和Few-Shot可以减轻生产新的注释数据集的成本。我们的方法在元训练中使用稀疏标签，在元测试中使用密集标签，从而使模型学习从稀疏标签预测密集标签。我们用四个胸部X射线数据集进行了实验，以评估两种类型的注释（网格和点）。结果表明，我们的方法是最合适的，当目标域与源域高度不同，实现Jaccard分数可比密集标签，使用不到2%的像素的图像标签在Few-Shot的情况下。
2021-08-22 cs.CV cs.LG
Task-Adaptive Feature Transformer for Few-Shot Segmentation
KAIST（韩国科学技术院）；UNIST（蔚山科学技术院）
少样本学习允许机器仅使用少量标记样本对新类别进行分类。近年来，针对低样本数据的语义分割的Few-Shot分割也引起了人们极大的兴趣。在本文中，我们提出了一个可学习的模块Few-Shot分割，任务自适应功能Transformer（TAFT）。TAFT线性地将特定于任务的高级特征转换为一组非常适合分割工作的任务不可知特征。使用这种任务条件的特征变换，该模型被证明可以有效地利用新类别中的语义信息来生成紧密的分割掩模。建议TAFT模块可以很容易地插入到现有的语义分割算法，实现Few-Shot分割能力，只有几个增加的参数。我们将TAFT与Deeplab V3+（一种知名的分割架构）相结合;在PASCAL- $5^i$数据集上的实验证实，这种组合成功地为分割算法增加了少样本学习能力，在一些关键的代表性案例中实现了最先进的Few-Shot分割性能。
2020-10-22 cs.AI cs.CV
SparseSwin: Swin Transformer with Sparse Transformer Block
Brawijaya University（布拉维贾亚大学）
针对Transformer参数量大、效率低的问题，提出带稀疏令牌转换器的SparTa块并嵌入Swin T架构得到SparseSwin，在更少参数下于多个图像分类数据集上取得优于现有最优模型的准确率。
2023-09-11 cs.AI cs.CV cs.LG
Zero-Shot and Few-Shot Learning for Lung Cancer Multi-Label Classification using Vision Transformer
Harvard Medical School（哈佛医学院）
肺癌是全球癌症相关死亡的主要原因。肺腺癌（LUAD）和肺鳞状细胞癌（LUSC）是非小细胞肺癌（NSCLC）最常见的组织学亚型。组织学是肺癌诊断的重要工具。病理学家根据优势亚型进行分类。虽然形态学仍然是诊断的标准，但需要开发重要的工具来阐明诊断。在我们的研究中，我们利用预先训练的视觉Transformer（ViT）模型在Zero-Shot和Few-Shot设置下对组织切片（来自数据集LC 25000）上的多标记肺癌进行分类。然后我们比较了Zero-Shot和Few-Shot ViT在准确度、精确度、召回率、灵敏度和特异度方面的性能。我们的研究表明，预训练的ViT模型在Zero-Shot设置中具有良好的性能，在Few-Shot设置中具有竞争力的准确性（$99.87\%$）（{epoch = 1}），在Few-Shot设置中具有最佳结果（$100.00\%$）（{epoch = 5}）。
2022-05-31 cs.AI cs.CV cs.LG
End-to-End Semantic Video Transformer for Zero-Shot Action Recognition
Amazon（亚马逊）；University of South Florida（南佛罗里达大学）
虽然视频动作识别多年来一直是一个活跃的研究领域，但zero-shot动作识别直到最近才开始获得关注。在这项工作中，我们提出了一种新的端到端训练的Transformer模型，该模型能够有效地捕获长距离时空依赖性，与使用3D-CNN的现有方法相反。此外，为了解决一个常见的模糊性，在现有的作品类，可以被认为是以前看不见的，我们提出了一个新的实验设置，满足零样本学习的前提下，通过避免训练和测试类之间的重叠动作识别。在UCF-101、HMDB-51和ActivityNet数据集上，所提出的方法在zero-shot动作识别中的前1名准确率方面显著优于现有技术。代码和拟议的实验设置可在GitHub上获得：https://github.com/Secure-and-Intelligent-Systems-Lab/SemanticVideoTransformer
2022-12-02 cs.AI cs.CV
SparseFormer: Detecting Objects in HRW Shots via Sparse Vision Transformer
Shanghai Jiao Tong University（上海交通大学）；Tsinghua University（清华大学）
针对HRW镜头目标检测的极端稀疏性和尺度变化挑战，提出模型无关稀疏视觉Transformer SparseFormer，通过选择性注意力标记、特征融合及C-NMS算法，在PANDA和DOTA-v1.0基准上精度提升5.8%、速度提升3倍。
2025-02-11 cs.AI cs.CV
Context-Transformer: Tackling Object Confusion for Few-Shot Detection
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳市人工智能与机器人研究院）
Few-Shot目标检测是一个具有挑战性但现实的场景，其中只有少数带注释的训练图像可用于训练检测器。处理这个问题的流行方法是迁移学习，即，微调在源域基准上预训练的检测器。然而，由于训练样本的数据多样性低，这种转移的检测器往往不能识别目标域中的新对象。为了解决这个问题，我们提出了一个新的上下文转换器在一个简洁的深度传输框架。具体来说，Context-Transformer可以有效地利用源域对象知识作为指导，并自动利用目标域中的少量训练图像中的上下文。随后，它可以自适应地整合这些关系线索，以提高检测器的辨别能力，以减少目标混淆在Few-Shot场景。此外，Context-Transformer灵活地嵌入到流行的SSD风格的检测器中，这使其成为端到端少样本学习的即插即用模块。最后，我们评估上下文转换器的挑战性设置的Few-Shot检测和增量Few-Shot检测。实验结果表明，我们的框架优于最近的国家的最先进的方法。
2020-03-16 cs.AI cs.CV cs.LG
Multi-Head Self-Attention via Vision Transformer for Zero-Shot Learning
University of Exeter（埃克塞特大学）
零样本学习（Zero-Shot Learning，简称ZRL）旨在识别在训练阶段未观察到的不可见对象类。现有的关于图像识别的研究大多依赖于预先训练的视觉特征，缺乏明确的图像属性定位机制。在这项工作中，我们提出了一个基于注意力的模型，在问题设置中学习属性有用的看不见的类识别。我们的方法使用了一个注意力机制改编自视觉Transformer捕获和学习的歧视性属性分割成小块的图像。我们在三个流行的WML基准上进行实验（即，AWA 2，CUB和SUN），并设置新的最先进的调和平均结果{在所有三个数据集}，这说明了我们提出的方法的有效性。
2021-07-30 cs.CV cs.LG
Sparse then Prune: Toward Efficient Vision Transformers
Universitas Brawijaya（布劳爪哇大学）
针对视觉Transformer计算负担重的问题，提出先稀疏正则化再剪枝的优化方法，在多个图像分类数据集上实现了准确率提升，兼顾了模型性能与效率。
2023-07-22 cs.AI cs.CV
