Multi-dimensional Visual Prompt Enhanced Image Restoration via Mamba-Transformer Aggregation
School of Digital Industry, Jiangxi Normal University（江西师范大学数字产业学院）；School of Computer and Information Engineering, Jiangxi Normal University（江西师范大学计算机与信息工程学院）
本文提出一种基于Mamba-Transformer聚合的多维视觉提示图像恢复方法，结合Mamba空间建模与Transformer通道建模，并引入多维提示学习模块，在多个基准任务上实现了最先进性能。
2024-12-20 cs.CV
Transformer-empowered Multi-scale Contextual Matching and Aggregation for Multi-contrast MRI Super-resolution
Yantai University（烟台大学）；University of Rochester（罗切斯特大学）；The Chinese University of Hong Kong（香港中文大学）；Fudan University（复旦大学）；The Hong Kong Polytechnic University（香港理工大学）
磁共振成像（MRI）可以呈现相同解剖结构的多对比度图像，从而实现多对比度超分辨率（SR）技术。与使用单对比度的SR重建相比，多对比度SR重建通过利用嵌入在不同成像模态中的多样但互补的信息而有希望产生具有更高质量的SR图像。然而，现有的方法仍然存在两个缺点：（1）他们忽略了在不同尺度上的多对比度特征包含不同的解剖细节，因此缺乏有效的机制来匹配和融合这些特征以更好地重建;（2）他们仍然缺乏捕获长程依赖性，这对于具有复杂解剖结构的区域是必不可少的。我们提出了一种新的网络，通过开发一套创新的Transformer授权的多尺度上下文匹配和聚合技术来全面解决这些问题;我们称之为McMRSR。首先，我们驯服Transformers来模拟参考图像和目标图像中的长程依赖关系。然后，提出了一种新的多尺度上下文匹配方法，从不同尺度的参考特征中捕获相应的上下文。此外，我们引入了一个多尺度聚合机制，逐步和交互式聚合多尺度匹配的功能，重建目标SR MR图像。大量的实验表明，我们的网络优于国家的最先进的方法，并有很大的潜力，应用于临床实践。代码可在https://github.com/XAIMI-Lab/McMRSR上获得。
2022-03-26 cs.CV eess.IV
HAAT: Hybrid Attention Aggregation Transformer for Image Super-Resolution
Centre for Advances in Reliability and Safety（可靠性与安全研究中心）；The Hong Kong Polytechnic University（香港理工大学）
针对现有 Swin Transformer 超分辨率方法受限于非重叠窗口且忽视跨通道信息的问题，本文提出 HAAT，融合 SDRCB 与 HGAB 以增强非局部特征利用，并在基准数据集上超越现有最先进方法。
2024-12-10 cs.AI cs.CV eess.IV
SAAT: Synergistic Alternating Aggregation Transformer for Image Super-Resolution
Department of Computer Science and Technology（计算机科学与技术系）
本文提出SAAT模型，通过协同融合通道注意力与窗口注意力、空间注意力与窗口注意力，更充分地利用特征信息，在相同参数量下实现与SOTA相当的图像超分辨率性能。
2025-06-04 cs.AI cs.CV
HMANet: Hybrid Multi-Axis Aggregation Network for Image Super-Resolution
College of Computer Science and Engineering, Shandong University of Science and Technology（山东科技大学计算机科学与工程学院）；School of Artificial Intelligence, Nanjing University of Information Science and Technology（南京信息工程大学人工智能学院）；School of Information Engineering, Guangdong University of Technology（广东工业大学信息工程学院）；School of Electronic and Information Engineering, Harbin Institute of Technology（哈尔滨工业大学电子与信息工程学院）
本文提出 HMANet，通过堆叠 RHTB 与 GAB 扩展注意力交互范围，并结合新型预训练策略提升图像超分辨率性能，实验表明其在基准数据集上优于现有方法。
2024-05-08 cs.CV
Unifying Dimensions: A Linear Adaptive Approach to Lightweight Image Super-Resolution
School of Remote Sensing and Information Engineering, Wuhan University（武汉大学遥感信息工程学院）
针对基于窗口Transformer的超分辨率模型高延迟问题，提出基于卷积的轻量级框架LAMNet，通过线性焦点可分离注意力、双分支结构与自门控机制，在保持CNN计算效率的同时实现3倍推理加速且性能优于现有SA方法。
2024-09-26 cs.CV
Coarse-to-Fine Embedded PatchMatch and Multi-Scale Dynamic Aggregation for Reference-based Super-Resolution
Tsinghua University（清华大学）；University of Rochester（罗切斯特大学）
基于参考的超分辨率（RefSR）在使用外部参考（Ref）图像产生真实感纹理方面取得了重大进展。然而，现有的RefSR方法获得高质量的对应匹配消耗二次计算资源的输入大小，限制了其应用。此外，这些方法通常遭受低分辨率（LR）图像和Ref图像之间的尺度不对准。本文提出了一种用于基于参考的超分辨率的加速多尺度聚合网络（AMSA），包括粗到细嵌入式补丁匹配（CFE-PatchMatch）和多尺度动态聚合（MSDA）模块。为了提高匹配效率，我们设计了一种新的嵌入式PatchMacth方案与随机样本传播，其中包括端到端的训练与渐近线性计算成本的输入大小。为了进一步降低计算成本并加快收敛速度，我们在嵌入式PatchMacth上应用由粗到细的策略，构成CFE-PatchMatch。为了充分利用跨多个尺度的参考信息并增强对尺度不对齐的鲁棒性，我们开发了由动态聚合和多尺度聚合组成的MSDA模块。动态聚合通过动态聚合特征来纠正较小的尺度错位，而多尺度聚合通过融合多尺度信息来带来对大尺度错位的鲁棒性。实验结果表明，所提出的AMSA实现了优越的性能，在定量和定性评价的最先进的方法。
2022-03-10 cs.CV
MuCAN: Multi-Correspondence Aggregation Network for Video Super-Resolution
The Chinese University of Hong Kong（香港中文大学）；Kuaishou Technology（快手科技）；Tsinghua University（清华大学）；SmartMore（思谋科技）
视频超分辨率（VSR）旨在利用多个低分辨率帧来为每个帧生成高分辨率预测。在这个过程中，帧间和帧内是利用时间和空间信息的关键来源。然而，现有的振动时效方法存在一些局限性。首先，通常使用光流来建立时间对应。但流量估计本身容易出错，影响恢复结果。其次，自然图像中存在的相似模式很少被用于VSR任务。基于这些发现，我们提出了一个时间多对应聚合策略，以利用跨帧的类似补丁，和跨尺度的非本地对应聚合方案，以探索跨尺度图像的自相似性。基于这两个新的模块，我们建立了一个有效的多对应聚合网络（MuCAN）的VSR。我们的方法在多个基准数据集上实现了最先进的结果。大量的实验证明了我们的方法的有效性。
2020-07-23 cs.CV
Cross-Scope Spatial-Spectral Information Aggregation for Hyperspectral Image Super-Resolution
Wuhan University（武汉大学）；Hubei Luojia Laboratory（湖北珞珈实验室）
本文提出跨范围空间-光谱Transformer（CST），通过空间与光谱维度的交叉注意力机制有效捕获长程依赖，在三个高光谱数据集上实现了优于现有方法的超分辨率性能。
2023-11-29 cs.CV eess.IV
Cost Aggregation with 4D Convolutional Swin Transformer for Few-Shot Segmentation
Korea University（高丽大学）；Microsoft Research Asia（微软亚洲研究院）
本文提出了一种新的成本聚合网络，称为体积聚合与Transformers（增值税），为Few-Shot分割。Transformers的使用可以通过全局感受野上的自我注意来有益于相关图聚合。然而，用于Transformer处理的相关图的令牌化可能是有害的，因为令牌边界处的不连续性减少了令牌边缘附近可用的局部上下文并减少了感应偏差。为了解决这个问题，我们提出了一个4D卷积Swin Transformer，其中高维Swin Transformer之前是一系列小内核卷积，这些卷积将局部上下文赋予所有像素并引入卷积感应偏置。此外，我们还通过在金字塔结构中应用Transformers来提高聚合性能，其中较粗级别的聚合指导较细级别的聚合。Transformer输出中的噪声随后在后续解码器中借助查询的外观嵌入进行过滤。通过该模型，为少镜头分割（Few-Shot segmentation）中的所有标准基准设置了新的最先进技术。结果表明，增值税达到国家的最先进的性能，以及语义对应，其中成本聚合也发挥了核心作用。
2022-07-22 cs.CV
Semantic Segmentation on VSPW Dataset through Aggregation of Transformer Models
Xiaomi Inc.（小米公司）
语义分割是计算机视觉中的一项重要任务，从中衍生出一些重要的使用场景，如自动驾驶、场景解析等，由于对视频语义分割任务的重视，我们参加了本次大赛。在这份报告中，我们简要介绍了“BetterThing”团队为ICCV 2021-视频场景解析野外挑战赛提供的解决方案。Transformer作为提取视频帧特征的主干，最终结果是SWIN和VOLO两个Transformer模型输出的聚合。该解决方案实现了57.3%的mIoU，在Wild Challenge视频场景解析中排名第三。
2021-09-03 cs.CV
CostFormer:Cost Transformer for Cost Aggregation in Multi-view Stereo
Alibaba Group（阿里巴巴集团）；South China University of Technology（华南理工大学）
针对MVS中CNN代价聚合因局部感受野导致难以区分错误匹配的问题，提出基于Transformer的高效代价聚合网络CostFormer，通过RDACT和RRT模块提取长程特征并增强空间注意力，作为通用插件提升MVS性能。
2023-05-17 cs.CV
S2CFormer: Revisiting the RD-Latency Trade-off in Transformer-based Learned Image Compression
Shanghai Jiao Tong University（上海交通大学）；Ant Group（蚂蚁集团）
针对基于Transformer的学习型图像压缩中率失真性能与解码延迟的次优权衡问题，研究提出S2CFormer范式，通过简化空间操作、增强通道聚合构建模型，其变体在多个数据集上达到SOTA性能并提升解码速度，树立高效高性能LIC新基准。
2025-03-24 cs.CV eess.IV
Integrative Feature and Cost Aggregation with Transformers for Dense Correspondence
Korea University（高丽大学）；Microsoft Research Asia（微软亚洲研究院）
我们提出了一种新的架构密集对应。当前最先进的方法是基于Transformer的方法，这些方法专注于特征描述符或成本量聚合。然而，它们通常聚合一个或另一个，而不是两者，尽管联合聚合可以通过提供一个拥有而另一个缺乏的信息来促进彼此，即，图像的结构或语义信息，或逐像素匹配相似性。在这项工作中，我们提出了一种新的基于transformer的网络，以利用其互补信息的方式交织这两种形式的聚合。具体来说，我们设计了一个自我关注层，利用描述符来消除嘈杂的成本量的歧义，并利用成本量聚合功能的方式，促进准确的匹配。随后的交叉注意层执行进一步的聚合，条件是两个图像的描述符，并通过较早层的聚合输出的帮助。我们进一步提高了分层处理的性能，其中粗层次的聚合指导那些在更精细的水平。我们评估了所提出的方法在密集匹配任务上的有效性，并在所有主要基准上实现了最先进的性能。还提供了广泛的消融研究，以验证我们的设计选择。
2022-09-20 cs.CV
Unifying Feature and Cost Aggregation with Transformers for Semantic and Visual Correspondence
Korea University（高丽大学）；Microsoft Research Asia（微软亚洲研究院）
本文提出一种基于Transformer的统一特征与代价聚合网络，利用自注意力和交叉注意力机制结合从粗到细设计，有效提升密集语义与几何匹配任务的精度。
2024-04-22 cs.CV
DuAT: Dual-Aggregation Transformer Network for Medical Image Segmentation
Xi’an Jiaotong-Liverpool University（西交利物浦大学）；Shenzhen University（深圳大学）
基于transformer的模型已被广泛证明是成功的计算机视觉任务，通过建模的长期依赖关系和捕捉全局表示。然而，它们通常由大图案的特征主导，导致局部细节的丢失（例如，边界和小对象），这在医学图像分割中是至关重要的。为了缓解这个问题，我们提出了一个双聚合Transformer网络称为DuAT，其特征在于两个创新的设计，即，全球到本地的空间聚合（GLSA）和选择性边界聚合（SBA）模块。GLSA具有聚合和表示全局和局部空间特征的能力，这分别有利于定位大对象和小对象。SBA模块用于聚合来自低层特征的边界特征和来自高层特征的语义信息，以更好地保留边界细节并定位重新校准对象。在六个基准数据集上的大量实验表明，我们提出的模型在皮肤病变图像和结肠镜图像中的息肉分割方面优于最先进的方法。此外，我们的方法是更强大的比现有的方法在各种具有挑战性的情况下，如小对象分割和模糊的对象边界。
2022-12-21 cs.CV
CATs: Cost Aggregation Transformers for Visual Correspondence
Yonsei University（延世大学）；Korea University（高丽大学）
我们提出了一种新的成本聚合网络，称为成本聚合Transformers（CAT），找到密集的语义相似的图像之间的对应关系与大类内外观和几何变化带来的额外挑战。代价集结是匹配任务中一个非常重要的过程，其输出的质量决定了匹配的精度。与手工制作的或基于CNN的方法解决成本聚合相比，由于缺乏对严重变形的鲁棒性或继承CNN的限制，由于有限的感受野而无法区分不正确的匹配，CAT在一些架构设计的帮助下探索初始相关图之间的全局共识，这些架构设计允许我们充分利用自我注意力机制。具体来说，我们包括外观亲和力建模，以帮助成本聚合过程中，以消除歧义的嘈杂的初始相关性地图，并提出多级聚合，以有效地捕捉不同的语义分层特征表示。然后，我们结合交换自我注意力技术和剩余连接，不仅要执行一致的匹配，而且要简化学习过程，我们发现，这些结果在一个明显的性能提升。我们进行实验，以证明所提出的模型的有效性，最新的方法，并提供广泛的消融研究。项目页面可在https://sunghwanhong.github.io/CATs/上找到。
2021-12-15 cs.CV
HexFormer: Hyperbolic Vision Transformer with Exponential Map Aggregation
Information Systems and Machine Learning Lab (ISMLL)（信息系统与机器学习实验室）；Data Science Department（数据科学系）
HexFormer通过双曲几何和指数映射聚合提升图像分类性能，实验表明其在梯度稳定性和准确性上优于传统方法。
2026-01-27 cs.CV
CATs++: Boosting Cost Aggregation with Convolutions and Transformers
Korea University（高丽大学）
代价聚合是图像匹配任务中的一个非常重要的过程，其目的是消除噪声匹配分数的歧义。现有的方法通常通过手工制作或基于CNN的方法来解决这个问题，这些方法要么对严重变形缺乏鲁棒性，要么继承了CNN的局限性，即由于有限的感受野和不适应性而无法区分不正确的匹配。在本文中，我们引入成本聚合与Transformers（CAT），以解决这个问题，探索全球共识之间的初始相关图的帮助下，一些架构设计，使我们能够充分享受全球的自我注意力机制的接受领域。此外，为了减轻CAT可能面临的一些限制，即，由于使用标准的Transformer会导致计算量很大，其复杂度随着空间和特征维度的大小而增加，这限制了其仅在有限分辨率下的适用性，并导致相当有限的性能，因此我们提出了CAT ++，CAT的扩展。我们提出的方法大大优于以前的最先进的方法，为所有基准测试（包括PF-WILLOW，PF-PASCAL和SPair-71 k）设置了一个新的最先进的方法。我们还提供了广泛的消融研究和分析。
2022-10-30 cs.CV
TransVPR: Transformer-based place recognition with multi-level attention aggregation
Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University（西安交通大学人工智能与机器人研究所）
视觉位置识别对于自动驾驶导航和移动机器人定位等应用是一项具有挑战性的任务。复杂场景中的干扰元素往往会导致视觉场所感知的偏差。为了解决这个问题，它是至关重要的，以整合信息，只有任务相关的区域到图像表示。本文提出了一种基于视觉Transformer的全局位置识别模型TransVPR。它得益于Transformers中自我注意操作的理想属性，可以自然地聚合任务相关的特征。来自Transformer的多个级别的关注（其聚焦于不同的感兴趣区域）被进一步组合以生成全局图像表示。此外，从Transformer层过滤的融合注意力掩模的输出令牌被认为是关键补丁描述符，这是用来执行空间匹配重新排序的候选人检索的全局图像特征。整个模型允许端到端训练，具有单一目标和图像级监督。TransVPR在几个真实世界的基准测试中实现了最先进的性能，同时保持了较低的计算时间和存储要求。
2022-04-13 cs.CV
Shuffle Transformer with Feature Alignment for Video Face Parsing
Tencent（腾讯）
这是一个简短的技术报告，介绍了TCParser团队在CVPR 2021的第三人称上下文（PIC）研讨会和挑战赛中的短视频人脸解析跟踪解决方案。在本文中，我们介绍了一个强大的骨干，这是基于交叉窗口的Shuffle Transformer，以提供准确的人脸解析表示。为了进一步获得更精细的分割结果，特别是在边缘上，我们引入了特征对齐聚合（FAA）模块。该方法可以有效地缓解多分辨率特征聚合所带来的特征错位问题。得益于更强的主干和更好的特征聚合，该方法在第三人称上下文（PIC）研讨会和挑战赛的短视频人脸解析赛道中获得了86.9519%的分数，排名第一。
2021-06-16 cs.CV
Boosting the Generalization Ability for Hyperspectral Image Classification using Spectral-spatial Axial Aggregation Transformer
Harbin Institute of Technology（哈尔滨工业大学）
本文提出SaaFormer模型，通过多级光谱提取和轴向聚合注意力机制强化光谱特征，解决高光谱图像分类在非重叠数据划分下泛化能力差的问题，并在多个数据集上验证了其优越性。
2024-10-22 cs.CV
Towards Implicit Aggregation: Robust Image Representation for Place Recognition in the Transformer Era
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学）；Pengcheng Laboratory（鹏城实验室）；Shenyang Institute of Automation, Chinese Academy of Sciences（沈阳自动化研究所，中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）；Pazhou Laboratory (Huangpu)（琶洲实验室（黄埔））
本文提出通过隐式聚合方法，利用Transformer模型中的可学习标记实现鲁棒的图像表示，提升视觉地点识别的性能。
2026-01-16 cs.CV
A Transformer-Based Adaptive Semantic Aggregation Method for UAV Visual Geo-Localization
School of Computer Science, Shenyang Aerospace University（沈阳航空航天大学计算机学院）
针对无人机视觉地理定位中局部级表示语义特征保留不足的问题，提出基于Transformer的自适应语义聚合方法，通过学习图像块与局部的相关性并自适应加权聚合特征，在University-1652数据集上性能优于现有方法。
2024-01-03 cs.CV
Container: Context Aggregation Network
Shanghai AI Laboratory（上海人工智能实验室）；CUHK-SenseTime Joint Lab（香港中文大学-商汤科技联合实验室）；Allen Institute for AI（艾伦人工智能研究所）；University of Washington（华盛顿大学）
卷积神经网络（CNN）在计算机视觉中无处不在，具有无数有效和高效的变体。最近，最初在自然语言处理中引入的Transformers在计算机视觉中越来越多地被采用。虽然早期采用者继续使用CNN骨干，但最新的网络是端到端的无CNN Transformer解决方案。最近一项令人惊讶的发现表明，一个简单的基于MLP的解决方案，没有任何传统的卷积或Transformer组件，可以产生有效的视觉表示。虽然CNN，Transformers和MLP混合器可以被认为是完全不同的架构，但我们提供了一个统一的视图，表明它们实际上是在神经网络堆栈中聚合空间上下文的更一般方法的特殊情况。我们提出了\model（CONText AggregatIon NEtwoRk），这是一种用于多头上下文聚合的通用构建块，可以利用远程交互\emph{a la} Transformers，同时仍然利用局部卷积运算的归纳偏差，从而加快收敛速度，这在CNN中很常见。与基于Transformer的方法相比，这些方法不能很好地扩展到依赖于较大输入图像分辨率的下游任务，我们的高效网络，名为\modellight，可以用于目标检测和实例分割网络，如DETR，RetinaNet和Mask-RCNN，以获得令人印象深刻的检测mAP 38.9，43.8，45.1和掩码mAP 41.3，与具有可比计算和参数大小的ResNet-50主干相比，分别提…
2021-10-18 cs.CV
CRA-PCN: Point Cloud Completion with Intra- and Inter-level Cross-Resolution Transformers
State Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术全国重点实验室）
提出Cross-Resolution Transformer进行层级内与层级间交叉分辨率聚合，构建由粗到细的CRA-PCN模型，在多个基准上大幅提升点云补全性能。
2024-02-14 cs.CV
Multi-Stage Spatio-Temporal Aggregation Transformer for Video Person Re-identification
The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；Sun Yat-sen University（中山大学）；The University of Hong Kong（香港大学）
近年来，Transformer体系结构在基于视频的人物重新识别任务中显示出了其优越性。受视频表示学习的启发，这些方法主要集中在设计模块来提取信息丰富的时空特征。然而，他们仍然是有限的，在提取本地属性和全球身份信息，这是至关重要的人重新识别任务。在本文中，我们提出了一种新的多级时空聚合Transformer（MSTAT）与两个新设计的代理嵌入模块，以解决上述问题。具体地说，MSTAT包括三个阶段，分别对来自视频片段的属性关联信息、身份关联信息和属性身份关联信息进行编码，从而实现对输入人的整体感知。我们结合所有阶段的输出进行最终识别。在实践中，为了节省计算成本，空间-时间聚合（STA）模块首先在每个阶段中采用沿空间和时间维度分别进行自注意操作。我们进一步引入属性感知和身份感知代理嵌入模块（AAP和IAP），以在不同阶段提取信息和判别特征表示。所有这些都是通过使用新设计的具有特定含义的自我注意操作来实现的。此外，时间补丁洗牌也被引入，以进一步提高模型的鲁棒性。大量的实验结果证明了所提出的模块在从视频中提取信息和区分信息方面的有效性，并说明MSTAT可以在各种标准基准上达到最先进的准确性。
2023-01-02 cs.CV
Cost Aggregation Is All You Need for Few-Shot Segmentation
Korea University（高丽大学）；Yonsei University（延世大学）
我们引入了一种新的成本聚合网络，称为体积聚合与Transformers（增值税），以解决Few-Shot分割任务，通过使用卷积和变压器，有效地处理查询和支持之间的高维相关映射。具体来说，我们提出了我们的编码器，包括体积嵌入模块，不仅将相关映射转换为更易于处理的大小，而且还注入了一些卷积电感偏置和体积Transformer模块的成本聚合。我们的编码器有一个金字塔结构，让粗层次的聚合，以指导更精细的水平和强制学习互补的匹配分数。然后，我们将输出与投影的特征图一起馈送到我们的亲和力感知解码器中，以指导分割过程。结合这些组件，我们进行实验，以证明所提出的方法的有效性，我们的方法设置了一个新的国家的最先进的所有标准的基准在Few-Shot分割任务。此外，我们发现，所提出的方法达到国家的最先进的性能，即使在语义对应任务的标准基准，虽然不是专门为这项任务设计的。我们还提供了广泛的消融研究，以验证我们的架构选择。训练的权重和代码可在https://seokju-cho.github.io/VAT/上获得。
2021-12-22 cs.CV
Spatio-Temporal Outdoor Lighting Aggregation on Image Sequences using Transformer Networks
Robert Bosch GmbH（罗伯特·博世有限公司）；Heidelberg University（海德堡大学）；Bielefeld UoAS（比勒费尔德应用科学大学）
在这项工作中，我们专注于户外照明估计，通过聚合个人噪声估计图像，利用丰富的图像信息，从广角相机和/或时间图像序列。照片固有地以阴影和阴影的形式编码关于场景照明的信息。光照恢复是一个逆绘制问题，因此是不适定的。基于深度神经网络的最新工作已经显示出用于单图像照明估计的有希望的结果，但是受到鲁棒性的影响。我们解决这个问题，结合照明估计从几个图像视图采样的角度和时间域的图像序列。对于这项任务，我们引入了一个Transformer架构，该架构以端到端的方式进行训练，而不像以前的工作所要求的那样进行任何统计后处理。因此，我们提出了一个位置编码，考虑到相机校准和自我运动估计全局注册的个人估计时，计算视觉词之间的注意。我们表明，我们的方法导致改进的照明估计，同时需要更少的超参数相比，最先进的。
2022-02-18 cs.CV
Category Feature Transformer for Semantic Segmentation
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文提出类别特征Transformer（CFT），通过多头注意力在多阶段特征间传播类别嵌入，以轻量参数在ADE20K上取得55.1% mIoU。
2023-08-10 cs.CV
Trans-SVNet: Accurate Phase Recognition from Surgical Videos via Hybrid Embedding Aggregation Transformer
The Chinese University of Hong Kong（香港中文大学）；T Stone Robotics Institute, CUHK（香港中文大学T石机器人研究所）
实时手术时相识别是现代手术室中的一项基本任务。以前的作品解决这个任务依赖于安排在时空顺序的架构，但是，中间空间功能的支持性的好处没有被考虑。在本文中，我们介绍，第一次在手术工作流程分析，Transformer重新考虑被忽视的互补作用的空间和时间的功能，准确的手术阶段识别。我们的混合嵌入聚合Transformer融合了巧妙设计的空间和时间嵌入，允许基于时间嵌入序列的空间信息进行主动查询。更重要的是，我们的框架并行处理混合嵌入，以实现高推理速度。我们的方法在两个大型手术视频数据集上进行了彻底验证，即，Cholec80和M2CAI 16挑战数据集，并以91 fps的处理速度优于最先进的方法。
2021-07-12 cs.AI cs.CV
FAQ: Feature Aggregated Queries for Transformer-based Video Object Detectors
University of Florida（佛罗里达大学）；ByteDance Inc.（字节跳动公司）
视频目标检测需要解决图像域中很少发生的特征退化情况。一种解决方案是使用时间信息并融合来自相邻帧的特征。随着基于变换器的目标检测器在图像域任务上获得更好的性能，最近的工作开始将这些方法扩展到视频目标检测。然而，这些现有的基于transformer的视频对象检测器仍然遵循与经典对象检测器相同的流水线，例如通过聚合来增强对象特征表示。在这项工作中，我们采取不同的角度对视频目标检测。具体地说，我们通过聚合来提高基于transformer的模型的查询质量。为了实现这一目标，我们首先提出了一个香草查询聚合模块，加权平均查询，根据相邻帧的功能。然后，我们将vanilla模块扩展到一个更实用的版本，它根据输入帧的特征生成和聚合查询。大量的实验结果验证了我们提出的方法的有效性：在具有挑战性的ImageNet VID基准测试中，当与我们提出的模块集成时，当前最先进的基于Transformer的对象检测器在mAP上可以提高2.4%以上，在AP50上可以提高4.2%以上。
2023-03-20 cs.CV
Efficient Multi-Object Pose Estimation using Multi-Resolution Deformable Attention and Query Aggregation
University of Bonn（波恩大学）
针对多目标姿态估计问题，提出融合多分辨率可变形注意力与查询聚合机制的视觉Transformer模型，在YCB-Video数据集上取得当前最优结果，兼顾长程依赖学习与计算效率。
2023-12-13 cs.CV
HAT: Hierarchical Aggregation Transformers for Person Re-identification
Dalian University of Technology（大连理工大学）
近年来，随着深度卷积神经网络（CNN）的发展，人的身份再识别（Re-ID）在各种应用中取得了巨大的成功。然而，由于CNN的感受野有限，在非重叠相机下为人在全局视图中提取区分性表示仍然具有挑战性。同时，Transformers表现出强大的建模能力，空间和序列数据的长期依赖。在这项工作中，我们利用CNN和Transformers，并提出了一种新的学习框架命名为分层聚合Transformer（HAT）的基于图像的人的Re-ID具有高性能。为了实现这一目标，我们首先提出了一种深度监督聚合（DSA），以循环聚合来自CNN骨干的分层特征。与以往的方法不同，DSA通过多粒度监督，可以增强多尺度特征，用于人物检索。然后，我们引入了一个基于转换器的特征校准（TFC）集成低级别的细节信息作为全局先验的高层语义信息。建议的TFC被插入到每个层次的功能，从而在很大的性能改善。据我们所知，这项工作是第一个利用CNN和Transformers进行基于图像的人Re-ID的。在四个大规模Re-ID基准上的综合实验表明，我们的方法比几种最先进的方法显示出更好的结果。该代码在https://github.com/AI-Zhpp/HAT上发布。
2021-07-14 cs.AI cs.CV
Dual Sparse Aggregation Transformer for Multispectral Object Detection
Northwestern Polytechnical University（西北工业大学）；School of Computer Science, Northwestern Polytechnical University（西北工业大学计算机学院）；School of Cybersecurity, Northwestern Polytechnical University（西北工业大学网络空间安全学院）；Shaanxi Provincial Key Laboratory of Speech and Image Information Processing（陕西省语音与图像信息处理重点实验室）；National Engineering Laboratory for Integrated Aerospace-Ground-Ocean Big Data Application Technology（空天地海一体化大数据应用技术国家工程实验室）
提出双稀疏聚合Transformer（DSAFormer），通过空间和通道稀疏注意力机制减少冗余交互，并引入可学习加法融合模块增强多模态特征融合，在四个数据集上达到最优检测性能。
2026-07-01 cs.CV
AggPose: Deep Aggregation Vision Transformer for Infant Pose Estimation
Shenzhen Automatic Rehabilitation Laboratory（深圳市自动康复实验室）；New York University（纽约大学）；Shenzhen Children’s Hospital（深圳市儿童医院）
新生儿的运动和姿势评估让经验丰富的儿科医生预测神经发育障碍，从而对相关疾病进行早期干预。然而，大多数用于人体姿态估计的最新人工智能方法都集中在成人身上，缺乏婴儿姿态估计的公开基准。在本文中，我们通过提出婴儿姿势数据集和用于人体姿势估计的深度聚合视觉Transformer来填补这一空白，它引入了一个快速训练的完整Transformer框架，而无需在早期阶段使用卷积运算来提取特征。它将Transformer + MLP推广到特征图内的高分辨率深层聚合，从而实现不同视觉级别之间的信息融合。我们在COCO姿势数据集上预训练AggPose，并将其应用于我们新发布的大规模婴儿姿势估计数据集。实验结果表明，AggPose能够有效地学习不同分辨率下的多尺度特征，显著提高了婴儿姿态估计的性能。我们表明，AggPose优于混合模型HRFormer和TokenPose在婴儿姿态估计数据集。此外，我们的AggPose在COCO值姿态估计上平均优于HRFormer 0.8 AP。我们的代码可在github.com/SZAR-LAB/AggPose上获得。
2022-08-10 cs.AI cs.CV
STA-TFM: Spatio-Temporal Aggregation Across Views TransForMer for Pose Estimation
Sanofi Digital R&D（赛诺菲数字研发）
提出STA-TFM，一种基于Transformer的多视角姿态估计架构，结合单目特征提取器与融合Transformer，并利用数据生成流程，在多个数据集上显著降低姿态误差，且能处理噪声和缺失输入。
2026-09-22 cs.CV
Multi-scale Hierarchical Vision Transformer with Cascaded Attention Decoding for Medical Image Segmentation
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
Transformers在医学图像分割方面取得了巨大成功。然而，Transformers可能会表现出有限的泛化能力，由于潜在的单尺度自我注意力（SA）机制。在本文中，我们通过引入多尺度层次视觉Transformer（MERIT）骨干网络来解决这个问题，该骨干网络通过在多个尺度上计算SA来提高模型的泛化能力。我们还采用了一个基于注意力的解码器，即级联注意力解码（CASCADE），以进一步细化MERIT生成的多阶段特征。最后，我们介绍了一种有效的多阶段特征混合损失聚合（MUTATION）方法，通过隐式集成来更好地进行模型训练。我们对两个广泛使用的医学图像分割基准（即，Synapse Multi-organ，ACDC）证明了MERIT优于最先进方法的性能。我们的MERIT架构和MUTATION损失聚合可以与下游医学图像和语义分割任务一起使用。
2023-03-29 cs.CV
SWIN-SFTNet : Spatial Feature Expansion and Aggregation using Swin Transformer For Whole Breast micro-mass segmentation
University of Nevada, Reno（内华达大学雷诺分校）
在训练深度学习架构中模拟各种肿块形状和大小使得乳房肿块分割具有挑战性。此外，不规则形状的肿块的手动分割是耗时且容易出错的。虽然深度神经网络在乳腺肿块分割方面表现出了出色的性能，但它在分割微小肿块时失败了。在本文中，我们提出了一种新的U形网形的变压器为基础的架构，称为Swin-SFTNet，优于最先进的架构，在乳腺钼靶摄影为基础的微质量分割。首先，为了捕获全局上下文，我们设计了一种新的空间特征扩展和聚合块（SFEA），将连续的线性块转换为结构化的空间特征。接下来，我们将其与swin Transformer块提取的局部线性特征相结合，以提高整体精度。我们还采用了一种新的嵌入损失，计算编码器和解码器块的线性特征嵌入之间的相似性。通过这种方法，我们在CBIS-DDSM上实现了比现有技术更高的分割率3.10%，在InBreast上实现了3.81%，在InBreast测试数据集上实现了3.13%的CBIS预训练模型。
2022-11-16 cs.CV eess.IV
GPAFormer: Graph-guided Patch Aggregation Transformer for Efficient 3D Medical Image Segmentation
本文提出GPAFormer，一种轻量级网络架构，通过多尺度注意力引导堆叠聚合和互感知补丁图聚合模块，提升多器官多模态3D医学图像分割的准确性和效率。
2026-04-08 cs.CV
Shunted Self-Attention via Multi-Scale Token Aggregation
National University of Singapore（新加坡国立大学）；South China University of Technology（华南理工大学）；ByteDance Inc.（字节跳动公司）
最近的视觉Transformer ~（ViT）模型在各种计算机视觉任务中表现出令人鼓舞的结果，这要归功于它们通过自注意对图像块或标记的长距离依赖性进行建模的能力。然而，这些模型通常指定每个层内每个标记特征的相似感受野。这样的约束不可避免地限制了每个自我注意层捕获多尺度特征的能力，从而导致处理具有不同尺度的多个对象的图像的性能下降。为了解决这个问题，我们提出了一种新的和通用的策略，称为分流的自我注意力~（SSA），允许ViTs模型的注意力在混合规模每注意层。SSA的核心思想是将异质感受野大小注入到标记中：在计算自我注意矩阵之前，它选择性地合并标记以表示较大的对象特征，同时保留某些标记以保留细粒度特征。这种新的合并方案使自我注意力能够学习不同大小的对象之间的关系，同时减少了令牌数量和计算成本。在各种任务中的广泛实验证明了SSA的优越性。具体而言，基于SSA的Transformer达到了84.0\%的Top-1精度，并且在ImageNet上仅以一半的模型大小和计算成本优于最先进的Focal Transformer，并且在类似的参数和计算成本下，在COCO上超过Focal Transformer 1.3 mAP，在ADE 20 K上超过2.9 mIOU。代码已在https://github.com/OliverRensu/Shunted-Transformer上发布。
2022-04-13 cs.CV
CTA-Net: A CNN-Transformer Aggregation Network for Improving Multi-Scale Feature Extraction
Fudan University Academy for Engineering and Technology（复旦大学工程与应用技术研究院）；Jihua Laboratory（季华实验室）
为解决CNN与ViT聚合效率低的问题，提出CTA-Net，通过引入LMF-MHSA和RRCV模块优化多尺度特征提取，在小规模数据集上以更少参数实现86.76%的TOP-1准确率。
2024-10-15 cs.AI cs.CV
Phase-Specific Augmented Reality Guidance for Microscopic Cataract Surgery Using Long-Short Spatiotemporal Aggregation Transformer
Shanghai Jiao Tong University（上海交通大学）；Xinhua Hospital Affiliated to Shanghai Jiao Tong University School of Medicine（上海交通大学医学院附属新华医院）；Rice University（莱斯大学）；University of Münster（明斯特大学）
本文提出一种相位特异性增强现实引导系统，通过两阶段视频识别网络和长短时空聚合Transformer精准识别白内障手术相位，并结合AR视觉提示提升术中引导的准确性与实时性。
2023-11-01 cs.CV
ST-DETR: Spatio-Temporal Object Traces Attention Detection Transformer
Valeo R&D（法雷奥研发中心）
我们提出了ST-DETR，一个基于时空变换器的结构，用于从时间帧序列中检测目标检测。我们将时间帧视为空间和时间上的序列，并采用完整的注意力机制来利用两个维度上的特征相关性。这种处理使我们能够处理帧序列作为时间对象特征在空间中的每个位置上的轨迹。我们探讨了两种可能的方法，早期的空间特征聚集的时间维度，和后期的对象查询空间特征的时间聚集。此外，我们提出了一种新的时间位置嵌入技术来编码的时间序列信息。为了评估我们的方法，我们选择了移动目标检测（MOD）任务，因为它是一个完美的候选人，以展示时间维度的重要性。结果显示，在KITTI MOD数据集上，1步空间基线的mAP显著改善了5%。
2021-07-24 cs.CV
PASTA: Vision Transformer Patch Aggregation for Weakly Supervised Target and Anomaly Segmentation
PASTA通过自监督Vision Transformer特征空间分布分析，利用Segment Anything Model 3的语义文本提示，实现弱图像监督下的目标和异常分割，提升工业和农业领域的实时处理与分割精度。
2026-04-07 cs.CV cs.LG
Attention-Aware Transformer-Based Aggregation Network for Video Periocular Recognition
Department of Computer Science, Federal University of Minas Gerais, Belo Horizonte, Brazil（巴西米纳斯吉拉斯联邦大学计算机科学系）；Department of Informatics, Federal University of Paraná, Curitiba, Brazil（巴西巴西南部联邦大学信息技术系）
本文提出一种基于变换器的聚合网络，用于视频眼周识别，通过特征嵌入和聚合模块提升识别鲁棒性，在COX Face数据集上优于传统方法，达到99.8%的TPR@1e-1和96.6%的Rank-5。
2026-05-15 cs.CV cs.LG
PE-Mamba: Bidirectional Selective Layer Aggregation for AI-Generated Image Detection
College of Innovation & Technology, University of Michigan-Flint（密歇根大学弗林特分校创新与技术学院）；School of Electronics and Information Engineering, Korea Aerospace University（韩国航空大学电子与信息工程学院）
本研究针对AI生成图像检测的挑战，提出基于PE-Core视觉Transformer的PE-Mamba框架，通过双向选择性聚合器等三个组件实现跨层特征聚合，在两个数据集上优于18种检测器且仅训练少量参数。
2026-08-11 cs.CV
Compact Transformer Tracker with Correlative Masked Modeling
Huazhong University of Science and Technology（华中科技大学）；La Trobe University（拉筹伯大学）
Transformer框架利用著名的注意力机制，在跨模板和搜索图像的信息聚合方面表现出很强的能力，在视觉目标跟踪方面表现出了优异的性能。最新的进展集中在探索注意力机制的变体，以更好的信息聚合。我们发现这些方案等价于甚至只是基本的自我注意力机制的一个子集。在本文中，我们证明了香草自注意结构是充分的信息聚合，结构调整是不必要的。其关键不在于注意结构，而在于如何提取识别特征进行跟踪，增强目标与搜索图像之间的交流。基于这一发现，我们采用基本的视觉Transformer（ViT）架构作为我们的主要跟踪器和拼接的模板和搜索图像的特征嵌入。为了引导编码器捕获用于跟踪的不变特征，我们附加了一个轻量级的相关掩码解码器，该解码器从相应的掩码令牌重建原始模板和搜索图像。相关掩码解码器用作紧凑变换跟踪器的插件，并且在推理中被跳过。我们的紧凑型跟踪器使用最简单的结构，仅由ViT骨干和盒头组成，可以以40 fps的速度运行。大量的实验表明，所提出的紧凑型变换跟踪器优于现有的方法，包括先进的注意变量，并证明了自我注意跟踪任务的充分性。我们的方法在五个具有挑战性的数据集上实现了最先进的性能，以及VOT 2020，UAV 123，LaSOT，TrackingNet和GOT-10 k基准测试。我们的项目可以在https://github.com/HUSTDML/CTTrack上找到。
2023-01-26 cs.CV
Precise Facial Landmark Detection by Dynamic Semantic Aggregation Transformer
School of Information Engineering, Zhongnan University of Economics and Law（中南财经政法大学信息工程学院）；College of Computer Science and Software Engineering, Shenzhen University（深圳大学计算机与软件学院）；School of Information Science and Technology, Sanda University（上海杉达学院信息科学与技术学院）；School of Information Science and Engineering, Yunnan University（云南大学信息科学与工程学院）；Singapore University of Technology and Design（新加坡科技设计大学）
针对预定义网络难以处理大姿态、遮挡及多尺度语义差异的问题，本文提出 DSAT，通过 DSA 动态分流与 DSS 跨尺度语义特化学习专用特征，提升人脸对齐精度并超越现有最先进方法。
2024-12-01 cs.CV
TFormer: A throughout fusion transformer for multi-modal skin lesion diagnosis
Beihang University（北京航空航天大学）
利用基于深度卷积的现代计算机辅助诊断技术，多模态皮肤病变诊断（MSLD）取得了显著的成功。然而，由于严重性不一致的空间分辨率（例如，皮肤镜图像和临床图像）和异质数据（例如，皮肤镜图像和患者的元数据）。受限于固有的局部注意力，大多数使用纯卷积的最新MSLD管道难以捕获浅层中的代表性特征，因此跨不同模态的融合通常在管道的末端完成，甚至在最后一层，导致信息聚合不足。为了解决这个问题，我们引入了一个纯粹的基于transformer的方法，我们称之为“贯穿融合Transformer（TFormer）”，用于在MSLD中进行充分的信息集成。与现有的卷积方法不同，所提出的网络利用Transformer作为特征提取的骨干，带来了更具代表性的浅层特征。然后，我们仔细设计了一个堆栈的双分支分层多模态Transformer（HMT）块融合信息在不同的图像模态在一个阶段的方式。利用图像模态的聚合信息，设计了一个多模态Transformer后融合（MTP）模块，以整合图像和非图像数据的特征。首先融合图像模态的信息，然后融合异构模态的信息，这样的策略使我们能够更好地区分和克服这两个主要挑战，同时确保模态间动态有效地建模。
2023-03-02 cs.CV
Augmenting Convolutional networks with attention-based aggregation
Meta AI；Sorbonne University（索邦大学）；Inria（法国国家信息与自动化研究所）
我们展示了如何使用基于注意力的全局映射来增强任何卷积网络，以实现非局部推理。我们用一个基于注意力的聚合层代替最终的平均池，该聚合层类似于一个单一的Transformer块，它对补丁如何参与分类决策进行加权。我们将这个学习的聚合层插入一个简单的基于补丁的卷积网络，由2个参数（宽度和深度）参数化。与金字塔设计相比，该架构家族在所有层上保持输入补丁分辨率。它产生了令人惊讶的竞争力的准确性和复杂性之间的权衡，特别是在内存消耗方面，我们的实验所示的各种计算机视觉任务：对象分类，图像分割和检测。
2021-12-27 cs.CV
Stacked Dense U-Nets with Dual Transformers for Robust Face Alignment
InsightFace；Imperial College London（帝国理工学院）
在野外拍摄的图像中，面部标志点定位是一个重要且具有挑战性的问题。目前的最新技术围绕着某些类型的深度卷积神经网络（DCNN），如堆叠U网和沙漏网络。在这项工作中，我们创新性地提出了堆叠密集U网来完成这项任务。我们设计了一种新的规模聚合网络拓扑结构和信道聚合模块，在不牺牲计算复杂性和模型规模的前提下提高了模型的容量。借助于堆叠密集U网内部的可变形卷积和外部数据变换的相干损失，我们的模型获得了对任意输入人脸图像空间不变的能力。在大量野外数据集上的实验验证了该方法在极端姿态、夸张表情和严重遮挡情况下的鲁棒性。最后，我们表明，准确的三维人脸对齐可以帮助姿态不变的人脸识别，我们实现了一个新的国家的最先进的CFP-FP的准确性。
2018-12-05 cs.CV
Federated Vision Transformer with Adaptive Focal Loss for Medical Image Classification
School of Artificial Intelligence, Guilin University of Electronic Technology, Guilin, China, 541004（桂林电子科技大学人工智能学院）；The Laboratory for Imagery, Vision and Artificial Intelligence, École de Technologie Supérieure, Montreal, Canada, H3C 1K3（影像、视觉与人工智能实验室）；College of Medicine, Taibah University, Al Madinah, Saudi Arabia, 42353（塔布大学医学院）；Department of Radiology, Prince Mohammed Bin Abdulaziz Hospital, Ministry of National Guard Health Affairs, Al Madinah, Saudi Arabia, 42324（王子穆罕默德·本·阿卜杜勒阿齐兹医院放射科）；College of Computer Science and Engineering, Taibah University, Madinah, Saudi Arabia, 42353（塔布大学计算机科学与工程学院）；Engineering, Jeddah University, Jeddah, Saudi Arabia, 23445（吉达大学工程学院）
本研究提出一种结合动态自适应焦点损失和客户端感知聚合策略的联邦学习框架，提升医学图像分类的准确率。
2026-02-02 cs.CV
ViSTA: Vision and Scene Text Aggregation for Cross-Modal Retrieval
Baidu Inc（百度公司）；Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
视觉外观被认为是跨模态检索中理解图像的最重要线索，而有时图像中出现的场景文本可以为理解视觉语义提供有价值的信息。现有的大多数跨模态检索方法都忽略了场景文本信息的使用，直接添加这些信息可能会导致无场景文本场景检索性能下降。为了解决这个问题，我们提出了一个完整的Transformer架构，以统一这些跨模态检索场景在一个单一的$\textbf{Vi}$ sion和$\textbf{S}$ cene $\textbf{T}$ ext $\textbf{A}$ ggregation框架（VisTA）。具体而言，ViSTA利用Transformer块直接编码图像块并融合场景文本嵌入，以学习用于跨模态检索的聚合视觉表示。为了解决场景文本的模态缺失问题，提出了一种新的基于融合标记的Transformer聚合方法，只通过融合标记交换必要的场景文本信息，并集中在每个模态中最重要的特征上。为了进一步加强视觉模态，我们开发了双重对比学习损失，将图像-文本对和融合-文本对嵌入到一个公共的跨模态空间中。与现有的方法相比，VisTA能够聚合相关的场景文本语义与视觉外观，从而改善场景文本自由和场景文本感知场景下的结果。实验结果表明，对于场景文本感知的检索任务，VisTA在Recall@1处的性能至少比其他方法高出$\bf{8.4}\%$.与最先进的场景文本免费检索方法相比，ViSTA可以实现更好的准确性在Flic…
2022-03-31 cs.CV
