Image Super-Resolution using Efficient Striped Window Transformer
Anhui University（安徽大学）；Fried Rice Lab（炒饭实验室）；University of Science and Technology of China（中国科学技术大学）
Transformers在单图像超分辨率（SR）方面取得了显著的效果。然而，平衡模型性能和复杂性的挑战阻碍了它们在轻量级SR（LSR）中的应用。为了解决这个问题，我们提出了一个有效的条纹窗口Transformer（ESWT）。我们重新审视了Transformer中的规范化层，并设计了一个简洁高效的Transformer结构来构建ESWT。此外，我们引入了一个条纹窗口机制，更有效地建模长期依赖。为了充分利用ESWT的潜力，我们提出了一种新的灵活的窗口训练策略，可以提高ESWT的性能，而无需额外的成本。大量的实验表明，ESWT的性能优于最先进的LSR变换器，并实现了模型性能和复杂性之间的更好的权衡。ESWT需要更少的参数，导致更快的推理，更小的FLOP和更少的内存消耗，使其成为LSR的一个有前途的解决方案。
2023-03-14 cs.CV
Improved Super Resolution of MR Images Using CNNs and Vision Transformers
Inception Institute of AI（人工智能初创研究所）
使用卷积神经网络（CNN）的现有技术磁共振（MR）图像超分辨率方法（ISR）由于CNN的有限空间覆盖而利用有限的上下文信息。Vision Transformers（ViT）可以更好地学习全局背景，有助于生成高质量的HR图像。我们将CNN的局部信息和ViTs的全局信息相结合，以实现图像超分辨率，并输出比最先进方法产生的图像质量更高的超分辨率图像。我们包括额外的限制，通过多个新的损失函数，保留结构和纹理信息，从低分辨率到高分辨率的图像。
2022-07-24 cs.CV eess.IV
Cross-Modality High-Frequency Transformer for MR Image Super-Resolution
Xidian University（西安电子科技大学）；Northwestern Polytechnical University（西北工业大学）；ETH Zürich（苏黎世联邦理工学院）；Zhejiang Lab（之江实验室）
提高磁共振（MR）图像数据的分辨率对于计算机辅助诊断和脑功能分析至关重要。更高的分辨率有助于捕获更详细的内容，但通常会导致更低的信噪比和更长的扫描时间。为此，MR图像超分辨率已经成为近年来广泛感兴趣的话题。现有的工作使用基于卷积神经网络（CNN）的传统架构建立了广泛的深度模型。在这项工作中，为了进一步推进这一研究领域，我们做了早期的努力，建立一个基于transformer的MR图像超分辨率框架，仔细设计，探索有价值的领域先验知识。具体来说，我们考虑了双重域先验，包括高频结构先验和模态间上下文先验，并建立了一种新的Transformer架构，称为跨模态高频Transformer（Cohf-T），将这种先验引入到超分辨低分辨率（LR）MR图像。在两个数据集上的实验表明，Cohf-T达到了新的最先进的性能。
2022-07-12 cs.CV
GVTNet: Graph Vision Transformer For Face Super-Resolution
Southwest University of Science and Technology（西南科技大学）
针对现有Transformer架构在人脸超分辨率中无法处理补丁间关系导致面部组件失真的问题，提出GVTNet，将补丁视为图节点并基于补丁信息建立邻接矩阵，使补丁仅与相邻补丁交互，实验表明其优于现有技术，尤其在增强面部组件方面。
2025-02-18 cs.CV
SuperFormer: Volumetric Transformer Architectures for MRI Super-Resolution
Center for Research and Formation in Artificial Intelligence（人工智能研究与培训中心）；Universidad de los Andes（安第斯大学）
本文提出SuperFormer，将Swin Transformer扩展到3D医学领域，利用3D相对位置编码的局部自注意力和多域信息融合实现MRI超分辨率，并在Human Connectome Project数据集上验证其优于3D CNN方法。
2024-06-05 cs.CV eess.IV
Light Field Image Super-Resolution with Transformers
National University of Defense Technology（国防科技大学）
光场图像超分辨率（SR）是从低分辨率图像重建高分辨率图像的技术。虽然基于CNN的方法在LF图像SR中取得了显着的性能，但这些方法不能完全建模4D LF数据的非局部特性。在本文中，我们提出了一个简单而有效的基于变换器的方法LF图像SR。在我们的方法中，角度Transformer的设计，以纳入不同的意见之间的互补信息，和空间Transformer的开发，以捕捉每个子孔径图像的本地和远程的依赖关系。利用所提出的角度和空间Transformers，可以充分利用LF中的有益信息，并且提高SR性能。我们通过广泛的消融研究验证了我们的角度和空间Transformers的有效性，并将我们的方法与最近五个公共LF数据集上的最先进方法进行了比较。我们的方法实现了优越的SR性能，具有较小的模型大小和较低的计算成本。代码可在https://github.com/ZhengyuLiang24/LFT上获得。
2022-01-23 cs.CV
HAAT: Hybrid Attention Aggregation Transformer for Image Super-Resolution
Centre for Advances in Reliability and Safety（可靠性与安全研究中心）；The Hong Kong Polytechnic University（香港理工大学）
针对现有 Swin Transformer 超分辨率方法受限于非重叠窗口且忽视跨通道信息的问题，本文提出 HAAT，融合 SDRCB 与 HGAB 以增强非局部特征利用，并在基准数据集上超越现有最先进方法。
2024-12-10 cs.AI cs.CV eess.IV
BSRT: Improving Burst Super-Resolution with Swin Transformer and Flow-Guided Deformable Alignment
Megvii Technology（旷视科技）；University of Electronic Science and Technology of China（电子科技大学）
这项工作解决了突发超分辨率（BurstSR）的任务，使用一种新的架构，这需要恢复一个高质量的图像从一系列的嘈杂，错位，和低分辨率的RAW突发。为了克服突发超分辨率重建算法中存在的问题，本文提出了一种突发超分辨率Transformer（BSRT）算法，该算法能够显著提高帧间信息提取和重建的能力。为了实现这一目标，我们提出了一个金字塔流引导可变形卷积网络（金字塔FG-DCN），并将Swin Transformer块和组作为我们的主要骨干。更具体地说，我们结合了光流和可变形卷积，因此我们的BSRT可以处理错位和聚合的潜在纹理信息，在多帧更有效。此外，我们基于transformer的结构可以捕获远程依赖，以进一步提高性能。在合成和真实世界的轨道上的评估表明，我们的方法实现了一个新的国家的最先进的BurstSR任务。此外，我们的BSRT在NTIRE 2022突发超分辨率挑战赛中赢得冠军。
2022-04-22 cs.CV
Efficient Mixed Transformer for Single Image Super-Resolution
Anhui University（安徽大学）；Fried Rice Lab（炒饭实验室）
针对Transformer在超分辨率中缺乏局部性与高复杂度问题，提出高效混合Transformer（EMT），结合像素混合器与条纹窗口自注意力，实现高效全局建模，在基准数据集上达到最先进性能。
2023-06-19 cs.CV
Self-Calibrated Efficient Transformer for Lightweight Super-Resolution
Fujian Normal University（福建师范大学）；Jimei University（集美大学）；Fuzhou University（福州大学）；China Design Group Co Ltd（中设设计集团股份有限公司）
最近，深度学习已经成功地应用于单图像超分辨率（SISR），并取得了显著的效果。然而，大多数现有的方法都集中在构建具有大量层的更复杂的网络，这可能需要大量的计算成本和内存存储。为了解决这个问题，我们提出了一个轻量级的自校准高效Transformer（SCET）网络来解决这个问题。SCET的体系结构主要由自校准模块和高效的Transformer模块组成，自校准模块采用像素注意力机制有效地提取图像特征。为了进一步利用来自特征的上下文信息，我们采用高效的Transformer来帮助网络在长距离上获得相似的特征，从而恢复足够的纹理细节。我们提供了整个网络不同设置的综合结果。我们提出的方法实现了更显着的性能比基线方法。源代码和预训练模型可在https://github.com/AlexZou14/SCET上获得。
2022-04-19 cs.CV
State-of-the-Art Transformer Models for Image Super-Resolution: Techniques, Challenges, and Applications
Gauhati University（古瓦哈提大学）
本文综述了基于Transformer的图像超分辨率模型的最新进展，分析其相较CNN、GAN等传统方法的优势，探讨结合Transformer与传统网络的创新技术，指出研究空白与未来方向，为相关研究者提供结构化路线图。
2025-01-14 cs.AI cs.CV cs.ET
Rethinking Alignment in Video Super-Resolution Transformers
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Shanghai AI Laboratory（上海人工智能实验室）；The University of Sydney（悉尼大学）；University of Chinese Academy of Sciences（中国科学院大学）；Tencent PCG（腾讯平台与内容事业群）
相邻帧的对齐被认为是视频超分辨率（VSR）中的一项重要操作。先进的VSR型号，包括最新的VSR Transformers，通常配备有设计良好的对准模块。但是，自我注意力机制的进展可能会违背这一常识。在本文中，我们重新思考的VSR Transformers中的对齐的作用，并提出了几个反直观的意见。我们的实验表明：（i）VSR Transformers可以直接利用来自未对准视频的多帧信息，以及（ii）现有对准方法有时对VSR Transformers有害。这些观察结果表明，我们可以进一步提高性能的VSR Transformers简单地删除对齐模块，并采用更大的注意力窗口。然而，这样的设计将显著增加计算负担，并且不能处理大的运动。因此，我们提出了一种新的和有效的对齐方法称为补丁对齐，对齐图像补丁，而不是像素。配备贴片对齐的VSR Transformers可以在多个基准测试中展示最先进的性能。我们的工作为如何在VSR中使用多帧信息以及如何为不同的网络/数据集选择对齐方法提供了有价值的见解。代码和模型将在https://github.com/XPixelGroup/RethinkVSRAlignment上发布。
2022-10-09 cs.CV
A Low-Resolution Image is Worth 1x1 Words: Enabling Fine Image Super-Resolution with Transformers and TaylorShift
University of Kaiserslautern-Landau, Germany（莱茵河畔凯泽斯劳滕-兰道大学）；German Research Center for Artificial Intelligence, Germany（德国人工智能研究中心）
提出即插即用框架TaylorIR，通过1x1 patch嵌入和基于泰勒级数的TaylorShift注意力机制，解决Transformer超分辨率模型中注意力成本高和像素保真度低的问题，在多个基准上实现SOTA性能并降低高达60%内存消耗。
2025-11-01 cs.AI cs.CV cs.LG
Effective Diffusion Transformer Architecture for Image Super-Resolution
Xidian University（西安电子科技大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Consumer Business Group, Huawei（华为消费者业务集团）
本文提出DiT-SR，一种采用U形架构与统一各向同性Transformer块设计的图像超分辨率扩散Transformer，并引入频率自适应时间步条件化模块，在从零训练下超越现有扩散SR方法及部分先验方法。
2024-09-29 cs.CV
HiT-SR: Hierarchical Transformer for Efficient Image Super-Resolution
ETH Zürich（苏黎世联邦理工学院）；Shanghai Jiao Tong University（上海交通大学）
针对现有Transformer超分辨率方法窗口自注意力复杂度高、感受野受限的问题，提出层级Transformer HiT-SR，通过扩张层级窗口与线性复杂度的空间-通道关联方法实现高效多尺度特征聚合，改进的多个基线模型以更少参量、更快速度取得SOTA结果。
2024-07-08 cs.CV
Dual Aggregation Transformer for Image Super-Resolution
Shanghai Jiao Tong University（上海交通大学）；ETH Zürich（苏黎世联邦理工学院）；The University of Sydney（悉尼大学）；Shanghai AI Laboratory（上海人工智能实验室）
本文提出双聚合Transformer（DAT），通过交替空间与通道自注意力实现块间特征聚合，并引入AIM和SGFN实现块内聚合，在图像超分辨率任务上超越现有方法。
2023-08-11 cs.CV
Training Transformer Models by Wavelet Losses Improves Quantitative and Visual Performance in Single Image Super-Resolution
KUIS AI Center, Koc University（科克大学KUIS人工智能中心）
针对Transformer超分辨率模型全局信息获取不足、高频细节捕捉差的问题，引入卷积NLSA模块扩展架构并采用小波损失训练，在多基准数据集上实现了最优PSNR与更佳视觉效果。
2024-04-17 cs.CV eess.IV
Fusformer: A Transformer-based Fusion Approach for Hyperspectral Image Super-resolution
University of Electronic Science and Technology of China（电子科技大学）
高光谱图像因其丰富的光谱信息而变得越来越重要。但由于现有成像机制的限制，其空间分辨率较低。目前，针对高光谱图像的超分辨率问题，已经提出了许多卷积神经网络。然而，基于卷积神经网络（CNN）的方法只考虑局部信息，而不是在卷积运算中的有限核大小的感受野的全局信息。本文设计了一种基于Transformer的网络，将低分辨率高光谱图像和高分辨率多光谱图像进行融合，得到高分辨率的高光谱图像。由于Transformer的表示能力，我们的方法是能够探索的内在关系的功能全球。此外，考虑到LR-HSI拥有主要的光谱结构，网络侧重于空间细节估计，从而减轻了重建整个数据的负担。它减少了所提出的网络的映射空间，从而提高了最终的性能。各种实验和质量指标表明，我们的方法相比，其他国家的最先进的方法的优越性。
2021-09-05 cs.CV
RSTT: Real-time Spatial Temporal Transformer for Space-Time Video Super-Resolution
University of Texas, Austin（德克萨斯大学奥斯汀分校）；Microsoft（微软）
空时视频超分辨率（STVSR）是对具有低帧速率（LFR）和低分辨率（LR）的视频进行内插以产生高帧率（HFR）和高分辨率（HR）对应物的任务。现有的基于卷积神经网络（CNN）的方法虽然取得了令人满意的效果，但由于其庞大的结构，推理速度较慢。我们建议通过使用时空Transformer来解决这个问题，该时空transformer自然地将空间和时间超分辨率模块合并到单个模型中。与基于CNN的方法不同，我们没有明确使用单独的构建块进行时间插值和空间超分辨率;相反，我们只使用单个端到端Transformer架构。具体地，编码器基于输入的LFR和LR帧构建可重复使用的字典，然后在解码器部分中利用该字典来合成HFR和HR帧。与最先进的TMNet \cite{xu2021temporal}相比，我们的网络是$60\%$更小（4.5M对12.3M参数）和$80\%$更快（26.2fps对14.3fps的$720\times576$帧），而不牺牲太多的性能。源代码可在https://github.com/llmpass/RSTT上获得。
2022-03-27 cs.CV
SRTransGAN: Image Super-Resolution using Transformer based Generative Adversarial Network
Indian Institute of Information Technology（印度信息技术学院）
本文提出SRTransGAN，用基于Transformer的编码器-解码器生成器和视觉Transformer判别器实现2倍和4倍图像超分辨率，在PSNR和SSIM上平均优于现有方法4.38%。
2023-12-04 cs.CV eess.IV
Learning Texture Transformer Network for Image Super-Resolution
Microsoft Research（微软研究院）；Shanghai Jiao Tong University（上海交通大学）
本文研究图像超分辨率（SR），旨在从低分辨率（LR）图像中恢复真实感纹理。最近的进展已经取得了高分辨率的图像作为参考（参考），使相关的纹理可以转移到LR图像。然而，现有的SR方法忽略了使用注意力机制从Ref图像转移高分辨率（HR）纹理，这限制了这些方法在具有挑战性的情况下。在本文中，我们提出了一种新的纹理Transformer网络图像超分辨率（TTSR），其中LR和Ref图像被制定为查询和键在一个Transformer，分别。TTSR由四个密切相关的模块组成，这些模块针对图像生成任务进行了优化，包括DNN的可学习纹理提取器、相关嵌入模块、用于纹理传输的硬注意模块和用于纹理合成的软注意模块。这种设计鼓励LR和Ref图像之间的联合特征学习，其中可以通过注意力发现深度特征对应关系，从而可以传递准确的纹理特征。所提出的纹理Transformer可以进一步以跨尺度方式堆叠，这使得能够从不同级别（例如，从1x到4x放大）。大量的实验表明，TTSR实现了显着的改进，国家的最先进的方法，在定量和定性评价。
2020-06-22 cs.CV
Scene Text Image Super-Resolution via Content Perceptual Loss and Criss-Cross Transformer Blocks
文本图像的超分辨率是提高文本图像可读性的一项独特而重要的任务。它被广泛应用于场景文本识别的预处理。然而，由于自然场景的复杂退化，从低分辨率输入中恢复高分辨率文本是模糊和具有挑战性的。现有的方法主要利用深度神经网络，这些神经网络经过针对自然图像重建而设计的像素级损失训练，忽略了文本的独特字符特征。一些作品提出了基于内容的损失。然而，他们只关注文本识别器的准确性，而重建的图像可能仍然是模糊的人类。此外，它们在处理跨语言时通常具有较弱的通用性。为此，我们提出了TATSR，一个文本感知的文本超分辨率框架，它有效地学习独特的文本特征，使用交叉Transformer块（CCTBs）和一种新的内容感知（CP）损失。CCTB通过两个正交Transformers分别从文本图像中提取垂直和水平内容信息。CP Loss通过多尺度文本识别特征来监督文本内容语义重构，有效地将内容感知融入框架。在各种语言数据集上进行的大量实验表明，TATSR在识别精度和人类感知方面都优于最先进的方法。
2022-10-13 cs.CV
Degradation-Aware Self-Attention Based Transformer for Blind Image Super-Resolution
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；La Trobe University（乐卓博大学）
针对盲图像超分辨率中Transformer网络难自适应退化的问题，提出融合对比学习、结合CNN与退化感知Transformer的模型，在多个基准上取得最优性能。
2023-10-06 cs.CV
DualX-VSR: Dual Axial Spatial$\times$Temporal Transformer for Real-World Video Super-Resolution without Motion Compensation
University of Science and Technology of China（中国科学技术大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Shanghai Jiao Tong University（上海交通大学）；Tsinghua University（清华大学）；Sun Yat-sen University（中山大学）；Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
针对现有Transformer类VSR模型像素精度不足、依赖光流对齐等问题，提出无需运动补偿的DualX-VSR模型，通过双轴时空注意力沿正交方向融合信息，在真实世界视频超分辨率任务中取得更优性能。
2025-06-13 cs.CV
Swin2SR: SwinV2 Transformer for Compressed Image Super-Resolution and Restoration
University of Würzburg（维尔茨堡大学）；MegaStudyEdu（MegaStudy教育）
压缩对于通过诸如流服务、虚拟现实或视频游戏的带宽受限系统来高效地传输和存储图像和视频起着重要作用。然而，压缩不可避免地导致伪影和原始信息的丢失，这可能严重降低视觉质量。因此，对压缩图像进行质量增强已成为一个热门的研究课题。虽然大多数最先进的图像复原方法都是基于卷积神经网络，但其他基于变换器的方法（如SwinIR）在这些任务上表现出令人印象深刻的性能。在本文中，我们探讨了新的Swin Transformer V2，以改善SwinIR的图像超分辨率，特别是，压缩输入的情况。使用这种方法，我们可以解决训练Transformer视觉模型中的主要问题，例如训练不稳定性，预训练和微调之间的分辨率差距以及数据饥饿。我们对三个有代表性的任务进行实验：JPEG压缩伪影去除，图像超分辨率（经典和轻量级），和压缩图像超分辨率。实验结果表明，Swin2SR算法能够提高SwinIR算法的训练收敛性和性能，在“AIM 2022压缩图像和视频超分辨率挑战赛”中获得前5名。
2022-09-22 cs.CV eess.IV
Learning Trajectory-Aware Transformer for Video Super-Resolution
Xi’an Jiaotong University（西安交通大学）；Microsoft Research Asia（微软亚洲研究院）
视频超分辨率（VSR）旨在从低分辨率（LR）帧中恢复高分辨率（HR）帧序列。虽然已经取得了一些进展，但在整个视频序列中有效地利用时间依赖性仍然存在巨大的挑战。现有的方法通常从有限的相邻帧（例如，5或7帧），这妨碍了这些方法获得令人满意的结果。在本文中，我们进一步实现了视频中的有效时空学习。提出了一种新的基于轨迹感知的视频超分辨率Transformer（TTVSR）。特别是，我们制定的视频帧到几个预先对齐的轨迹，其中包括连续的视觉令牌。对于查询令牌，自我注意力只沿着时空轨迹在相关视觉令牌上学习。与普通Vision Transformers相比，这种设计显著降低了计算成本，并使Transformers能够对长距离特征进行建模。我们进一步提出了一个跨尺度特征标记化模块，以克服在长距离视频中经常发生的尺度变化问题。实验结果表明，所提出的TTVSR国家的最先进的模型的优越性，通过广泛的定量和定性评价在四个广泛使用的视频超分辨率基准。代码和预训练模型都可以在https://github.com/researchmm/TTVSR下载。
2022-04-20 cs.CV eess.IV
MTVNet: Mapping using Transformers for Volumes -- Network for Super-Resolution with Long-Range Interactions
Technical University of Denmark（丹麦技术大学）；Institution2（机构2）
针对三维体数据超分辨率中Transformer自注意力内存受限、无法利用长程交互的问题，提出结合分层注意力模块与多尺度载体token的多尺度Transformer模型MTVNet，通过由粗到细建模扩大感受野，在五个三维数据集上取得优于现有模型的效果，大尺寸图像优势更显著。
2024-12-09 cs.CV eess.IV
HST: Hierarchical Swin Transformer for Compressed Image Super-resolution
University of Science and Technology of China（中国科学技术大学）
压缩图像超分辨率是近年来受到广泛关注的一种图像降质方法。由于复杂的混合失真，单纯的超分辨率和压缩伪影去除的配合难以恢复失真图像。在本文中，我们采取了一个步骤，提出了分层Swin Transformer（HST）网络恢复低分辨率压缩图像，联合捕获的层次特征表示和增强每个尺度表示与Swin Transformer，分别。此外，我们发现，预训练与超分辨率（SR）的任务是至关重要的压缩图像超分辨率。为了探索不同SR预训练的效果，我们采用了常用的SR任务（例如，双三次和不同的实超分辨率模拟）作为预训练任务，揭示了SR在压缩图像超分辨率中具有不可替代的作用。在HST和预训练的配合下，我们的HST在低质量压缩图像超分辨率跟踪的AIM 2022挑战中获得了第五名，PSNR为23.51 dB。大量的实验和烧蚀研究验证了我们提出的方法的有效性。代码和模型可在https://github.com/USTC-IMCL/HST-for-Compressed-Image-SR上获得。
2022-12-02 cs.CV eess.IV
IG-CFAT: An Improved GAN-Based Framework for Effectively Exploiting Transformers in Real-World Image Super-Resolution
Ferdowsi University of Mashhad（马什哈德费尔多西大学）；Amirkabir University of Technology（阿米尔卡比尔理工大学）
提出IG-CFAT，一种结合CFAT与GAN的框架，通过语义感知判别器、自适应退化模型及小波损失，显著提升真实世界图像超分辨率的细节恢复与纹理生成性能。
2025-02-25 cs.CV eess.IV
Task Transformer Network for Joint MRI Reconstruction and Super-Resolution
Harbin Institute of Technology（哈尔滨工业大学）；Inception Institute of Artificial Intelligence（起源人工智能研究院）；Nanjing Medical University（南京医科大学）
磁共振成像（MRI）的核心问题是加速度和图像质量之间的权衡。图像重建和超分辨率是磁共振成像（MRI）中的两项关键技术。目前的方法被设计为单独执行这些任务，忽略了它们之间的相关性。在这项工作中，我们提出了一个端到端的任务Transformer网络（T $^2$ Net）的联合MRI重建和超分辨率，它允许表示和特征传输之间共享多个任务，以实现更高质量，超分辨率和运动伪影免费图像从高度欠采样和退化的MRI数据。我们的框架结合了重建和超分辨率，分为两个子分支，其特征表示为查询和键。具体来说，我们鼓励两个任务之间的联合特征学习，从而传递准确的任务信息。我们首先使用两个独立的CNN分支来提取特定于任务的特征。然后，设计了任务转换器Transformer模块，用于嵌入和综合两个任务之间的相关性。实验结果表明，我们的多任务模型显着优于先进的顺序方法，定量和定性。
2021-12-15 cs.CV eess.IV
Single Image Super-Resolution Using Lightweight Networks Based on Swin Transformer
University Of Electronic Science And Technology Of China（电子科技大学）
图像超分辨率重建是图像处理技术领域的一个重要课题，它可以将低分辨率图像恢复为高分辨率的高质量图像。近年来，深度学习在图像超分辨率重建领域得到了应用。随着深度神经网络的不断发展，重建图像的质量有了很大的提高，但模型的复杂度也随之增加。在Swin Transformer的基础上，提出了两个轻量级的模型MSwinSR和UGSwinSR。MSwinSR中最重要的结构被称为多尺寸Swin Transformer块（MSTB），其主要包含四个并行的多头自注意（MSA）块。UGSwinSR将U-Net和GAN与Swin Transformer结合在一起。这两种方法都可以降低模型的复杂度，但MSwinSR可以达到更高的客观质量，而UGSwinSR可以达到更高的感知质量。实验结果表明，与SwinIR模型相比，MSwinSR模型通过$\mathbf{0.07dB}$提高了峰值信噪比，同时通过$\mathbf{30.68\%}$减少了参数个数，并通过$\mathbf{9.936\%}$降低了计算量。UGSwinSR可以有效地减少网络的计算量，与SwinIR相比可以减少$\mathbf{90.92\%}$。
2022-10-20 cs.CV eess.IV
CoT-MISR:Marrying Convolution and Transformer for Multi-Image Super-Resolution
图像超分辨率作为图像复原的一种方法，首先得到了广泛的研究。如何对低分辨率图像进行变换以恢复其高分辨率图像信息是研究人员一直在探索的问题。在早期的物理变换方法中，这些方法生成的高分辨率图片总是存在严重的信息缺失问题，边缘和细节不能很好地恢复。随着硬件技术和数学的发展，人们开始将深度学习方法用于图像超分辨率任务，从直接深度学习模型、残余通道注意力网络、双向抑制网络，到带有Transformer网络模块的tr网络，逐渐取得了良好的效果。在多图超分辨率的研究中，得益于多图超分辨率数据集的建立，我们经历了从卷积模型到Transformer模型的演变，超分辨率的质量不断提升。然而，我们发现无论是纯卷积还是纯tr网络都不能很好地利用低分辨率图像信息。在此基础上，我们提出了一种新的端到端CoT-MISR网络。CoT-MISR网络利用卷积和树的优点，弥补了局部和全局信息的不足。在相同参数下的数据集验证表明，我们的CoT-MISR网络已经达到了最佳的得分指标。
2023-03-12 cs.CV eess.IV
A residual dense vision transformer for medical image super-resolution with segmentation-based perceptual loss fine-tuning
University of Cambridge（剑桥大学）；Imperial College London（帝国理工学院）；Royal Brompton Hospital（皇家布朗普顿医院）
超分辨率在医学成像中起着至关重要的作用，因为它提供了一种替代方法来实现高空间分辨率和图像质量，而无需额外的采集成本。在过去的几十年里，深度神经网络的快速发展促进了超分辨率性能，具有新颖的网络架构，损失函数和评估指标。具体来说，Vision Transformers在广泛的计算机视觉任务中占主导地位，但在将其应用于低级医疗图像处理任务时仍然存在挑战。本文提出了一种有效的Vision Transformer与剩余密集连接和局部特征融合，以实现有效的单图像超分辨率（SISR）的医疗模式。此外，我们实现了一个通用的感知损失与手动控制图像质量的改善所需的方面，通过将医学图像分割的先验知识。在四个公共医学图像数据集上与现有方法进行比较，在七种模态中，该方法在六种模态下获得了最好的PSNR分数。该算法仅用SwinIR的38%的参数就能使PSNR平均提高$+0.09$ dB.另一方面，对于SOTA方法，包括CNN和Vision Transformers，基于分割的感知损失平均增加了$+0.14$ dB PSNR。此外，我们还进行了全面的消融研究，以讨论Vision Transformers优于CNN的潜在因素以及网络和损失功能组件的影响。代码将与论文一起发布在GitHub上。
2023-03-03 cs.CV cs.LG eess.IV
LKFormer: Large Kernel Transformer for Infrared Image Super-Resolution
Hangzhou Dianzi University（杭州电子科技大学）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；ETH Zurich（苏黎世联邦理工学院）
针对红外图像二维结构易被忽视且有效特征难捕捉的问题，本文提出 LKFormer，以线性复杂度 LKRA 大核卷积模块替代自注意力，并引入 GPFN，实现更少参数下超越现有方法的超分辨率性能。
2024-01-24 cs.CV eess.IV
Learning Texture Transformer Network for Light Field Super-Resolution
Georgia Institute of Technology（佐治亚理工学院）；Brandon University（布兰登大学）；GN Jabra A/S（GN捷波朗公司）
手持式光场相机由于固有的空间-角度折衷而遭受低空间分辨率。本文提出了一种利用纹理Transformer网络（TTSR）提高光场图像空间分辨率的方法。所提出的方法包括三个模块：第一个模块产生一个全聚焦高分辨率的透视图像，作为第二个模块，即TTSR，这反过来又产生一个高分辨率的光场的参考图像。最后一个模块通过施加光场先验来细化空间分辨率。结果表明，在双三次调整大小的光场图像上，约4dB至6dB的PSNR增益
2022-10-09 cs.CV eess.IV
Bilateral Network with Channel Splitting Network and Transformer for Thermal Image Super-Resolution
Ant Group（蚂蚁集团）
近年来，热图像超分辨率（TISR）问题已成为一个引人注目的研究课题。TISR将被广泛应用于军事、医学、农业和动物生态学等领域。由于PBVS-2020和PBVS-2021研讨会挑战赛的成功，TISR的结果不断改善，吸引了更多的研究人员报名参加PBVS-2022挑战赛。在本文中，我们将介绍我们提交PBVS-2022挑战的技术细节，设计一个双边网络与信道分裂网络和Transformer（BN-CSNT），以解决TISR问题。首先，我们设计了一个上下文分支的通道分裂网络与Transformer的基础上，以获得足够的上下文信息。其次，我们设计了一个具有浅层Transformer的空间分支来提取低层特征，以保持空间信息。最后，针对上下文分支，提出了一个注意力细化模块，用于融合通道分裂网络和Transformer的特征，然后利用所提出的特征融合模块对上下文分支和空间分支的特征进行融合。在PBVS-2022挑战测试数据集上，该方法对x4和x2分别获得了PSNR=33.64，SSIM=0.9263和PSNR=21.08，SSIM=0.7803的性能。
2022-06-24 cs.CV cs.LG eess.IV
A Lightweight Image Super-Resolution Transformer Trained on Low-Resolution Images Only
Technische Universität Braunschweig（布伦瑞克工业大学）
本文首次提出利用轻量级视觉Transformer结合仅低分辨率训练方法解决无监督SISR问题，提出MSTbic多尺度训练方法，在多个基准上超越现有基于CNN的仅LR方法。
2025-03-30 cs.CV cs.LG eess.IV
LSwinSR: UAV Imagery Super-Resolution based on Linear Swin Transformer
University of Warwick（华威大学）
超分辨率技术是从低分辨率图像重建高分辨率图像的一种技术，近年来在计算机视觉和遥感领域得到了广泛的关注和研究。超分辨率技术对于无人机（UAV）尤其有利，因为UAV捕获的图像的数量和分辨率受到飞行高度和负载能力等物理约束的高度限制。随着深度学习方法在超分辨率任务中的成功应用，近年来，一系列超分辨率算法被开发出来。本文针对无人机图像的超分辨率问题，提出了一种基于Swin Transformer的高精度超分辨率网络。同时，由于无人机的重要应用之一是土地覆盖和土地利用监测，简单的图像质量评价如峰值信噪比（PSNR）和结构相似性指数（SSIM）不足以全面衡量算法的性能。因此，我们进一步研究了超分辨率方法的有效性，使用语义分割的准确性。该代码将在https://github.com/lironui/LSwinSR上提供。
2023-03-17 cs.CV cs.LG eess.IV
RePre: Improving Self-Supervised Vision Transformer with Reconstructive Pre-training
Beijing University of Posts and Telecommunications（北京邮电大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；SenseTime（商汤科技）；The University of Sydney（悉尼大学）
近年来，自监督视觉Transformer以其令人印象深刻的表示学习能力引起了前所未有的关注。然而，占主导地位的方法，对比学习，主要依赖于一个实例判别借口任务，学习图像的全局理解。本文通过重构预训练（RePre）将局部特征学习引入到自监督视觉Transformer中。我们的RePre扩展了对比框架，增加了一个分支，用于与现有的对比目标并行重建原始图像像素。RePre配备了一个轻量级的基于卷积的解码器，融合了Transformer编码器的多层次功能。多层次特征提供了从低到高的语义信息的丰富监督，这对我们的RePre至关重要。我们的RePre对具有不同视觉Transformer架构的各种对比框架进行了适当的改进。下游任务中的迁移性能优于监督预训练和最先进的（SOTA）自我监督同行。
2022-01-19 cs.AI cs.CV
Transformers in Self-Supervised Monocular Depth Estimation with Unknown Camera Intrinsics
Advanced Research Lab, NavInfo Europe（四维图新欧洲高级研究实验室）
自动驾驶和高级驾驶员辅助系统的出现使得计算机视觉在3D场景理解方面的不断发展成为必要。自监督单目深度估计是一种不使用地面真值标签的单目距离估计方法，是三维场景理解中的一项重要任务。然而，用于该任务的现有方法限于卷积神经网络（CNN）架构。与使用局部线性运算并在各层中丢失特征分辨率的CNN相比，视觉Transformer在每个阶段都以恒定的分辨率处理全局感受野。虽然最近的工作比较了Transformers与他们的CNN同行的任务，如图像分类，没有研究存在调查的影响，使用Transformers的自我监督单眼深度估计。在这里，我们首先演示了如何适应视觉Transformer的自我监督单眼深度估计。此后，我们比较了Transformer和基于CNN的架构在KITTI深度预测基准上的性能，以及它们对自然损坏和对抗攻击的鲁棒性，包括当相机内部函数未知时。我们的研究演示了如何基于transformer的架构，虽然运行时效率较低，实现了相当的性能，同时更强大和更普遍。
2022-02-07 cs.AI cs.CV
Long-Short Temporal Contrastive Learning of Video Transformers
Facebook AI Research（脸书人工智能研究院）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Dartmouth（达特茅斯学院）
视频Transformers最近已经成为视频理解的3D CNN的竞争替代品。然而，由于它们的大量参数和减少的归纳偏差，这些模型需要在大规模图像数据集上进行监督预训练，以实现最佳性能。在这篇论文中，我们通过经验证明，在纯视频数据集上对视频Transformers进行自监督预训练，可以获得与在大规模图像数据集上进行监督预训练相同或更好的动作识别结果，即使是像ImageNet-21 K这样的大规模图像数据集。由于基于transformer的模型在捕获扩展时间跨度上的依赖关系方面是有效的，因此我们提出了一个简单的学习过程，该过程迫使模型将同一视频的长期视图与短期视图相匹配。我们的方法，名为长短时间对比学习（LSTCL），使视频Transformers学习一个有效的剪辑级表示通过预测从较长的时间范围内捕获的时间上下文。为了证明我们的研究结果的一般性，我们使用两种不同的视频Transformer架构，包括增强时空注意力的Swin Transformer的改进变体，在三种不同的自监督对比学习框架（MoCo v3，BYOL，SimSiam）下实现并验证我们的方法。我们进行了彻底的消融研究，并表明LSTCL在多个视频基准上实现了具有竞争力的性能，并代表了基于监督图像的预训练的令人信服的替代方案。
2022-03-31 cs.AI cs.CV
A New Perspective to Boost Vision Transformer for Medical Image Classification
Tencent Jarvis Lab（腾讯杰维斯实验室）
Transformer在各种计算机视觉任务中取得了令人印象深刻的成功。然而，大多数现有的研究需要在大规模标记数据集上预训练Transformer主干（例如，ImageNet）以获得令人满意的性能，这通常不适用于医学图像。此外，由于医学图像和自然图像之间的差距，ImageNet预训练权重产生的改进在将权重转移到医学图像处理任务时会显着降低。在本文中，我们提出了自举自身潜在的Transformer（BOLT），一种自监督学习方法，专门用于医学图像分类与Transformer骨干。我们的BOLT由两个网络组成，即在线和目标分支，用于自监督表示学习。具体地，训练在线网络以预测具有不同扰动的相同补丁嵌入令牌的目标网络表示。为了从有限的医学数据中最大限度地挖掘Transformer的影响力，我们提出了一个辅助难度排名任务。Transformer被强制识别哪个分支（即，在线/目标）正在处理更困难的扰动令牌。总体而言，Transformer努力从扰动的令牌中提取变换不变特征，以同时实现难度测量并保持自监督表示的一致性。在三个医学图像处理任务上评估所提出的BOLT，即，皮肤病变分级、膝关节疲劳骨折分级和糖尿病视网膜病变分级。实验结果验证了我们的BOLT在医学图像分类中的优越性，与ImageNet预训练权重和最先进的自监督学习方法相比。
2023-01-03 cs.AI cs.CV
FactoFormer: Factorized Hyperspectral Transformers with Self-Supervised Pretraining
Robotics and Autonomous Systems, DATA61, CSIRO（CSIRO DATA61 机器人与自主系统）；Queensland University of Technology (QUT)（昆士兰科技大学）
提出分解式光谱-空间Transformer结合自监督预训练，解决高光谱图像空间信息利用不足与数据依赖问题，在六个数据集上达到SOTA。
2024-01-04 cs.AI cs.CV
Supervised Masked Knowledge Distillation for Few-Shot Transformers
Columbia University（哥伦比亚大学）
针对少样本ViT易过拟合且自监督与监督方法间存在鸿沟的问题，提出监督掩码知识蒸馏模型SMKD，通过在类和patch token上进行类内知识蒸馏及跨图像掩码重建，在四个基准上取得最优。
2023-03-29 cs.AI cs.CV
Single-round Self-supervised Distributed Learning using Vision Transformer
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；Yonsei University College of Medicine（延世大学医学院）；Gangnam Severance Hospital（江南世福兰斯医院）
本文提出一种基于视觉Transformer的自监督掩码采样蒸馏方法，在单轮通信内实现隐私增强的分布式学习，并在医学图像任务上验证了其优于现有分布式学习策略的性能及作为任务无关基础模型的潜力。
2023-04-15 cs.AI cs.CV
Multiscale Vision Transformer With Deep Clustering-Guided Refinement for Weakly Supervised Object Localization
Hanyang University（汉阳大学）；Seoul National University of Science and Technology（首尔国立科技大学）
针对弱监督目标定位精度有限的问题，提出多尺度目标定位Transformer及深度聚类引导优化方法，在ILSVRC-2012数据集上验证了有效性。
2023-12-15 cs.AI cs.CV
Identifying Critical Tokens for Accurate Predictions in Transformer-based Medical Imaging Models
Ghent University Global Campus（根特大学全球校区）；Ghent University（根特大学）
提出Token Insight方法，通过量化token对预测的贡献识别关键token，提升基于Transformer医学影像模型的透明度和可解释性。
2025-01-26 cs.AI cs.CV
Exploring Adversarial Attacks and Defenses in Vision Transformers trained with DINO
ETH Zurich（苏黎世联邦理工学院）
本文首次分析了使用DINO训练的自监督视觉Transformer对对抗攻击的鲁棒性。首先，我们评估通过自我监督学习的特征是否比从监督学习中学习的特征对对抗攻击更鲁棒。然后，我们提出了在潜在空间中的攻击所产生的属性。最后，我们评估了三种著名的防御策略是否可以通过微调分类头来提高下游任务的对抗鲁棒性，即使在有限的计算资源下也能提供鲁棒性。这些防御策略是：对抗性训练，强化对抗性训练和强化专业网络。
2022-09-08 cs.AI cs.CV
Semi-Supervised Vision Transformers
Fudan University（复旦大学）；Meta AI；Baidu Apollo（百度阿波罗）
研究了用于半监督图像分类的视觉Transformer的训练问题。Transformers最近在众多的监督学习任务中表现出令人印象深刻的性能。令人惊讶的是，当只有一小部分标记数据可用时，我们发现视觉Transformer的性能明显低于卷积神经网络。受此观察的启发，我们引入了一个联合半监督学习框架Semiformer，它包含一个Transformer流，一个卷积流和一个精心设计的融合模块，用于这些流之间的知识共享。卷积流在有限的标记数据上训练，并进一步用于生成伪标记以监督Transformer流在未标记数据上的训练。在ImageNet上进行的大量实验表明，Semiformer实现了75.5%的top-1准确率，明显优于最先进的技术。此外，我们还展示了Semiformer是一个通用框架，与大多数现代Transformer和卷积神经架构兼容。代码可在https://github.com/wengzejia1/Semiformer上获得。
2022-07-17 cs.CV
An Empirical Study Of Self-supervised Learning Approaches For Object Detection With Transformers
Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
自监督学习（SSL）方法（如掩蔽语言建模）通过预训练用于各种自然语言处理任务的Transformer模型而显示出巨大的性能增益。后续研究采用了类似的方法，如视觉Transformer中的掩码图像建模，并证明了图像分类任务的改进。对于目标检测Transformers（DETR，可变形DETR），没有详尽地研究这种简单的自监督方法，因为它们的Transformer编码器模块在卷积神经网络（CNN）提取的特征空间中而不是像一般的视觉Transformer那样在图像空间中获取输入。然而，CNN特征图仍然保持空间关系，我们利用这一属性来设计自监督学习方法，以在预训练和多任务学习设置中训练目标检测Transformers的编码器。我们探讨了常用的基于图像重建、掩码图像建模和拼图的自监督方法。在iSAID数据集中的初步实验表明，在预训练和多任务学习设置中，DETR在初始阶段的收敛速度更快;然而，在使用可变形DETR的多任务学习中没有观察到类似的改进。我们用DETR和可变形DETR进行实验的代码可分别在https://github.com/gokulkarthik/detr和https://github.com/gokulkarthik/Deformable-DETR上获得。
2022-05-11 cs.AI cs.CV cs.LG
COMEDIAN: Self-Supervised Learning and Knowledge Distillation for Action Spotting using Transformers
Université Paris-Saclay（巴黎-萨克雷大学）；CEA（法国原子能委员会）；LIST（信息系统技术与软件实验室）；Normandie Univ（诺曼底大学）；INSA Rouen（鲁昂国立应用科学学院）；LITIS（信息技术与信息系统实验室）
本文提出COMEDIAN流程，通过自监督学习和知识蒸馏初始化时空Transformer用于动作定位，在SoccerNet-v2上取得最优性能并加速收敛。
2023-10-26 cs.AI cs.CV cs.LG
SeqCo-DETR: Sequence Consistency Training for Self-Supervised Object Detection with Transformers
SenseTime Research（商汤科技研究院）；Institute of Automation, CAS（中国科学院自动化研究所）；Peng Cheng Lab（鹏城实验室）
自监督预训练和基于变换器的网络显著提高了目标检测的性能。然而，大多数当前的自监督目标检测方法是建立在基于卷积的架构。我们认为，Transformers的序列特性时，应考虑设计一个基于变压器的自监督方法的目标检测任务。为此，我们提出了SeqCo-DETR，一种新的基于序列一致性的自监督方法，用于使用Transformers进行目标检测。SeqCo-DETR定义了一个简单但有效的借口，通过最小化不同图像视图作为输入的Transformers的输出序列的差异，并利用二分匹配来找到最相关的序列对，以提高序列级自监督表示学习性能。此外，我们提供了一个基于掩码的增强策略与序列一致性策略相结合，以提取更多的代表性上下文信息的对象的目标检测任务。我们的方法在MS COCO（45.8 AP）和PASCAL VOC（64.1 AP）上实现了最先进的结果，证明了我们方法的有效性。
2023-03-15 cs.CV
PatchRot: A Self-Supervised Technique for Training Vision Transformers
Arizona State University（亚利桑那州立大学）；Georgia State University（佐治亚州立大学）
视觉Transformer需要大量的标记数据才能胜过卷积神经网络。然而，标记一个巨大的数据集是一个非常昂贵的过程。自监督学习技术通过以无监督的方式学习类似于监督学习的特征来缓解这个问题。在本文中，我们提出了一种自监督技术PatchRot，专为视觉Transformer。PatchRot旋转图像和图像补丁，并训练网络来预测旋转角度。该网络学习从图像中提取全局和局部特征。我们在不同数据集上的大量实验展示了PatchRot训练学习到的丰富特征，这些特征优于监督学习和基线比较。
2022-10-27 cs.CV
Self-Supervised Pre-Training of Swin Transformers for 3D Medical Image Analysis
Vanderbilt University（范德堡大学）；NVIDIA（英伟达）
视觉Transformer（ViT）在全局和局部表示的自监督学习中表现出出色的性能，这些表示可以转移到下游应用程序。受这些结果的启发，我们引入了一个新的自监督学习框架与定制的代理任务的医学图像分析。具体而言，我们建议：（i）一种新的基于3D变换器的模型，称为Swin UNEt Transformers（Swin UNETR），具有用于自我监督预训练的分层编码器;（ii）定制的代理任务，用于学习人体解剖学的基本模式。我们在来自各种身体器官的5，050个公开的计算机断层扫描（CT）图像上成功地对所提出的模型进行了预训练。我们的方法的有效性是通过微调预训练模型的超越颅骨拱顶（BTCV）分割挑战与13个腹部器官和分割任务从医学分割十项全能（MSD）数据集。我们的模型目前在MSD和BTCV数据集的公共测试排行榜上都是最先进的（即排名第一）。代码：https://monai.io/research/swin-unetr
2022-03-28 cs.AI cs.CV cs.LG
